AIモデルの検査ツールを比べる ― 判断が当たっているかと、そもそも判断を出せたかは別々に測るべきだという指摘

1「当たっている」だけでは足りない

検査ツールの良し悪しは、当たり外れで測られがちです。しかし当たり外れを測れるのは、そもそも判断が出た場合に限られます。判断を出せなかった対象は、その計算から抜け落ちます。

本研究が示す数字は、この違いを鮮明にします。あるツールは、判断を出せた分については適合率・再現率・F値がいずれも100パーセントでした。つまり出した答えは一度も外していません。ところが、正解が与えられた135の系統のうち、確定的な判断を出せたのは67（49.6パーセント）でした。半分については、そもそも答えが得られていないことになります。

2三つのツールの比較

判断を出せた割合は、ツールによって100パーセントから49.6パーセントまで開きがあります。しかも、あるツールが分析を完了できなかった48の悪性の系統について、他の2つは正解と整合する検出を行っていました。一つのツールの穴を、別のツールが埋めているという関係です。

3上積みと重複

著者らはもう一点、検出範囲の上積みとツール間の重複を分けて見る必要も挙げています。本研究では、あるツールが他の2つの組み合わせを超えて独自に見つけた悪性の系統はありませんでした。組み合わせて使う場合、ツールを増やすことが必ずしも検出範囲を広げるとは限らない、という含意になります。

4当サイトが扱う他の記録との接続

当サイトでは、実際に悪用された脆弱性の記録を多数扱っています。そこでも、検出できるかどうかと、検出した内容が正しいかどうかは別の論点として現れます。評価の設計が結論を左右するという本研究の指摘は、ツールの選定を行う場面に直接関わります。