エージェントの「スキル」の悪性を見分ける ― 出典をまたいで評価すると、成績が大きく下がる

1スキルという配布経路

AIエージェントに機能を足す仕組みとして、再利用できる指示の束が使われます。手順だけでなく、スクリプトや資源、サービスの設定を含むこともあります。便利である一方、同じ経路が悪意ある挙動を配ることにも使えます。当サイトでは、開発や配布の基盤が影響を受けると配布先へ波及する構図を別の記事でも扱っています。

2データの分け方で成績が変わる

同じ検出器、同じデータであっても、訓練と評価の分け方を変えると成績が大きく下がります。無作為に分ければ、訓練したものと似た内容が評価側にも入りえます。出典ごと分ければ、評価側は訓練で見ていない出所のものになります。実務では後者に近い状況が起こるため、無作為の分割で得た数字は実力を過大に見せうることになります。

3見逃さないことと、騒ぎすぎないこと

最も強い検出器は、未知の出典に対して悪性の95.6パーセントを捕まえています。一方で、良性のものを誤って悪性と判定する割合が62.4パーセントに達しました。運用に置き換えれば、悪いものはほぼ止められるが、正常なものの6割以上も同時に止まるということです。既製の検査ツールも、誤検知を減らせば悪性の再現率が大きく下がるという関係にありました。

4二つを同時に測る

著者らの結論は、信頼できる検出には、出典をまたいだ広い網羅と、攻撃の検出と良性の過剰な警告を同時に測る評価の両方が要る、というものです。片方だけを見れば、どちらの数字も良く見せられます。当サイトが扱う別の研究でも、評価の設計が結論を左右するという同じ論点が現れます。