エージェントの安全対策は「合成できない」― 証拠が反復をまたぐ攻撃に対し、1回の軌跡だけを見る監視は真陽性率と偽陽性率が一致してしまう

1一周ごとに記憶が消える見張り

近年のLLMエージェントは、人間が一つの目標を与えたあと、作業を見つけ、計画し、ツールを呼び、結果を検証し、状態を保存する、という周回を無人で何度も繰り返す形で動く。ところが実務で使われている安全策の多くは、その一周＝一つの軌跡を単位に定義されている。次の周回が始まると、安全側が持っていた警戒の状態は初期化される。本研究はこれを、実装の粗さではなく「合成の失敗」として捉え直す。

個々の周回で安全な仕組みを並べても、全体として安全にはならない、という主張である。

2見る窓の広さが結果を決める

表現力を上げれば解決する、という直感がここでは効かない。監視がどれほど賢くても、判断に要る証拠が視野の外にあるなら、当たりと外れは区別できない。攻撃側は一周ごとに無害に見える断片を置いていけばよく、その断片は個別には何の警報も引き起こさない。

3減衰するスコアでは間に合わない

素朴な修正として、リスクのスコアを周回をまたいで持ち越しつつ、時間とともに幾何級数的に減衰させる方法が考えられる。本研究はこれも不十分だと述べる。減衰がある以上、攻撃者はスコアが十分下がるまで待てばよく、その冷却期間は定数にとどまり、想定する周回数が増えても長くならないからだ。つまり長く回り続けるほど攻撃側が有利になる。

著者らが提示するLoopHarnessは、ループの層で減衰しない安全状態を回復させる設計で、仲介されたコミットと調停者の検出下限のもとで、許可されていない不可逆な行為の期待回数を反復回数に依存しない定数で抑えられるとしている。しかもその一部は、モデルに依存しない規則で決まるため、検証役が完全に共謀した場合でも残るという。

4安全性研究のなかでの位置

2026年9月2日時点で当サイトが保持するAI論文1,900件（2026年6月4日〜8月27日投稿）のうち、主分類がcs.CR（暗号・セキュリティ）のものは31件にとどまる。cs.CV 482件、cs.LG 377件、cs.AI 364件、cs.CL 254件という分布のなかで、セキュリティを主分類に置く論文は少数派である。

本論文は著者14名で、当サイトの収集分の著者数の中央値4名を大きく上回る。エージェントの自律ループが実際に配備され始めた段階で、単一軌跡を前提とした安全策の限界を形式的に示そうとする試みといえる。