コーディングエージェントが読んでいるのは技術文書ではなかった ― 557セッション・3,033回の参照を追うと、6割は指示ファイルと作業メモ
自律的なコーディングエージェントが、どの文書をいつ参照し、その後に何が起きるかを、557のエージェント作業セッションと33,097件のエージェント発のプルリクエストから実測した研究。ドキュメント操作の60.5%は指示ファイルや作業メモといったエージェント向けの成果物で、古典的な技術文書は10.6%、APIリファレンスは1.3%だった。
論文の概要(独自要約)
- 分野(arXiv分類)cs.SE(+2)
- 著者Zhijun Gao, Jing Chen
- 投稿日2026-08-20
- arXiv ID2608.20195v1
要点
- 557のエージェント作業セッション(94,813件の開発イベント、うち3,033件がドキュメント操作)と33,097件のエージェント発プルリクエストを分析した実証研究。
- ドキュメント操作の60.5%は指示ファイルと作業メモ=エージェント向けの成果物で、古典的な技術文書は10.6%、APIリファレンスは1.3%。
- 参照と編集の隣接遷移確率は0.002、調整前の3イベントのリフトは1.05で、参照から編集への結びつきは明快ではない。
- 明示的なドキュメントに基づく検証の系列は観測されず、参照はむしろ直後のテストが少ないことと結びついていた。
- 参照は自発的なものが70.2%、失敗を契機とするものは7.5%。コードと文書の両方を変える複数コミットのPRではコードが先に触られる方が4.7倍多い。
1読み手が入れ替わったのに、書き方は変わっていない
技術文書は人間の開発者のために書かれてきた。ところがソフトウェアの変更を実際に書く主体として、自律的なコーディングエージェントの割合が増えている。エージェントはどの文書を、いつ参照し、そのあと何をするのか。本研究は推測ではなく、実際の作業記録からそれを追った。
素材は2つの公開データセットで、557のエージェント作業セッション(94,813件の開発イベント、うち3,033件がドキュメント操作)と、33,097件のエージェント発プルリクエスト(690,260件のファイル単位の変更記録)である。
2何が読まれているか
ドキュメント操作の6割は、人間の読者を想定して書かれた文書ではなく、エージェント自身のための指示ファイルや作業メモに向いていた。手を尽くして整備してきたAPIリファレンスへの操作は1.3%にとどまる。エージェントに読ませるために技術文書を磨く、という発想が前提から揺らぐ数字である。
3「読んでから書く」という順序が観測されない
参照と編集の結びつきも、直感どおりではなかった。参照の直後に編集が来る隣接遷移の確率は0.002で、調整前の3イベントのリフトは1.05。段階を調整したモデルでは1を上回るものの、明快な因果の系列とは言いがたい。さらに、ドキュメントに基づいて明示的に検証する系列は一つも観測されず、参照はむしろ直後のテスト実行が少ないことと結びついていた。
参照のきっかけも、失敗して調べ直すという型(7.5%)ではなく、自発的なもの(70.2%)が大半を占める。コードと文書の両方を変更する複数コミットのプルリクエストでは、コードのほうが先に触られる場合が4.7倍多かった。文書はコードの後ろをついてくる。
4「エージェントに優しい文書」という前提を問い直す
著者らは、これらの記録からエージェントとドキュメントの相互作用を、直線的な旅程ではなく二つの葉を持つ循環として記述するモデルを導き、「エージェントに優しい文書」に広く仮定されてきた2つの性質、すなわち実行可能性(actionability)と検証可能性(verifiability)に、一貫した挙動上の裏付けがないことを示している。
2026年9月2日時点で当サイトが保持するAI論文1,900件のうち、主分類がcs.SE(ソフトウェア工学)のものは37件である。モデルや手法を提案する論文が大半を占めるなかで、実際の作業ログを大規模に読み解いて既存の前提を検証する型の研究は目を引く。
なぜ重要か
エージェントに読ませるために既存の技術文書を整備する、という投資の前提を実測から問い直している。実際に参照されているのが指示ファイルや作業メモである以上、リポジトリに置く指示ファイルの設計のほうが効き目を持つ可能性がある。
よくある質問(FAQ)
APIリファレンスは不要だという意味ですか?
「エージェントに優しい文書」とは何ですか?
出典(一次情報)
出典:arXiv(記述メタデータは CC0 パブリックドメイン)。要約は当サイト独自。原文・PDFは arXiv をご確認ください。
- arXiv 概要ページ(原文・公式)
- PDF(arXiv)
- arXiv ID: 2608.20195