視覚と言語をつなぐ役割は、注意ヘッドの2%弱に集中していた ― 上位20個を止めると接地の精度が最大80ポイント落ちる

1モデルの中で、どこが効いているのか

視覚言語モデルは、文で指し示された画像の一部を見つけ、その情報を答えに反映させる。この振る舞い自体は日常的に観察できるが、モデルの内部で何が起きているのかは分かっていなかった。本研究は、大規模言語モデルの側で見つかっていた「検索ヘッド」という発見に着想を得て、視覚言語モデルにも同種の仕組みがあるかを調べた。答えは肯定的で、著者らはそれを視覚検索ヘッド（VRH）と名づけている。

2数字が示す局在

注目したいのは対照実験の置き方だ。上位20個を止めると性能が崩れるという事実だけでは、単に20個分の容量を削った効果かもしれない。同じ数のランダムなヘッドを止めてもほとんど影響がない、という比較があってはじめて、その20個が特別だと言える。因果的な主張を成り立たせるための設計になっている。

3見つけ方そのものを整理する

本研究のもう一つの貢献は、ヘッドを採点する方法の整理にある。既存の手法を、どのクエリトークンから見るか、キーをどう集約するか、サンプル間でどう集約するかという統一的な設計空間のもとで捉え直し、そのうえで最も確実に因果的なヘッドを取り出せる組み合わせを特定した。出力予測トークンからの注意を、正解の参照領域について合計する、という採点である。

手法を並べて比べるのではなく、共通の枠組みに置き直してから比較するという進め方だ。

4テキスト側の知見からどこまで広がるか

著者らは、テキストの検索ヘッドで確立していた「因果的・疎・普遍的」という三つ組がVRHでも再現されることに加え、これまで報告されていなかった性質も見つけたとする。境界ボックスの予測を通じて発見されたにもかかわらず、属性・空間・数え上げ・視覚的な数学のベンチマークでも因果的であり続けること。出力の形式は保ったまま位置特定だけを壊すという機能的な特異性。

そして、視覚エンコーダ・射影器・指示チューニングが異なっても言語モデルの背骨を共有するVLMのあいだで因果的に転移するという、構造上の共有である。2026年9月2日時点で当サイトが保持するAI論文1,900件のうち、主分類がcs.CVのものは482件と最も多い。その多くが新しい手法や性能を提案するなかで、既存モデルの内部を解剖する型の研究にあたる。