崩壊を防ぐための足場を外す ― 動画の事前学習を単純にして、計算量を5分の1から20分の1にする「LeVJEPA」

1潰れないようにするための足場

ラベルを使わずに表現を学ぶとき、避けなければならない失敗がある。何を入力しても同じ答えを返すようになってしまう崩壊である。区別する必要がなくなれば、損失は下がるのに何の役にも立たない。この失敗を防ぐために、これまでの手法は仕掛けを積み重ねてきた。目標側のエンコーダを別に持って緩やかに更新する、勾配を途中で止める、予測器の容量をわざと絞る。あるいは画素そのものを復元させる。どれも崩壊を避けるための足場であって、学びたいことそのものではない。

2足場を外して、何が残るか

足場を外すと、調整すべき箇所が減る。この研究で目を引くのは性能そのものより、構成が単純になったことのほうである。積み上げた仕掛けが本当に必要だったのかを問い直し、必要でなかったと示す形をとっている。ここまでの記事が「作り直さずに済ませる」手口だったのに対し、これは作る側に戻って、作り方の前提を減らす方向である。

3見る量を減らすと、むしろ良くなる

費用がエンコーダの見るトークン数で決まるなら、トークンを一様に落とせば安くなる。興味深いのは、落としたほうが下流の精度も上がったと報告されている点である。すべてを見せることが最善とは限らない。なお、当サイトが持つAI論文で一から事前学習する話は8.0%、既にあるモデルを転移・適応・微調整する話は18.9%で、重心は明らかに後者にある。

4「作る」側にも、まだ余地がある

この研究の主張を一言にすると、動画からの事前学習は高価だと思われてきたが、その高さの一部は本質ではなく、崩壊を防ぐために積んだ足場の分だった、ということになる。計算量の壁が下がれば、動画を汎用の視覚の土台として使う選択肢が現実味を持つ。使い回しの工夫が主流になっている分野でも、作り方そのものを問い直す余地は残っている。