教師が未来を見ていた ― 生成しながら流す動画モデルの蒸留で、教師と生徒の見える範囲を揃える「CMD」

1先頭から順に作る、という制約

動画を生成するモデルを対話的に操作したい場面では、二つのことが同時に要る。待たされないことと、途中で効く操作である。この用途では、動画を最初から最後まで一度に作るのではなく、先頭から順に作っていく。すると当然の制約が生まれる。いま作っているフレームは、すでに作った過去と、いま与えられた操作にだけ依存できる。まだ存在しない未来を参照することはできない。

2教える側だけが未来を見ていた

速くするための蒸留では、重い教師の振る舞いを軽い生徒に写し取る。ここで見落とされていたのは、教師と生徒で見える範囲が違っていたことだった。生徒は過去しか見られないのに、教師は全体を見てから点を付けている。生徒にとっては、原理的に届かない基準で採点されていたことになる。ずれの指摘そのものが、この研究の中心にある。

3生徒が実際に置かれた文脈で採点する

1. 1教師を因果的にする未来のフレームや操作を見ない教師にする
2. 2同じ教師で初期化する生徒の出発点も同じ定式化に揃える
3. 3実際の接頭辞で採点する生徒が生成してきた履歴のもとで各目標を評価する
4. 4初期の不安定を抑える訓練の早い段階の信頼できない履歴を摂動して安定させる

もう一段の工夫は、採点に使う文脈を、理想的な過去ではなく生徒が実際に作ってきた過去に合わせたことである。生徒の出力は完璧ではないので、その不完全な履歴の上で次を評価しなければ、実際の使われ方とずれる。ただし訓練の初期はその履歴自体が粗いので、そこは摂動を入れて安定させる。

4ずれを見つけることが、手法になる

報告では、短尺と長尺の双方のベンチマークで自己回帰的な手法として高い総合性能を示し、時間とともに変化するカメラ操作への追従が大きく改善したとされる。注目すべきは、新しい部品を足したというより、教師と生徒の前提を揃えただけで改善が出ている点である。速くするための蒸留は既に広く使われている手口だが、その手口の内側にまだ前提の食い違いが残っていた。