増え続ける衛星画像に追従しながら、過去の順位を崩さない ― アダプタと順位の蒸留で継続学習する検索「DARAD」

1学び足すと、前に覚えたことが崩れる

地球観測の衛星は撮り続け、アーカイブは増え続ける。画像を文章で検索できる仕組みは、そこに新しい語彙や新しい地物が現れるたびに学び足す必要がある。ところが、学び足すと以前の対応づけが崩れる。機械学習ではよく知られた性質で、新しいものを覚えるほど古いものを忘れていく。検索の場合、この崩れ方には特徴がある。

ある1件が正しく引けなくなるのではなく、多数の候補の並び順、つまりどれがより近いかという構造のほうが歪む。

2どこに手を入れるか

1. 1アーカイブが増える新しい地物や新しい言い回しが現れる
2. 2学び足すそのままだと画像と文章を対応づける空間が歪む
3. 3アダプタを足す視覚側は粗い領域と細かい部分を統合し、更新を元の対応空間に係留する
4. 4専門家を分ける文章側は共有の意味と特化した部分を分け、全体の漂流を抑える
5. 5順位を蒸留する凍結した以前のモデルを教師にして、過去の並び順を保つ

この設計で目を引くのは、元のモデルを上書きしていないことである。視覚側にも文章側にも小さな部品を足し、更新の効き方をそこに閉じ込める。そのうえで、以前のモデルを凍結したまま教師として残し、並び順という形で過去を引き継ぐ。忘れないための工夫が、新しい重みを学ぶ側ではなく、古い重みを保存する側に置かれている。

3足す型は、どれだけ現れているか

一から学習するのではなく、既にあるモデルに手を加えて別の場面へ回す話は、当サイトが持つAI論文の記録の2割近くを占める。本研究はその中でも、足す（アダプタ）と保つ（蒸留）を同時に使う構成にあたる。増え続けるデータに追従し続けるという要求は、地球観測に限らず、記録が積み上がる領域に共通する。

4何が難しいのかを見誤らない

リモートセンシングでは、同じ地物でも解像度や撮影条件で見え方が大きく変わり、時期によって分布そのものが動く。著者らはこれが対応空間の歪みを悪化させると述べている。裏を返せば、この分野で継続学習が難しいのは、忘却という一般的な問題だけが理由ではない。何が難しいのかを分けて捉えないと、対策も的を外す。