再帰なしでRNNを学習する ― 時間方向に並列化できる新手法「Supervised Memory Training (SMT)」

本研究(SMT)は、再帰型ニューラルネット(RNN)を「再帰的なクレジット伝播を使わずに」学習する方法を提案する。

RNNの学習は、長い計算系列にわたってクレジット（どの過去が結果に効いたか）を割り当てる必要がある。標準的な手法であるBPTT(backpropagation through time, 時間方向の誤差逆伝播)はこれをうまく扱えない。時間方向に逐次的で並列化を妨げ、勾配消失・勾配爆発に悩まされるため、長距離の関連を学習しにくい。

著者らが提案するSupervised Memory Training(SMT)は、非線形RNNの学習を、1ステップのメモリ遷移ラベル (m_t, x_{t+1}) → m_{t+1} に対する教師あり学習へと還元することで、再帰的なクレジット伝播を完全に回避する。これらのメモリラベルは、Transformerベースのエンコーダを「予測状態(predictive state)目的」で訓練することによって取得する——すなわち、未来を予測するために必要な過去の情報だけを保持する。「何を覚えるか」を「どうメモリを更新するか」から切り離すことで、SMTはRNNを一度も展開(unroll)することなく、時間並列での学習を可能にし、任意の2トークン間で O(1) 長の安定した勾配経路を実現する。

著者らは、言語モデリングや画素系列モデリングといったタスクで各種RNNアーキテクチャを事前学習したとき、SMTがBPTTを上回ることを示した。SMTは非線形RNNが長距離依存をよりよく捉え、並列に学習することを可能にし、過去の経験の時間的抽象を構築するモデルのスケーリングを開く可能性がある。