AIが機械学習アルゴリズムを「自己進化的」に発見する枠組み「MLEvolve」

本研究(MLEvolve)は、AIが機械学習(ML)アルゴリズムを「自己進化的に」発見する枠組みを提案する。

LLMエージェントは、科学的発見や機械学習エンジニアリング(MLE)のような長期(long-horizon)タスクにますます応用され、そこでは「持続的な自己進化」が鍵になる。しかし既存のMLEエージェントは、(1)枝(branch)間の情報分断、(2)記憶を持たない探索、(3)階層的制御の欠如、という問題を抱え、これらが長期最適化を妨げていた。

著者らが提示するMLEvolveは、端から端まで(end-to-end)の機械学習アルゴリズム発見のための、LLMベースの自己進化型マルチエージェント枠組みである。ツリー探索を「Progressive MCGS」に拡張することで、グラフベースの参照辺を通じた枝間の情報の流れを可能にし、エントロピーに着想を得た漸進的スケジュールで、探索を「広い探索(exploration)」から「集中した活用(exploitation)」へ徐々に移す。エージェントが蓄積した経験とともに進化できるよう、コールドスタートのドメイン知識ベースと、タスク固有の経験を検索・再利用する動的なグローバル記憶を組み合わせた「Retrospective Memory（回顧的記憶）」を導入する。さらに長期反復の安定のため、戦略的計画とコード生成を適応的なコーディングモードで分離する。

MLE-Benchでの評価では、MLEvolveは平均メダル率や有効提出率を含む複数の次元で、12時間（標準の半分の実行時間）という予算下でSOTAを達成した。さらに、AlphaEvolveを含む専門のアルゴリズム発見手法をも数理アルゴリズム最適化タスクで上回り、強い領域横断の汎化を示した。