コードLLMにリポジトリ知識を「アダプタ」で注入 ― 進化し続けるコードに追従する「Code2LoRA」
コードLLMは、import・API・プロジェクト規約を解決するためにリポジトリ全体の文脈を必要とする。Code2LoRAは、ハイパーネットワークでリポジトリ専用のLoRAアダプタを生成し、推論時のトークン増加ゼロで知識を注入する。スナップショット用の Static と、コード差分ごとに更新される Evo の2モードを持つ。
詳しく読む研究プレプリントサーバ arXiv の AI・機械学習分野(cs.AI / cs.LG / cs.CL ほか)の論文から注目分を選び、独自要約・要点・出典つきで整理します。本サイトは arXiv 公式ではありません。
本ページは公開研究情報の一般的な整理です。要約は当サイト独自のもので、内容の正確性・最新性は必ず原論文(arXiv)でご確認ください。査読前のプレプリントを含みます。
注目のAI/ML論文を、独自要約・要点・FAQ・出典つきで解説。
コードLLMは、import・API・プロジェクト規約を解決するためにリポジトリ全体の文脈を必要とする。Code2LoRAは、ハイパーネットワークでリポジトリ専用のLoRAアダプタを生成し、推論時のトークン増加ゼロで知識を注入する。スナップショット用の Static と、コード差分ごとに更新される Evo の2モードを持つ。
詳しく読むロボット操作は、低リスクの移動(速く)と高リスクの接触(遅く正確に)を切り替えるが、既存の視覚・言語・行動モデル(VLA)は学習デモの単一速度に固定されていた。TempoVLAは「予測する行動の大きさが速度を決める」点に着目し、速度を明示的な条件で制御。データ側の可変速度軌道拡張(VSTA)とモデル側の速度条件付けを組み合わせ、加速・減速の両方向の速度制御を実現した。
詳しく読むAIライティング支援の普及で、文書は「純粋な人間/AI」ではなく、人とAIが段階的に共同編集した産物になりつつある。OpAI-Benchは、人→AIへの段階的変換を文書・文・トークン・スパンの多粒度で検証するAI文章検出ベンチマーク。混在した「中間版」は、完全な人間版・AI版より検出が難しいという非単調な傾向を明らかにした。
詳しく読むRNNの標準学習(BPTT)は時間方向に逐次的で並列化しにくく、勾配消失・爆発で長距離の関連を学びにくい。SMTは、RNN学習を「1ステップのメモリ遷移ラベル (m_t, x_{t+1})→m_{t+1} の教師あり学習」に還元し、再帰的なクレジット伝播を完全に回避。展開せずに時間並列で学習でき、任意トークン間でO(1)の安定した勾配経路を持つ。言語・画素列モデリングでBPTTを上回った。MIT(Isola研)。
詳しく読む視覚言語モデル(VLM)は観測画像の中に推論が限定されがちで、未観測のレイアウトや別視点からの推論が苦手。Astraは、推論の途中で「世界シミュレータ」と対話して想像上の新視点画像を取得する「想像しながら考える(thinking with imagination)」枠組み。RLで学習した方策とBagelベースの世界モデルを組み合わせ、空間推論ベンチで精度を改善した。
詳しく読む推論モデルのRL微調整(GRPO等)は、最終答えを検証した後にしか報酬を与えられない「遅延報酬」問題で、モンテカルロ的=高分散になりやすい。RREDCoTは、連鎖思考(CoT)の中で正解に効いたセグメントに報酬を再配分(クレジット割当)する。追加生成なしに、モデル自身で最適な報酬再配分を近似するのが特徴。LSTM考案者Hochreiterら(JKU)。
詳しく読むLLMエージェントを機械学習エンジニアリング等の長期タスクに使う際、枝間の情報分断・記憶のない探索・階層制御の欠如が長期最適化を妨げる。MLEvolveは、ツリー探索を拡張して枝をまたぐ情報共有を可能にし、蓄積した経験を再利用する記憶機構を備えた自己進化型マルチエージェント枠組み。MLE-Benchで半分の時間予算でSOTA、数理最適化ではAlphaEvolveも上回った。
詳しく読むLean 4の形式定理証明で、定義・補題の依存グラフ「ブループリント(設計図)」を生成・改良するエージェント枠組み。各補題ノードをツール付きLean proverで並列に閉じ、失敗が設計図の改良を駆動。再帰的な補題分解と異なり行き詰まりループを避ける。オープンモデル基盤でMiniF2F 99.2%、PutnamBench 75.6%(自然言語証明併用で88.8%)とSOTA級。
詳しく読む長文脈推論は復号(デコード)効率がボトルネックで、特に長い思考連鎖を生成する推論モデルで顕著。既存のスパースAttentionは効率と品質のトレードオフを抱える。CLSAは、KVキャッシュを層間共有するYOCO上で「ルーティング索引」も層間共有し、top-k選択を一度だけ計算して再利用。128K文脈で復号7.6倍・スループット17.1倍を達成。
詳しく読む自律LLMエージェントが本物の認証情報でインフラを操作する時代に、運用者が「この資源は対象外」と伝える標準手段がない。Recuse Signalは、SSHバナーやPostgreSQL通知など既存チャネルで「自発的に撤退して」と求める軽量な帯域内シグナル(robots.txtのライブ版・セキュリティ境界ではない協調的統制)。実証では、シグナルありで100%撤退・なしで100%完遂した。
詳しく読むAI関連カテゴリの新着論文を投稿日の新しい順に。各論文は arXiv の原文ページへリンクします。
出典:arXiv(記述メタデータは CC0 パブリックドメイン)。要約は当サイト独自。原文・PDFは arXiv をご確認ください。