コードを書かせると特定の言語に偏る ― 選んだ理由を後から作ってしまう「幻の根拠」という失敗の型

1既定の選択が適切でない場面

コードを書かせるとき、モデルは何らかの言語を選びます。多くの場面では妥当な選択になりますが、常にそうとは限りません。本研究は、その言語が既定の選択として適切でないことが多い七つの領域から28のプロジェクトを集め、25のモデルを評価しました。

測ったのは三つです。特定の言語への偏り、推奨と実装の一致度、そして言語の多様性。単に何を選んだかだけでなく、推奨した言語と実際に書いたコードが一致しているかまで見ている点が特徴です。

2理由をたどる

1. 1多くの選択自動的なもの、あるいは主に容易さによるもの
2. 2本来期待される選択プロジェクトの要件を明示的に検討した結果
3. 3少数だが重要な失敗選ぶための文脈上の裏づけを作り出す（幻の根拠）
4. 4同じく自らの推論で選んだ言語と矛盾するコードを生成する

9,826件の推論の記録を調べた結果、多くの選択は要件の検討によるものではなかったとされます。さらに一部では、その言語を選ぶ理由になる文脈が存在しないにもかかわらず、あたかも存在するかのように書かれていました。著者らはこれを「幻の根拠」と呼んでいます。

3理由が書いてあることと、理由があること

この失敗の型が重要なのは、出力を読むだけでは見分けがつきにくいためです。理由が添えられていれば、判断は妥当に見えます。しかしその理由が入力に裏づけられているかどうかは、別に確かめなければ分かりません。説明が付いていることは、説明が正しいことを意味しないという点が、この研究の実務的な含意です。

4小さいモデルほど偏る

小規模なオープンウェイトのモデルほど当該言語への偏りが強く、言語の多様性が低い傾向も報告されています。自前で動かせる小さなモデルを選ぶ場合、この傾向を前提に置く必要があります。当サイトでは評価の設計が結論を左右するという論点を別の記事でも扱っています。