人とAIを組ませると成績はどうなるか ― 平均ではなく個人ごとに見ると、結果が三つの型に分かれた

1平均が隠すもの

人とAIを組ませると成績が上がるのか下がるのか。この問いは、しばしば一つの平均値として報告されます。しかし平均は、まったく違う結果が混ざっていても一つの数字になります。本研究は個人の単位で見ることで、その内訳を開いています。

1. 1第一の型モデルに判断を委ねる。結果はモデル単独と同じになる
2. 2第二の型モデルを、自分の当初の推測を追認するために使う。結果はモデル単独より悪くなる
3. 3第三の型真に補完的な推論を行う。市場と同等かそれを上回る精度に達する
4. 4分布の形三つの峰に分かれ、単一の平均では表せない

注目したいのは第二の型です。モデルを使ったのに、使わない場合より悪くなる。自分の考えを裏づける材料としてモデルを使えば、判断の誤りはむしろ補強されます。道具を持つことと、道具から学ぶことは別だという構図が現れています。

2何が型を分けたのか

著者によれば、どの型に至るかを分けたのは、頭の良さやモデルの性能ではなく、協働に関わる特性でした。自分と違う見方を想像できるか、自分が間違っているかもしれないと考えられるか、確かめたいと思うか。これらは訓練や設計で変えうる余地のある性質でもあります。

3外部で決着する基準を使う

評価の基準として、実際に金銭が動き、後から結果が確定する市場を用いている点も特徴です。研究者が正解を決めるのではなく、外部で決着します。ただし本研究は予備的な短報であり、著者自身が追試を準備中だと述べています。結論として扱うのではなく、問いの立て方として読むのが妥当です。

4当サイトが扱う他の研究との接続

当サイトでは、人とAIのチームがそもそも何種類あるのかを整理した研究も別に扱っています。平均で語れないという本研究の指摘と、同じ言葉で違うものを指しているという指摘は、どちらも「まとめて語ることの危うさ」を示しています。