抵抗は減ったが、無駄は増えていた ― 報酬を最大化した制御が招いたもの（2026年6月）

1報酬を最大化した結果、目的から離れる

この連載でここまで見てきたのは、対象の側の構造をどう定式化に写すかという話だった。この論文が扱うのは、その逆側の失敗である。報酬をきちんと最大化した結果、設計者が求めていたものから離れていく。

2三つの欠陥と、その原因

三つとも、報酬や計算の設計そのものに起因している。 学習が失敗したのではなく、学習が与えられた通りに成功した結果として現れている。

3「抵抗低減」という数字が隠したもの

指標が良くなったのに、系全体としては悪くなっている。 これは強化学習に固有の問題ではないが、報酬を明示的に書き下ろす枠組みでは、書き下ろしたものと求めているものの差がそのまま結果に出る。論文が「正直な会計」という言い方をしているのは、そのためである。

4修正は、報酬を厳しくすることではない

注意したいのは、著者らが行ったのが報酬の値を下げることではない点である。三つの欠陥はそれぞれ別の層にあった。ひとつは計算（射影が寄与を潰す）、ひとつは方策の構造（記憶がない）、ひとつは報酬の定義（何を数えるか）。どこで壊れているかを分けて特定し、層ごとに直している。

結果として得られた17%は、修正前の大きな数字より小さい。しかし閉じたエネルギー収支のもとで得られた値であり、系全体として実際に得をしていることが確かめられる形になっている。