量子化したLLMは「同じモデル」ではない ― 精度が保たれても挙動が変わる「等価性の幻想」

本研究は、LLMの量子化について「精度が変わらなければ同じモデル」という常識に疑問を突きつける。

1事後量子化が標準になった前提

事後量子化(post-training quantization)は、限られた計算資源でLLMを動かすための標準技術になっている。だがその品質評価は、精度(accuracy)とパープレキシティという集計指標にほぼ頼ってきた。著者らはまず、これらの指標が量子化により引き起こされる挙動の変化を捉え損ねることを示す。

2correctness agreement という指標

導入されるのは correctness agreement という決定レベルの指標だ。ベースモデルと量子化版のそれぞれが正解した予測の「重なり」を測るもので、絶対精度とは独立に、2つのモデルが「同じ問題で正解・不正解しているか」を評価する。集計精度が同じでも、正解している問題の集合が入れ替わっていれば、それは同じ挙動のモデルではない。

38bitから2bitまでで見えた乖離

複数のモデルと8bitから2bitまでの量子化方式で検証した結果、タスク性能が保たれて見える中程度の量子化でも、挙動の乖離が現れることが分かった。この効果を説明するため、著者らは量子化をAttention重みへの構造的な作用素(structural operator)として分析し、統計・分布的な指標で層ごとの歪みを定量化する。

結果は、低ビット幅での非線形な破断点の存在と、query・key射影がvalue・output射影より一貫して敏感であることを示した。