喉まで出かかっているけど答えが出ない：AIにも同じ現象があるって本当？：2025/03/24
- 晋次 宮田
- 2025年3月24日
- 読了時間: 3分
はじめに
「喉まで出かかっているけど答えが出てこない」私も年を取るにつれ、この現象が多くなってきました。
実は最近、AIにもこの状態に似た現象が起きていることがある研究により明らかになりました。
この研究によると、AIが知識としては正解を持っている（答えを知っている）はずなのに、なぜかそれを表現できないという驚きの現象があるとのことなのです。
AIにも「ここまででかかっているのに。。。。」がある？
この研究によると、AI（人工知能）が質問に答える際に、内部ではしっかりと正解を理解しているにもかかわらず、実際には正しい回答を生成できないケースが存在しているとのこと。
例えば、「Volvo B58というバスの製造会社は？」という質問に対して、あるAIモデルはなんと1000回試行しても一度も正しい「Volvo Buses」と答えることができず、毎回間違って「BMW」と回答してしまったとのことです。
しかし、研究者たちがこのAIの内部を詳しく調査すると、驚くべきことにAIは「Volvo Buses」が正解であることを完全に理解していました。
調査によると、多くのAIは外部に出力している知識よりも、内部に隠れている知識のほうが40%以上も多く存在していることがわかりました。特にGoogleのAIモデル「Gemma」では、内部の知識が外部に表現される知識を57%も上回っていることが確認されました。
人間で言えば「あの人の名前、喉まで出かかっているのに思い出せない！」という感覚と同じで、AIも「頭の中では正解を持っているけど、なぜか出力できない」状況に置かれていることがわかったのです。
どうしてAIは知っていることを言えないの？
AIが隠れた知識を持ちながらもそれを表現できない理由は、AIが学習するプロセスと深く関係しているとのこと。
AIは膨大なデータを通じて情報を学習しますが、その過程では正解だけでなく誤った情報や曖昧な情報も同時に取り込みます。
結果として、AIの内部では「正解」がしっかり認識されていても、実際に答えを生成する段階では混乱が起き、誤った回答が繰り返されることがあります。
またAIが回答を生成するときに使う方法（例えば、一番確率の高い単語を順番に選ぶGreedy Decodingなど）も影響しています。
内部では明確な正解があっても、生成の途中で別の候補に流れてしまうことがあり、それが「喉まで出かかっているけど出てこない」状況を引き起こしているそうです。
この発見がAI研究にもたらす可能性
AIの内部に眠っている「隠れた知識」を引き出すことができれば、AIの能力は劇的に向上する可能性があります。
研究チームはこの「隠れた知識」の存在を明らかにするために、内部のデータを分析し、実際の生成結果と比較する新しい評価方法を開発しました。この評価方法は、AIの知識をより深く理解し、AIの性能をさらに高める研究に役立つでしょう。
同時に、この研究は「AIが意図せず隠している知識が外に漏れる可能性」という新たなリスクにも気づかせてくれます。AIが機密情報や問題のある情報を意図せず保持し、それが予期せず外部に漏れてしまう危険性も存在しているのです。
そもそも「知っている」とはなにか？
哲学的な話をするつもりも知識もないのですが、この文献の面白いと点は「AIが何かを知っている」とは何かを定義している点です。
研究者は、
AIが何かを知っている＝AIが質問に対して「正解と不正解」を見分けて、「正解をより高いスコアで評価する」能力と定義しています。なるほど〜言われてみれば人間ももしかしたらそうなのかもしれませんね。
知らんけど！
書き手
名前：Shindy Miyata
所属：SHARE Security
セキュリティエンジニア
