「AIも転んで賢くなる!?」間違いから学んだLLMが数学能力を劇的に伸ばすことが判明：2025/03/26

はじめに

ChatGPTをはじめとしたAIの進化が目覚ましく、人間に匹敵するレベルの複雑な問題を解けるようになってきました。

少なくとも私は余裕で超えられているかと思います。

これらのAIは基本的に「正解」をメインに学習をしています。高品質な正解データを大量に覚えこませることで、能力を高めるという学習の仕方が基本となっています。

ただ、正解データだけに頼る学習には大きな弱点があるということが解ってきました。

それは「AIが自らの間違いを認識して修正する能力」が育たないことです。

AIにも、「間違いを自覚し、そこから学んで改善する」という人間的な能力が極めて重要だということが解ってきました。

上海AIラボや清華大学などの共同研究チームが提案した新手法「LEMMA (Learning from Errors for Mathematical Advancement)」は、数学問題を解く大規模言語モデル（LLM）が「間違い」から学ぶことの効果を示しました。

この研究では、AIが起こした典型的な間違いを体系的に分析し、その間違いを正しい解答に修正するデータを作成しました。

この「失敗データ」を用いてモデルを再教育した結果、数学問題を解く精度が従来の手法より大幅に向上することがわかりました。

例えば、「単純な計算ミス」「公式の誤った使用」「問題文の理解不足」といった失敗をあえてAIに教え込むことで、AIは自らのミスを早期に発見し、自己修正する能力を身につけたとのこと。

研究チームは、数学問題を解くAIが頻繁に陥る失敗パターンを詳細に分析しました。AIが起こしやすい6つの典型的なエラータイプとその具体例を見てみましょう。

エラータイプ	具体的な例
質問の誤解（QM）	「1時間半は何分か？」という質問に対して「1時間=100分と誤解して150分と答える」
公式混同（FC）	「円の面積」を求めるのに「円周」の公式を使い、誤った答えを出す
計算ミス（CA）	「15 × 3」を「35」と誤答する単純ミス
概念混同（CC）	「平均値」と「中央値」を混同して、中央値の説明をしてしまう
推論ステップ欠如（MS）	「リンゴ10個を3人に分けた余り」を求める際、途中の割り算ステップを省略して結論だけ書く
ナンセンス出力（NO）	「四角形の面積は？」という問いに「四角形は青色」と意味のない答えを出す

なるほど。確かにこんな感じで分類できそうではありますね。

また、この研究では、LLaMA3、Mistral、DeepSeekMath、Qwen2-Mathなど複数の代表的なAIモデルにおいて、それぞれのエラーがどの程度発生するのかも調査されています。

では、なぜ「間違いを学ぶ」ことでAIの数学力が飛躍的に高まるのでしょうか。その理由は3つあります。

正解のデータばかりを学習しているAIは、「どのような条件で間違いが起きるのか」がわかりません。間違ったパターンを学ぶことで、「ここから先は間違いになる」という明確なライン（エラー境界）をAIが自覚できるようになります。その結果、AIは未知の状況でもエラーを避けることができます。

人間が自分の失敗から学び取るように、AIも自身のエラーを検知して修正する能力を獲得します。例えば、途中の計算を間違えた際、修正すべきステップを見つけてやり直すという柔軟な思考力をAIが身につけます。

「正解」だけを集めたデータはどうしてもバリエーションが乏しくなりがちです。間違いを含むデータを追加すると、AIが接するデータの種類が劇的に増え、より広範な問題パターンに対して正しく対応できるようになります。

実際、LEMMAを用いた再教育により、AIモデルは数学のベンチマーク試験（GSM8K、MATH）で従来の学習法を大きく超える精度向上を達成しました。

この研究結果は、「失敗を恐れず、そこから学ぶ」という人間的な学習スタイルが、AIの進化にとっても本質的に重要であることを示しています。

人間は失敗を恐れますが、AIは恐れませんからね。うーんかないませんな。

名前：Shindy Miyata

所属：SHARE Security

セキュリティエンジニア