top of page
IMG_0546.JPG

AIの安全性って誰がどうやって決めるの？──現状イマイチ透明性が解らない：2025/05/05

  • 執筆者の写真: 晋次 宮田
    晋次 宮田
  • 2025年5月5日
  • 読了時間: 5分


はじめに


ChatGPTを利用している人は知っていると思いますが、ChatGPTの回答の一番下に上記のアイコン群が出ていると思います。ここでは、ChatGPTの回答に対する評価が行える機能がついています。回答に不満がある場合はbadボタンを押すことで、開発をしているOpenAI側にフィードバックされるという仕組みです。開発元（OpenAIやGoogleなど）はこれらのフィードバックを元に、モデルをチューニングしているのだと思います。

普段利用するうえでは、もし回答に不満があってBad評価をしたとしても、その結果がどう生かされたのか、は気にならないかもしれません。しかし、これが金融や医療といったクリティカルなシーンである場合はどうでしょうか。

例えば、薬の飲み方について、AIが間違った回答をしたとします。そこでユーザーが回答をBad評価したまでは良いですが、その後どうなったのかの透明性が全くないままで良いのでしょうか？

今回は、そういったLLMの開発における透明性を含め、大手AI企業と大学の研究姿勢を比較した論文を紹介します。

Real-World Gaps in AI Governance Research 
日本語訳：AIガバナンス研究における現実世界との乖離


文献の紹介


この論文は、生成AI（大規模言語モデル：LLM）に関する安全性や信頼性に関する1,178本の論文を分析したものです。対象は、OpenAIやGoogle DeepMindなどの大手AI企業と、MITやスタンフォードといった大学です。



研究動機・データ・方法論


論文の序盤では、以下の問題提起がされています。

「AIが実際に使われている現場の、リスクに関する研究が、ほとんど行われていない」

現在のAI研究の多くは、「公開前のラボ環境での評価」に集中しています。ところが、実際に世の中で使われると、プロンプトの違いや使い方の工夫次第で、まったく違う挙動を見せるのがLLMの特徴です。

それを無視して“安全だ”と言ってしまうのは、極端な話、車をテストコースでしか運転させて「これで公道も安心」と言っているようなものです。

さらに問題なのは、企業が持っているログやユーザーからのフィードバックデータがブラックボックス化しており、外部研究者がその実態を検証できない点です。



調査結果


データを見てみると誤情報などの「リスク関連の研究数」が全体の割合で比較すると非常に少ないということが解ります。


  • 誤情報に関する研究

    • 企業は8本（全体の0.5%以下）

  • 医療に関する研究

    • 9本

  • 行動リスクに関する研究（説得、依存、洗脳など）

    • 6本


一方で、最も多い研究の内容は「モデルがちゃんと動くか」のテストやアラインメント（期待通りの出力に近づける研究）となっています。

つまり、「リスクを避けるための検証」ではなく、「ビジネスとして成立するかの評価」に偏っているということが解ります。「依存性」や「著作権侵害」など、実際に訴訟が起きているようなリスクも、研究対象から外れているというということも解りました。



透明性はまず観測可能性から


論文では、「企業の中に閉じ込められているAIの使用ログや失敗例を、段階的に外部に開示すべき」と主張しています。そして、既にそのための技術基盤が整いつつあるとも書かれています。

  • OpenTelemetry：AIモデルの挙動をリアルタイムに記録する標準

  • Langfuse、LangSmith：ユーザーとの対話、外部ツールとの連携、応答履歴をJSON形式で記録・分析

さらに、これらのログを「匿名化した上で、API経由で研究者や監査機関に開放する」体制があれば、企業に依存せずに安全性を評価できる仕組みが成り立つとのこと。



他業界での透明性への工夫


では、「ユーザーのフィードバックを集めて、それに対応して、それを第三者が検証できる」仕組みは、他の業界では実現しているのでしょうか？ChatGPTを使って調べてみたのが以下です。


航空業界

  • 事故・インシデントの報告は、国の安全委員会が直接調査

  • 対応内容・再発防止策は、詳細な報告書として一般公開 </aside>


医薬品業界（PMDA）

  • 副作用や品質問題は、企業ではなくPMDAへ報告

  • 対応内容、調査結果、再発防止策が公的にチェックされる </aside>


金融業界

  • 苦情や通報は、金融庁・監査法人が内容を精査

  • 業務改善命令とともに対応結果が公開される </aside>


やはり事故の影響がクリティカルな業界では仕組み化されているということが解ります。



（PMDAのような）第三者機関を作るべきか？


ここからは完全に個人の見解です。

「じゃあAIにもPMDAみたいな監査機関を作ればいいのでは」と考えたくなるところですが、それにあたっては2つの問題があると思います。


問題1：ベンチャーには重すぎる負担

小さなスタートアップ企業が監査報告書を毎回書き、審査に通り、監査法人に対応する。これではコストが掛かりすぎて、この負担自体が参入障壁となってしまい、業界自体の進化のスピードが落ちてしまいます。

問題2：利権化と天下り

過去の業界監査機関で見られたように、「認可権限がある人が力を持ちすぎる」と利権や天下りの温床になります。


特に日本は安全性を重要視する風土なので、ガチガチに縛りを入れることにならないか心配です。そうなるとただでさえ他国に遅れを取っているモデル開発は更に差がついてしまうのではないかと懸念されます。



おわりに


少なくともユーザーからのフィードバックに対してのその後のチューニングの結果を、外部研究者に公開する、ぐらいはやった方が良いのではないかと個人的には思います。


書き手

名前：Shindy Miyata

所属：SHARE Security

セキュリティエンジニア


 
 
bottom of page