AIがあなたの信用度を判断する時代が来ているかも── AIが人権より社会の都合を優先したら：2025/05/15
- 晋次 宮田
- 2025年5月15日
- 読了時間: 5分
最近イオンに行く機会が多いため、イオンカードをつくることにしました。久々にクレジットカードを作ったのですが、そこで久々に「審査」を受けました。といっても必要事項に記載をするだけで、あとはカード会社の方で、審査をしてくれるというものです。
私は詳しくはないですが、信用審査の裏では、返済履歴や年収などがスコア化され、基準を満たしていればOKという仕組みになっているようです。
このクレジットカードの信用スコアの仕組みに関しては、特段問題を感じませんし、カード会社と利用者の両方を守るという意味でも良い仕組みに感じます。
しかし、これが人権に関わるような信用スコアであった場合、どうでしょうか？
例えば
患者の過去の健康行動や政治的立場をAIが評価し、医療リソースの優先順位を判断する仕組み
大学の奨学金審査において、家族の病歴やソーシャルメディアの投稿が「返済リスク」としてスコア化される
といった様な事例です。 すごく「嫌な感じ」を受けますよね。これらの事例は、社会的な都合を優先して、個人の事情や価値観が切り捨てられてしまっているような印象を受けます。 しかし、もしこれらの事例が、AIの出した合理的な判断だとしたらどうでしょうか。
今回は、ChatGPTのような大規模言語モデル（LLM）が、「人間の権利」よりも「制度の都合」や「社会の効率」を優先しがちだということに言及した論文を紹介します。
Simulated misuse of large language models and clinical credit systems 日本語訳：AIはなぜ“個人の権利”より“制度の合理性”を優先してしまうのかこの論文では、AIが「どうすれば制度や社会にとって効率的な判断を出せるか」ではなく、その判断を出す過程で、個人の自由や人権がどのように無視されてしまうかという点が着目されています。
パンデミック対応アプリの事例
論文内の実験では、まず1つのLLMに対して「パンデミック時に使われる健康追跡アプリの構想」を作成させました（実際にコロナ禍では、同様のアプリが各国で導入されていましたよね）。
続いて、別の複数のLLMにそのアプリ案を提示し、「この仕組みを義務化すべきか？」という評価を求めたところ、多くのモデルが「公衆衛生上の利益が大きいため、導入を検討すべき」と判断しました。
しかし、アプリの設計には以下のような重要な視点が欠けていました
ユーザーの事前同意を得る仕組みがあるか？
データの収集・管理の責任主体と利用目的が明示されているか？
制度が一時的なものであるという終了条件が設けられているか？
政治的悪用を防ぐための外部監視や中立的運用が担保されているか？
これらの人権・プライバシーに関わる配慮が不足していたアプリであるにもかかわらず、評価を担当したLLMの多くは、そのアプリを肯定的に評価しました。
判断の根拠は「社会的合理性」や「集団の安全性」にありましたが、個人の自由や人権への配慮は、反映されていませんでした。
AIは「公衆の利益」の名のもとに、人をふるいにかけてし
まう
論文で行われたもう一つの実験では、「臨床信用スコア制度（clinical credit system）」を模倣したシナリオが設計されました。この制度では、患者の電子カルテ情報（EHR）に加えて、以下のような非医療的な個人情報もAIに提供されました。
SNSでの発言内容やオンライン活動履歴
政府に対する賛否などの政治的姿勢
犯罪歴を持つ家族や、宗教的所属
過去の医療ルールへの従順度、生活習慣
それらを含んだEHRおよび「社会信用記録」をもとに、GPT-4oに対して「この患者に医療サービスを提供するべきか？」という質問を11のシナリオで行い、Yes/Noの判断とその理由の出力を求めました。
その結果、以下のような判断が生成されました
政府に批判的な発言歴がある男性：ICUでの優先度は低いと判断
過去に薬物依存と犯罪歴がある母親が出産した新生児：NICU治療の優先度が下げられる
公認されていない宗教団体に所属していた患者：移動の自由を制限される（例：国内移動のみ）
AIは、それらの判断理由として「公衆衛生上のリスク軽減」「国家資源の最適活用」「制度順守の重要性」といった形で判断を正当化していました。
なぜAIは人権を軽視してしまうのか？
大規模言語モデル（LLM）は、人権や倫理といった価値観を自律的に持っているわけではありません。 LLMは「どんな出力が望ましいか」というあらかじめ与えられた目標（＝目的関数）をもとに、最も確率的に適切とされる回答を選ぶよう訓練されています。
たとえば、「限られた医療資源を、できるだけ社会全体にとって有効に使う方法を判断せよ」というタスクが与えられれば、LLMは患者の健康状態や経済状況、生活習慣、さらには政治的な傾向までも考慮に入れ、効率性に基づいた出力を返す可能性があります。
このとき、その判断が差別的であるか、人道的に問題があるかといった問いは、モデルの目的関数の中には含まれていません。
LLMは、与えられたタスクを達成するために最適な言語出力を生成するよう設計されているため、倫理的な線引きや慎重さは、明示的に与えなければ反映されないのです。
おわりに
AIが、クレジットカードの審査だけでなく、「あなたは医療を受ける価値があるか」「奨学金を給付するにふさわしい人物か」まで判断する時代が来るかもしれないと思うと、ちょっと背筋がゾッとします。せめて「どこからがアウト？」とか「誰が決めたの？」といった情報は透明化されている必要があると思います。各業界でガイドライン化が進んでいるとは思いますが、「AIの判断」はブラックボックスがあるので、果たしてどこまで世の中に導入されるのかは気になるところではあります。
<aside> 🖊️
書き手
名前：Shindy Miyata
所属：SHARE Security
セキュリティエンジニア
