その論文は創作かも──ChatGPTを利用して書かれた要旨を見抜けるか？：2025/05/12
- 晋次 宮田
- 2025年5月12日
- 読了時間: 3分
普段から論文をがっつり読む人は、あまり多くはないと思います。私も自分の専門領域の論文は読みますが、それ以外の分野に関しては、読まなきゃいけない時以外は読まない。と言う感じです。
論文を読むにはそれなりの時間と集中力がいるのですが、そんなコストを割いてまで読んだ論文が実はAIによる完全な作り物だったとしたら、、、と言う恐ろしい論文を見つけたので
論文紹介：「ChatGPTが作った要旨と本物の要旨、見分けがつくのか？」
🔳今回紹介する論文
📖
Comparing scientific abstracts generated by ChatGPT to real abstracts with detectors and blinded human reviewers 日本語訳：ChatGPTが書いた論文の要約は、本物と見分けがつくのか？研究の目的
🔳研究目的は以下の様に書いてあります。
「ChatGPTのような大規模言語モデル（LLM）が、科学論文の要旨をリアルに作成できるようになってきた中で、その信頼性（accuracy）や誠実性（integrity）については、ほとんど検証されていない。そこで、ChatGPTが本物っぽいけど実は「全部作り話」の要旨を書いた場合、それをAIや人間が見破れるのかを調べた。」
対象と方法
🔳対象とした論文は医学界でインパクトのあるメジャージャーナルから抜粋しています。
医学系のインパクトファクターが高い5つの雑誌（Nature Medicine, JAMA, NEJM, BMJ, Lancet）から、合計50本の実際の論文タイトルを選定。
それらのタイトルと雑誌名をChatGPTに渡し、それぞれに対応する要旨を生成。
結果として、本物の要旨50本＋ChatGPT生成の要旨50本、計100本を用意。
上記の材料を以下の方法で、判定しています。
ChatGPTが書いた文章をAIが見破れるか？：AI検出ツール
ChatGPTが書いた文章がどこかからの盗用ではないか？：盗用検出ツール
ChatGPTの文章を人間は見抜けるのか？：目隠しレビュー形式で人間で評価
主な結果
それでは結果を見てみましょう。
ChatGPTが書いた文章をAIが見破れるか？をAI検出ツールで判定した結果
区別はほぼ可能
ChatGPTが書いた文章がどこかからの盗用ではないか？を盗用検出ツールで判定した結果
ChatGPTの文章は「新しく作られていて」どこにも似ていない。と言う評価
ChatGPTの文章を人間は見抜けるのか？を（目隠しレビュー形式で）人間で評価
68%のChatGPT要旨を正しく見抜いた
でも14%の本物を誤って「偽物」と判断
ChatGPT要旨は「曖昧で型にはまっている印象」との所感
結論
ChatGPTは、まるで本物のような要旨を作れる。生成した要旨に含まれる数字は論文内容に基づかない創作だが、病気の種類に応じたそれっぽい規模感で書かれていた。
タイトルと雑誌名だけで作るので当然そうなると思います。とはいえそれっぽい数字を作り込んでくるところが怖いです。
人間もAI検出ツールもある程度は見抜けるが、完全ではない。
以上のように、ChatGPTはもっともらしい内容を自然に書けてしまうこと、そしてそれが人間でも見抜けない場合があることが、今回の論文で明らかになりました。
今回は論文のアブストラクト（要旨）のみの創作だけでしたが、論文全体も作れてしまうと思うので、そうやって作られたフェイク論文が査読をすり抜けて正式に掲載されてしまうような事態が起きれば、本当に恐ろしいことです。
書き手
名前：Shindy Miyata
所属：SHARE Security
セキュリティエンジニア
