誤情報も流暢に作成する対話型AI「ChatGPT」の科学への応用と危険性

さらに自民党の「AIの進化と実装に関するプロジェクトチーム」の事務局長である塩崎彰久衆議院議員によると、同日、アルトマン氏は同チームの会合に参加し、日本に対して以下の7つの提案を行いました。

1. 日本関連の学習データのウェイト引き上げ
2. 政府の公開データなどの分析提供等
3. LLM*を用いた学習方法や留意点等についてのノウハウ共有
4. GPT-4の画像解析などの先行機能の提供
5. 機微データの国内保全のため仕組みの検討
6. 日本におけるOpen AI社のプレゼンス強化
7. 日本の若い研究者や学生などへの研修・教育提供
*注：大規模言語モデル（Large Language Models）のこと

このように急速に広まり、「インターネットの登場を超えるインパクト」とも言われているChatGPTですが、科学の世界でも早々に実験や検証の対象として扱われたり、論文の著者として登場したりしています。今回は、医学分野で検証した結果から、ChatGPTの科学への適応性と限界について見てみましょう。

米国医師免許試験の合格圏に

世界で最も権威のある学術誌の一つである「Nature」は23年1月に、「ChatGPTなどのAIは、学術論文の内容や倫理規範に責任を持つことができないため、研究著者としての基準を満たしていない」という見解を掲載しています。

この記事が掲載された時点で、ChatGPTが共著者として参加した論文はすでに４つありました。なかでも特に注目されたのは、ハーバード大学医学部のティファニー・H・クン氏らの研究チームがChatGPTにアメリカの医師免許試験(USMLE)を受けさせた実験です。研究成果を発表した論文には、ChatGPTが共同執筆者として3番目に掲載されています。

ChatGPTは、膨大な量の既存のテキストデータを収集し、機械学習と強化学習を通じて確率的にもっともらしい文章を作成していく仕組みです。クン氏らは、一般公開されている376問の試験問題からすでにChatGPTに学習された可能性のある問題を排除した305問についてChatGPTに入力し、解答させました。採点は2人の医師によって行われました。

USMLEには臨床データから見解を記述させるような複雑な問題もありますが、ChatGPTは94.6%の一致率で問題内容に沿った的外れではない解答を作成しました。全分野にわたって50％以上の正答率を上げ、そのうちのほとんどが60％を超えていたといいます。USMLEの合格基準は約60％の正答率であることから、ChatGPTは試験にギリギリ合格圏に入るということです。

さらに、解答内容に新規性、進歩性、妥当性があるかどうかを検討したところ、全体の88.9％で少なくとも1つの有意な洞察が見受けられたといいます。研究チームは「ChatGPTの解答から新しい知見や改善策を得られる可能性があり、医学を学ぶ人の支援になるかもしれない」と語っています。