医学部 School of news

ニュース&トピックス

News & Topics

[医学部]生成AIの耳鼻咽喉科領域における有用性を画像を含めて検討し、最適プロンプトを開発

研究情報

概要

2022年より生成AIの開発が進み、その活用がすすんでいます。2023年にはChatGPT によってアメリカの医師国家試験(USMLE)や司法試験で合格レベルに達したという報告がされて以降,ChatGPT の医療・ヘルスケア分野での活用可能性が世 界的に大きな注目を浴びるようになりました。さらに、20239月よりGPT-4Visionが発表され、画像認識もできることが報告されました。

本研究では、耳鼻咽喉科の野田 昌生助教らのグループが、金沢大学の野村 章洋准教授、上野 貴雄助教らとの共同研究を行い、生成AIの耳鼻咽喉科領域における有用性を検討するために、日本耳鼻咽喉科専門医試験に対するGPT-4Vision(GPT-4V) のパフォーマンスを検証しました。

これまで、著者らは大規模言語モデルGPTについて、日本医師国家試験や耳鼻咽喉科専門医試験のうち、画像データを有さない選択肢問題に対する有効性を報告してきました。(Tanaka et al. 2024 PLOS Digital Health, 野田ら. 2023 日耳鼻 )

今回の研究では、2023年度の耳鼻咽喉科専門医試験に含まれる全100問(画像問題を含む)に対するGPT-4Vの回答能力と精度を評価しました。

テキストのみの入力では平均正解率が24.7%でしたが、英訳と開発したプロンプトの追加により47.3%まで有意に向上しました(P<.001)。テキストのみの入力における非応答率は平均46.3%でしたが、英訳と開発したプロンプトの追加で2.7%まで低減しました(P<.001)。画像問題を含む問題では、テキストのみの入力に比べて、テキストと画像の入力が正解率を向上させました。ただし、画像ベースの問題の正解率はテキストベースの問題よりも低く、GPT-4Vの現段階での改善の余地が示唆されました。特に、画像解析能力に関しては、さらなる研究と開発が必要とされることがわかりました。

この研究はAIの医学分野における応用の研究として、耳鼻咽喉科領域における活用方法の可能性を示すとともに、AIの安全な使用方法に関する今後の考慮においても重要と考えられ、本研究の結果を発信しています。

本研究の成果は国際科学雑誌JMIR Medical Educationに掲載されました。

論文名、著者名など

論文タイトル: Performance of GPT-4V in Answering the Japanese Otolaryngology Board Certification Examination Questions: Evaluation Study

著者:
野田昌生*、 上野貴雄、 甲州亮太、 高相裕司、 島田茉莉、 齋藤知寿、 杉本寿史、 伏木宏彰、 伊藤真人、 野村章洋、 吉崎智一
*責任著者)

掲載誌:JMIR Medical Education
https://mededu.jmir.org/2024/1/e57054