ニュース&トピックス

概要

2022年より生成AIの開発が進み、その活用がすすんでいます。2023年にはChatGPT によってアメリカの医師国家試験(USMLE)や司法試験で合格レベルに達したという報告がされて以降，ChatGPT の医療・ヘルスケア分野での活用可能性が世 界的に大きな注目を浴びるようになりました。さらに、2023年9月よりGPT-4Visionが発表され、画像認識もできることが報告されました。

本研究では、耳鼻咽喉科の野田　昌生助教らのグループが、金沢大学の野村　章洋准教授、上野　貴雄助教らとの共同研究を行い、生成AIの耳鼻咽喉科領域における有用性を検討するために、日本耳鼻咽喉科専門医試験に対するGPT-4Vision(GPT-4V) のパフォーマンスを検証しました。

これまで、著者らは大規模言語モデルGPTについて、日本医師国家試験や耳鼻咽喉科専門医試験のうち、画像データを有さない選択肢問題に対する有効性を報告してきました。(Tanaka et al. 2024 PLOS Digital Health, 野田ら. 2023 日耳鼻 )

今回の研究では、2023年度の耳鼻咽喉科専門医試験に含まれる全100問（画像問題を含む）に対するGPT-4Vの回答能力と精度を評価しました。

テキストのみの入力では平均正解率が24.7%でしたが、英訳と開発したプロンプトの追加により47.3%まで有意に向上しました（P<.001）。テキストのみの入力における非応答率は平均46.3%でしたが、英訳と開発したプロンプトの追加で2.7%まで低減しました（P<.001）。画像問題を含む問題では、テキストのみの入力に比べて、テキストと画像の入力が正解率を向上させました。ただし、画像ベースの問題の正解率はテキストベースの問題よりも低く、GPT-4Vの現段階での改善の余地が示唆されました。特に、画像解析能力に関しては、さらなる研究と開発が必要とされることがわかりました。

この研究はAIの医学分野における応用の研究として、耳鼻咽喉科領域における活用方法の可能性を示すとともに、AIの安全な使用方法に関する今後の考慮においても重要と考えられ、本研究の結果を発信しています。

本研究の成果は国際科学雑誌JMIR Medical Educationに掲載されました。

論文名、著者名など

論文タイトル: Performance of GPT-4V in Answering the Japanese Otolaryngology Board Certification Examination Questions: Evaluation Study

著者：
野田昌生*、　上野貴雄、　甲州亮太、　高相裕司、　島田茉莉、　齋藤知寿、　杉本寿史、　伏木宏彰、　伊藤真人、　野村章洋、　吉崎智一
（*責任著者)

掲載誌：JMIR Medical Education
https://mededu.jmir.org/2024/1/e57054