原題: Evaluating diagnostic accuracy of large language models in neuroradiology cases using image inputs from JAMA neurology and JAMA clinical challenges
筆頭著者: Ahmed Albaqshi
掲載誌: Scientific Reports
掲載日: 2025年11月27日
1. この研究はなぜ行われたのか？（背景と目的）
近年、マルチモーダルな大規模言語モデル（LLM）が、テキストだけでなく画像情報を処理する能力を飛躍的に向上させています。しかし、高度な専門知識と複雑な視覚情報が必要とされる「神経放射線科」の診断において、これらのAIがどの程度の性能を発揮できるかは十分に解明されていません。本研究は、GPT-4、Gemini、Claudeといった主要な最新AIモデルを用い、高難度の臨床症例に対する診断精度を、人間の専門医と比較検証することを目的として行われました。
2. 従来の医療と何が違うのか？（画期的なポイント）
本研究の画期的な点は、JAMA Neurologyなどの著名な医学誌から選ばれた56の複雑な実症例を使用し、6種類の最新LLM（GPT-4v、GPT-4o、Gemini 1.5 Pro/Flash、Claude 3.0/3.5）を多角的に評価したことです。特に、「画像のみ」「テキストのみ」「画像とテキストの併用」といった異なる入力パターンに対するAIの反応を分析し、実際の放射線科専攻医（1年目・2年目）や若手専門医の正答率と直接比較した点は、非常にユニークです。
3. 研究が明らかにした結論
最も高い精度を記録したのは「Claude 3.5」で、オリジナルの画像とテキスト入力において80.4%という高い正答率を示しました。LLM全体の性能は、1年目の放射線科専門医（正答率71.4%）と同等であり、驚くべきことに一部の若手専門医（51.8%）や2年目専攻医（48.2%）のスコアを上回りました。しかし、画像のみから病変の場所を特定する能力は、モデルによって21.5%から63.1%と大きな幅があり、画像解釈能力には依然として大きな限界があることも浮き彫りになりました。
4. 今後の課題と医療現場への影響
最新のAIは、臨床情報（テキスト）を伴うことで専門医に匹敵する強力な診断支援ツールになる可能性を秘めています。しかし、画像そのものを自律的に解釈し、詳細な病理学的特徴を見抜く能力はまだ不十分です。今後の課題は、より高度な画像解析能力の統合であり、放射線科医がAIを「競合」ではなく、ワークフローを効率化・補完する「パートナー」として活用する仕組みづくりが求められています。
【参照元データ】
論文タイトル: Evaluating diagnostic accuracy of large language models in neuroradiology cases using image inputs from JAMA neurology and JAMA clinical challenges
著者: Ahmed Albaqshi
掲載誌: Scientific Reports
掲載日: 2025年11月27日
URL: https://pubmed.ncbi.nlm.nih.gov/41309648/
専門医の視点
本研究では、JAMA Neurology等の難解な症例を用い、Claude 3.5やGemini 1.5 Proといった最新の大規模言語モデル（LLM）の診断精度を検証しています
最高性能を示したClaude 3.5は、画像とテキストの併用で80.4%の正答率を記録しました
ただし、AIは臨床情報のテキスト解析に強く依存しており、画像単体での病変部位の特定精度は21.5%〜63.1%に留まっています
注意点
本研究には留意すべき点があります。
まず、選択肢があるクイズ形式での評価であり、精度が過大評価されている可能性があります
また、学習データに含まれる既知症例への「慣れ（データ漏洩）」のリスクや、希少疾患における画像単独の解釈能力の限界も指摘されています
AIは強力な支援ツールとなり得ますが、最終的な診断には人間の専門医による「画像と臨床背景の高度な統合」が不可欠と言えるでしょう。
コメント