论文精读

医学 LLM 与 MLLM 综述:从架构到临床落地的全景

Xiao 等综述梳理医学大模型从监督学习到多模态融合的范式演进、数据集与评估体系,并指出数据隐私与幻觉是临床落地的主要障碍。

· 约 2 分钟阅读

论文内容介绍 · 来源:本地知识库 RG-文献/P_(翻译)Xiao et al_2025(对应 S_20250228 医学领域 LLM 和 MLLM 全面综述 组会汇报)

一句话定位

Xiao 等的综述系统梳理了医学领域大模型从监督学习到多模态融合的范式演进,以及数据集、评估与落地挑战。

方法要点

  • 范式重构:把 NLP 发展分为五个阶段,强调从特征工程到预训练+提示再到多模态融合的转向。
  • 全流程技术体系:数据集选择 → 模型结构(Transformer 变体)→ 预训练(视觉-文本自注意力)→ 微调(SFT/指令遵循)。
  • 多维评估:自动指标 + 人工评估 + 安全伦理审查,重点考察抗幻觉与指令遵循。

关键结论

  • Med-PaLM 2 在 USMLE 达 86.5 分(专家级);ChatDoctor、ChatCAD、LLaVA-Med 在报告生成与诊断上展现潜力。
  • 数据隐私与幻觉仍是临床落地的主要障碍;未来需聚焦边缘部署与小样本学习。

与我的关联

这篇几乎是我整个医学 AI 知识体系的「目录」。它对「高质量医学数据集构建 + 幻觉抑制」的强调,直接指导我淋巴瘤影像-文本联合诊断模型的鲁棒性设计。隶属本地知识库「多模态大模型」主题。

继续阅读