统一多模态 Transformer 用于临床诊断的表征学习

一篇把“影像 + 文本”真正塞进同一个 Transformer 的临床诊断工作——不是拼接特征后接分类器，而是让注意力机制在两种模态之间自由流动。

它解决什么

临床诊断中，医生从来不是只看片子或只看病历——而是同时参考两者做综合判断。但大多数多模态模型的做法是：各自用独立编码器提取特征，然后在末端拼接。这种“分离式融合”丢失了早期跨模态交互的机会。本文提出的统一架构让图像 Token 和文本 Token 在 Transformer 的每一层都能互相 attend。

方法要点

• 统一嵌入层：图像通过卷积/patch 投影为视觉 Token，文本通过词表嵌入为文字 Token，两者共享同一个 Transformer 骨干。
• 双向块内的双通道注意力：每个 Transformer 块包含内模态注意力（同类 Token 之间）和跨模态注意力（视觉↔文本），让两种信息在所有层级充分交互。
• 端到端联合训练：不预训练单独的编码器，直接从原始输入联合优化，避免模态对齐偏差在预训练阶段被固化。
• 多任务输出头：同一表征同时支持疾病分类、严重程度评估和预后预测。

结果

• 肺病识别任务：统一多模态模型准确率比纯影像模型高 12%，比分离式多模态模型高 9%。
• COVID-19 不良预后预测：AUC 提升显著，证明文本中的病史信息对风险分层有不可替代的价值。
• 模型能有效辅助患者分诊，特别是在资源有限场景下提供可解释的诊断依据。

对我的启发

• “统一”比“拼接”强——这个结论在医学多模态任务中被反复验证。后续做 VLM 相关工作时，优先考虑统一架构而非 late fusion。
• 跨模态注意力的计算开销是个实际问题（O(n×m)），实际部署时可能需要稀疏化或交叉注意力降维。
• 这篇和 MedMNIST v2、Medical SAM 2 形成了一个完整的“从数据集→分割模型→多模态诊断”的技术链条。