PET/CT 双模态淋巴瘤亚型分型深度学习方案
这是我和天津水滴医学影像中心的合作项目在淋巴瘤医学影像 AI 方向落地的一套分型方案，对应专利 CN202511757185.5。下面把它当作一篇方法笔记整理出来。
要解决什么
淋巴瘤亚型多、影像学表现高度相似，传统思路靠手工特征工程，难覆盖患者级多切片（单例 500+ 张）到单一标签的映射，还叠加了类别极度不平衡和显存受限两个硬约束。目标很直接：从原始 PET/CT 图像端到端给出 9 类分型的可靠概率分布，满足临床精准分型的验收标准。
方法要点
- 双流编码器：PET 复用分割模型权重、CT 走 ImageNet 预训练，两条 ResNet50 骨干并行提取多层级语义/结构/纹理特征，既利用模态特异性，又压住显存。
- 分层跨模态融合：三层双向 Cross-Attention，分别在深层对齐病灶语义、中层互补解剖结构、浅层补充细节纹理；引入软硬 Mask 自适应门控与一致性约束损失，保证多尺度 ROI 特征鲁棒。
- Mamba 时序聚合：用 State Space Model 替代 RNN/Transformer 处理切片序列，可学习位置编码建模相邻切片时空依赖，再按 ROI 质量评估分数加权调制，把 N 个切片聚合成患者级表征。
- 鲁棒分类头：高 Dropout（0.6）三层 MLP + 温度缩放 + Label Smoothing，提升罕见亚型与小样本下的泛化与校准。
落地里的几个判断
- 特征降维把单切片压到 2048 维，显存占用显著下降——这是能在单卡跑起来的前提。
- Mamba 聚合解决的是多模态数据对齐难，比堆参数更划算。
- 质量评估分数参与加权，本质是给“不可靠切片”降权，避免脏数据污染患者级表征。
与我的其他工作怎么连
这套方案里的跨模态对齐和 ROI 质量门控，直接复用到 智医助手 的医学图文理解链路；Mamba 的时序聚合思路，也启发了我在本地知识库里做长文档切片召回时的序列建模。淋巴瘤分型是分割之外另一条产品线，两者共享同一套多模态底座。
本文整理自本地知识库论文笔记（技术汇报_淋巴瘤分型深度学习方案），项目背景与专利信息见 本地知识库。