基于 CNN-Transformer 融合的淋巴瘤医学图像分割

面向低对比度、小样本淋巴瘤灰度图像的分割模型：以改进 TransUNet（ResNet50 + Transformer 增强 + Attention Gate）兼顾局部细节与全局语义，Dice 85%+ / IoU 80%+，为智医助手视觉工具提供算法底座。

已实现角色核心算法负责周期 2024.09 - 2025.07

技术栈

核心亮点

改进 TransUNet：融合 ResNet50 编码器、Transformer 增强模块与 Attention Gate 解码器，兼顾 CNN 局部特征与 Transformer 全局依赖。

多尺度特征编码：提取 5 个尺度特征并冻结早期层，缓解医学小样本训练不稳定与过拟合。

Transformer 全局语义增强：在深层特征引入多头自注意力与可学习位置编码，提升低对比度目标建模能力。

Attention Gate 跳跃连接：门控筛选浅层特征，抑制背景噪声、突出目标区域，改善边界模糊分割。

联合损失与评估：Dice + CE 联合训练，Dice / IoU 双指标 + 早停，降低小样本过拟合风险。

实现难点

低对比度与小样本

目标区域与背景对比度低、前景占比小、数据量有限；通过预训练 ResNet50 冻结早期层与联合损失稳定训练。

边界模糊

采用 Attention Gate 对跳跃连接特征做门控筛选，抑制背景噪声，提升边界区域分割质量。

可复用为视觉工具

模型输出需可被 Agent 工作流调用；因此把推理封装为确定性工具（输入影像 → 输出 mask 与定量指标），对接 Function Calling。

项目背景

淋巴瘤医学灰度图像存在 目标区域与背景对比度低、边界模糊、前景区域占比小、数据量有限 等问题。本项目构建一个基于 CNN-Transformer 融合的医学图像分割模型，提升模型对病灶区域的局部细节感知与全局语义建模能力，并为多模态医疗诊断 Agent 提供可调用的视觉工具。

以 TransUNet 为基础架构，做三处增强：

ResNet50 编码器 + Transformer 增强
- 采用预训练 ResNet50 提取 5 个尺度的多层次特征，冻结早期层以保留预训练视觉知识，缓解小样本场景下训练不稳定与过拟合。
- 在 ResNet50 深层特征上引入多头自注意力机制与可学习位置编码，通过残差连接与层归一化提升训练稳定性，增强对低对比度目标的全局建模。
Attention Gate 解码器
- 解码阶段引入 Attention Gate，对编码器传递的浅层特征进行门控筛选，抑制背景噪声、突出目标区域，提高边界模糊区域的分割质量。
联合损失与评估
- Dice Loss 与 Cross-Entropy Loss 联合训练，Dice 系数与 IoU 双指标评估，配合早停机制降低过拟合风险。

设计完整的灰度图像处理管线：灰度转 RGB、BGR 红色标注提取、mask 二值化、8:2 数据集划分、随机水平翻转与归一化，提高数据可用性与模型泛化。

在 8:2 数据划分 下：

优于传统 U-Net 基线，验证了 CNN 局部建模与 Transformer 全局建模结合在低对比度医学图像分割中的有效性。

本模型是智医助手多模态诊断 Agent 中 视觉工具调用的算法基础：其推理被封装为确定性工具（输入影像 → 输出 mask 与定量指标），通过 Function Calling 接入诊断计划，支撑视盘 / 视杯分割、vCDR 定量等环节。