wh
简历 搜索管理
菜单

关于 / About

邮箱 / Email
15030385844@163.com
电话 / Phone
15030385844（微信同号）
GitHub
github.com/wh-hd

下载个人简历（PDF）

下载个人成绩单

我是温辉，天津科技大学人工智能学院硕士研究生，研究方向是大模型应用、多模态模型与医学图像智能分析。这个站点记录我在 Agent、医学 AI 和本地知识库方面的实践，以及把实验沉淀为可复用工作流的过程。

实习经历 / Internship

实习与工作经历

  1. OpenBayes 贝式计算

    算法实习生

    背景

    本地大模型推理存在三类结构性开销：长上下文下 KV Cache 线性膨胀挤占显存、decode 逐 token 生成受显存带宽制约、超长上下文中 attention 计算占比失衡。

    任务

    负责在 llama.cpp 官方基线上完成三类推理优化的源码级集成与实测（KV 选择性压缩 / 块稀疏注意力 / 检索式投机解码），并独立完成本地部署性能评测与模型能力基准。

    ① llama.cpp 长上下文推理优化（KV 压缩 / 投机解码 / 块稀疏注意力）

    行动
    • KV 选择性压缩（FastKV）：以 K-近似-Q 注意力打分选出 top 保留集 + 尾部窗口，prefill 阶段触发 KV Cache 物理压实并保留绝对位置语义；实测保留率精确（25% / 50%），16K 上下文 decode 提速 15–19%。
    • 块稀疏注意力（XAttention）：基于反对角折叠打分（get_rows 抽样 + 单次 mul_mat，评分开销降至全量 1/S）选 top-K 保留块，prefill 走 gather 紧凑 K/V + 因果掩码；纯 attention 层 2K→8K 实测加速 5.1×→19.6×，随上下文线性放大。
    • 检索式投机解码（REST）：以 libsais 后缀数组离线构建 datastore，生成时检索草稿（token span 递减回退 + Trie 多候选），目标模型一次前向完成批量树验证；输出分布与基线完全一致（PPL 6.4636 无损），在长程一致 datastore 下具备 1 + n_acc / n_call 的加速空间。
    结果
    • 三类优化均以 C++ 在 llama.cpp 官方基线完成源码级集成，贯通「参数层 → 配置传递 → KV Cache 打分与压实 → decode 触发」全链路，可独立开关、on/off 精度无损。

    ② 本地大模型部署性能评测与编程能力基准

    行动
    • 基于 vLLM 完成 DeepSeek-V4-Flash 本地部署，以 vllm bench 评测吞吐 / 延迟，横向对比 MTP 与 DSpark 两类投机解码方案。
    结果
    • 实测 MTP 多预测 1 个 token 配置在本环境下吞吐最优，形成推理后端与量化档位选型依据；同步搭建 SWE-bench 自动化评测流程，覆盖环境构建 / 补丁生成 / 单元测试回归 / 失败归因。

    ③ 确定性 GPU 模型交接（Hermes Agent）

    行动
    • 将模型切换建模为「有边界、可恢复、失败关闭」的前台事务：推理决策在 LLM 在线时冻结，离线阶段由确定性 Shell 调度器执行；以 docker model ps + /engines/ps 双视图三次稳定采样验证状态。
    结果
    • 实现三层防重（终身 claim + 并发锁 + 任务哈希双校验）与四层返回码分层收敛，完成结构化 OCR 真实交接，沉淀为可复现开源方案（github.com/wh-hd/agent_model_swap）。
  2. 天津水滴医学影像诊断有限公司

    淋巴瘤 PET-CT 图像分割算法研发（实习）

    背景

    淋巴瘤 PET-CT 灰度图像存在目标与背景对比度低、边界模糊、前景占比小、标注有限等问题，传统 U-Net 在低对比度小样本场景下分割精度不足，难以满足影像辅助诊断勾画需求。

    任务

    负责淋巴瘤 PET-CT 医学图像分割算法研发，在有限标注下提升病灶局部细节感知与全局语义建模能力。

    行动
    • 架构设计：以 TransUNet 为基座，融合 ResNet50 编码器、Transformer 增强模块与 Attention Gate 解码器，兼顾 CNN 局部特征与 Transformer 全局依赖建模。
    • 多尺度编码：采用预训练 ResNet50 提取 5 个尺度特征并冻结早期层，保留预训练视觉知识，缓解小样本训练不稳定与过拟合。
    结果
    • 在医院测试数据集下，Dice 系数达 85%+、IoU 达 80%+，优于传统 U-Net 基线。
    • 验证了 CNN 局部建模与 Transformer 全局建模结合在低对比度医学图像分割中的有效性，产出相关发明专利，并将算法集成到系统实现中。