医学影像检索如何按病灶区域，而不只是整张图？
一句话回答 —— 给检索器配两个专家。HMAR 是一个混合专家（MoE）检索框架：Expert0 编码整张图像做整体相似度匹配，Expert1 学习与位置无关的局部特征做病灶区域检索。两阶段对比学习免去了框标注，滑动窗口匹配实现稠密的区域比较，KAN 层生成紧凑哈希码。在 RadioImageNet-CT 上，64 位和 128 位哈希码的 mAP 分别为 0.711 和 0.724。
图：论文原图（arXiv:2603.16679）
医学影像检索（MIR）通过找到与当前病例相似的历史病例来支持计算机辅助诊断。现有系统普遍有三个局限：
- 统一编码，忽略了不同解剖结构临床重要性的差异；
- 粗粒度相似度，只依赖分类标签；
- 只做整图匹配，而临床上常常需要的是病灶相似，而不是整张片子看起来相似。
两个专家，一个检索器
- Expert0 提取全局特征，做整体相似度匹配；
- Expert1 学习与位置无关的局部表示，做精确的病灶区域检索。
不需要框标注，检索也够快
- 两阶段对比学习免去了昂贵的边界框标注；
- 滑动窗口匹配在推理时实现稠密的局部比较；
- Kolmogorov-Arnold 网络（KAN）层生成哈希码，支持高效的汉明距离检索。
结果
在 RadioImageNet-CT（16 种临床模式、29,903 张图像）上，HMAR 用 64 位哈希码达到 0.711 mAP，128 位达到 0.724 mAP，比当时最优的 ACIR 方法分别高 0.7% 和 1.1%。
常见问题
HMAR 是什么？
一个混合专家架构的医学影像检索框架：全局专家负责整图相似，局部专家负责病灶区域检索，用 KAN 层生成哈希码。
医学影像检索能不用边界框标注吗？
可以。HMAR 用两阶段对比学习在没有边界框标注的情况下学习病灶级表示。
HMAR 效果如何？
在 RadioImageNet-CT（16 种临床模式、29,903 张图像）上，64 位和 128 位哈希码分别达到 0.711 和 0.724 mAP，比 ACIR 高 0.7% 和 1.1%。
本文基于论文 HMAR: Hierarchical Modality-Aware Expert and Dynamic Routing Medical Image Retrieval Architecture（arXiv 2026，arXiv:2603.16679），作者：Aojie Yuan（袁傲杰）。袁傲杰为本文独立作者。作者主页：袁傲杰 · USC Fortis Lab。