特拉维夫大学团队提出ConEx框架 让视觉模型说明依据了哪些概念
要点
一篇编号2610.04605的arXiv论文近期受到关注，其提出的ConEx框架已被ICML 2026接收，PMLR论文集页面显示该文收录于第43届国际机器学习大会论文集，页码27918至27938。作者来自两所高校：特拉维夫大学的Yehonatan Elisha、Ziv We…
一篇编号2610.04605的arXiv论文近期受到关注，其提出的ConEx框架已被ICML 2026接收，PMLR论文集页面显示该文收录于第43届国际机器学习大会论文集，页码27918至27938。作者来自两所高校：特拉维夫大学的Yehonatan Elisha、Ziv Weiss Haddad与Noam Koenigstein，以及以色列开放大学的Oren Barkan。论文代码已在GitHub开源，仓库同时标注了会议信息。
论文瞄准的是视觉解释中的一处断层。常用的显著性图方法能在图上高亮模型”看了哪里”，却说不清这些像素对应什么语义内容；概念类方法（如概念瓶颈模型）能讲出”蓝色鸟喙、条纹皮毛”这类属性如何影响预测，却缺少空间定位，无法验证所说概念是否真的出现在输入图像里。ConEx把两条路线接在一起：自动发现与类别相关的概念，用概念激活向量表示，再生成同时回答”概念出现在哪里、对预测贡献多大”的解释图。
做法上的关键是无需人工标注。研究者借助免标注的视觉语言模型先验提取类别判别的文本属性，用零样本分割把属性落到空间掩码，并以架构特定的掩蔽机制抑制分割掩码引入的噪声、提高概念纯度；解释图随后与层级相关性传播这一归因方法逐元素相乘，只有”概念确实出现”且”模型确实关注”同时成立的区域，才会被计为支撑预测的证据。论文还提出向量-概念匹配与概念-类别匹配两个互补指标，用来量化所学概念的对齐程度，并支持与其他方法直接比较。
作者报告ConEx在忠实性、分割与概念质量三类基准上达到当时最优，覆盖多种数据集与架构；人类实验进一步确认所学概念可解释、可区分、与人类理解一致。官方仓库提供基于Vision Transformer的ViT-B与ViT-S权重及示例脚本，可复现从输入图像到概念归因图的完整流程。
审慎地看，”AI告诉你它看到了什么”这类说法需要限定：ConEx提供的是一层与人类概念对齐的解释，并不等于模型内部真实的推理过程；论文的自述目标也是把解释推向可验证的方向，即概念既要在图上有位置、又要对决策有贡献。开源代码意味着第三方可以复现、比较乃至质疑其结论，这对可解释性研究而言恰恰是必要的检验环节；引用该工作时，结论应以PMLR论文集正式版本为准。
