哈佛团队测试六个生物推理模型 97.9%的冲突中跟随文本而非基因表示
要点
哈佛大学与麻省理工学院的研究团队对六款生物推理模型做了系统检验，结论是这些模型在基准测试上的高分并不等于真正用上了它们拿到的生物学输入。检验对象覆盖DNA、蛋白质和单细胞三个方向，包括 BioReason、BioReason-Pro、ChatNT、Prot2Text-V2、Ce…
哈佛大学与麻省理工学院的研究团队对六款生物推理模型做了系统检验，结论是这些模型在基准测试上的高分并不等于真正用上了它们拿到的生物学输入。检验对象覆盖DNA、蛋白质和单细胞三个方向，包括 BioReason、BioReason-Pro、ChatNT、Prot2Text-V2、Cell2Sentence-Scale 与 CellWhisperer。团队采用的检验手段包括：只扰动其中一个生物学输入而保持问题与文本不变、把一份样本的基础模型表示与另一份样本的文本拼接成冲突、在线性探针上训练分类器检测表示中是否编码了任务目标信息，以及逐条核对模型生成的推理轨迹与实际输入是否一致。
这类模型的工作方式是把大语言模型与生物基础模型的输出表示拼接在一起，再输入基因、通路描述、功能注释一类的生物文本，模型据此生成答案并附带一段推理过程。BioReason 使用处理DNA的 Evo2 表示，BioReason-Pro 使用处理蛋白质的 ESM3 表示并结合 GO-GPT 与 InterPro 注释，ChatNT 使用 Nucleotide Transformer 表示，Prot2Text-V2 使用 ESM2 表示，CellWhisperer 使用转录组表示，Cell2Sentence-Scale 则把表达量排序后的基因列表构成”基因句子”。BioReason 原始论文称其在基于 KEGG 的疾病通路预测上把准确率从86%提升至98%、在变异效应预测上较单模态基线平均提升15%。
扰动测试的结果呈现出清晰的分界。BioReason 在1449道疾病预测题上，把打乱后的DNA重新计算表示，准确率为0.847，与原序列的0.847完全一致，只有1449题中的101题（即7.0%）答案发生变化；同期去掉基因名称带来的准确率下降幅度最大。BioReason-Pro 在14102个人类蛋白质的GO功能预测上，把 ESM3 表示换成打乱序列重算的结果，Fmax 为0.855与0.856，几乎没有差别。相对地，ChatNT 在剪接供体位点任务上准确率从0.988跌至0.502，剪接受体位点从0.987跌至0.502，TATA 启动子从0.971跌至0.577；Prot2Text-V2 去掉蛋白质名称与物种文本后 BioBERT BERTScore F1 下降0.177；CellWhisperer 在五个单细胞图谱上把表达计数在基因间打乱重算表示后，1-困惑度分位数均下降，immune1 从0.98降至0.53、lung 从0.84降至0.25。
证据冲突测试给出的结论与之呼应。研究者把A样本的表示与B样本的文本配对，两者指向不同答案，看模型跟谁走。BioReason 在1216组冲突中有97.9%跟随基因与通路文本，BioReason-Pro 在378组冲突中有99.7%跟随 GO-GPT 文本；反向的例子是 Prot2Text-V2 在97.0%的冲突中跟随蛋白质序列表示，Cell2Sentence-Scale 27B 在93.7%中跟随细胞基因句子，CellWhisperer 在96.1%中跟随转录组表示。ChatNT 未参与这一项检验，因为其问题不携带可与DNA输入冲突的查询特异性生物文本。
被质疑的是”输入无用”这一种可能解释。线性探针的结果显示这些表示本身是有信息的：在165道基因组依赖的疾病预测题上，Evo2 表示上的探针准确率为0.736，投影后的表示为0.735，而仅用文本的预测器为0.708；把 Evo2 表示与文本特征结合后虽优于纯文本预测器，但仍低于 Evo2 单独探针的水平，这一提升主要来自98道含PRNP基因的题，那里的探针准确率达0.855。在蛋白质一侧，540个来自140个 InterPro 家族的蛋白质的线性探针在酶活性、细胞器定位与DNA结合三项属性上的平均每家族 AUROC 分别为0.766、0.898和0.830，投影表示为0.713、0.921和0.898，而 BioReason-Pro 自身对应表现为0.729、0.890和0.736。也就是说，信息确实在表示里，只是推理模型基本没有调用它。
后训练带来的提升与输入使用度并不同步。BioReason 的监督微调检查点在打乱DNA后准确率从0.823降至0.814，而强化学习检查点在同样扰动下保持0.847不变；BioReason-Pro 的强化学习检查点把Fmax 从监督微调的0.829提高到0.855，但换成打乱序列重算的表示后是0.856，监督微调则为0.833。团队进一步横向比较了42个在模型规模、LoRA秩与强化学习时长上各不相同的 BioReason 检查点，准确率起伏明显，但原始表示相对打乱表示的优势并未随之稳定扩大。Cell2Sentence-Scale 是反例，参数从2B扩到27B后，移除最强差异表达基因带来的准确率下降从0.223扩大到0.319，规模与输入使用度同向变化。
推理轨迹层面的问题更隐蔽。在145道留出替换题上，BioReason 强化学习检查点在全部145条回应中都说变异是T>C，即使对应的 Evo2 输入已被打乱；它正确说出碱基替换类型的比例只有7.2%，监督微调检查点为3.6%，而同期疾病预测答案的正确率高达85.6%。BioReason-Pro 表现为另一类不一致：在53组冲突中推理轨迹会复述B样本的 InterPro 注释，其中23组用文字点出了被测属性，但最终输出的GO注释里并没有对应的功能项。Cell2Sentence-Scale 的27B模型在给出细胞类型理由时引用的基因里，核糖体蛋白基因占比达62.6%至84.7%，而差异表达基因的精确率只有10.63%，低于随机抽取的参照水平，只是最前面几位被引用的基因有富集；一旦要求模型给出理由，整体标注准确率就从0.45降到0.41。
针对”推理文字不说实话”这一层，团队尝试用辅助监督补上这一课。把冗长的推理轨迹替换成一句简短的”第几位碱基、从什么变成什么”，重新训练后，编辑碱基对的准确率从0.080升到0.671，且打乱DNA后确实降到0.122，说明这一预测开始依赖真实序列内容。但这个改善没有传导到最终任务上，疾病预测准确率在打乱前后只差0.021。更关键的是，145道留出题中有135道的基因组在训练集里出现过：已见基因组上准确率为0.691，未见基因组上只有0.148，与始终预测训练集中最高频碱基对的0.111基本相当。
论文明确列出了自身的边界。六个模型、有限的任务与输入组合构成结论的外推限度；打乱序列可能让表示落到自然序列分布之外；线性探针能证明目标信息可被预测，但不能说明语言模型能如何使用这些表示。作者给出的后续方向是，把”是否正确使用了生物学输入”与预测准确率并列为独立的训练与评估目标，而不是把二者的优化混为一谈。这项工作与被检验对象本身形成对照：BioReason 提出的原始论证正是”将DNA基础模型与大语言模型深度整合，可以实现可解释的多步生物推理”，而新的检验结果表明，其中两个模型并未真正依赖被整合进去的序列信息。
可核对的后续节点也随之明确：这两个模型的数据与检查点是否公开以便第三方复测、其他融合架构是否也存在同样的输入闲置现象、线性探针方法能否推广到多输入的生物推理系统，以及后训练目标中若加入”正确使用输入”的奖励项是否真能改变这一状况。
