泥潭日报 uscardforum · 内容汇总

审了快一年,Science 这篇 Biomn 还是这个成色?

内容摘要

Science论文Biomni因过度包装和评估缺陷遭质疑。

核心争议与评估缺陷

  • 审稿流程与低级错误:虽然论文审稿历时一年(2025.06提交,2026.03重投,2026.06接收),但Discussion首句和Fig. 3D的caption仍存低级语法和断句错误,显示出急于发表的抢时间痕迹(#1)。
  • 开卷复现与逻辑闭环:所谓的"独立验证"多为复现团队成员或已有文献的结论(如Fig. 3A–D复现同为作者Snyder组的COVID biomarker结论;骨骼研究复现2024 Nature结论)。其action space源于近期2500篇bioRxiv,导致已知答案极可能已存在于backbone LLM训练集中(#1)。
  • 虚假新发现与循环论证:论文提名的3个"此前未被重视"转录因子中,PBX1实为已知调节因子,其余2个已在其他物种中被报道。且其支持证据均来自同一条pipeline,缺乏wet-lab或正交实验验证,属于自证。AI在做研究时极易陷入此类循环论证中(#1, #5)。
  • 湿实验缺失与指标自嗨:蛋白热稳定性优化(Fig. 5)报出的ΔΔG = -4.108 kcal/mol仅为ThermoMPNN软件打分预测,无任何实际wet-lab测量,突变设计甚至忽略了半胱氨酸二硫键的检查(#1)。
  • 话术美化与绝对数字难看:主benchmark (Biomni-Eval1) 平均accuracy仅57%却称“excels”;单细胞注释率45.8%(低于部分专家baseline的50.9%)即吹“expert-level”;罕见病诊断虽耗时3分钟(人110分钟)但accuracy仅60%且半数出错,追求速度而忽略脏数据清洗和建模,并不等同于人类专家的工作(#1)。

利益冲突与学术包装

  • 明晃晃的利益冲突:五位作者在Phylo公司持有股份,且论文接口 biomni.phylo.bio 直接用于商业售卖(#1)。
  • 灌水与公关歪风:该团队(Leskovec组)一贯擅长将AAAI级别的工程论文包装并公关进Science/Nature正刊发表(#2)。顶级期刊偏爱夸大效果的“大新闻”,部分学者擅长此道并能获得相关公关支持(#3, #4)。

工具与工程价值

  • 实用的开源基础设施:抛开夸大的claim,该项目将150个tool、105个package及59个数据库封装成code-as-action的统一开源环境,并公开了权重与数据,具备实际的infra价值(#1)。
  • Scaffold的贡献:HLE-Bio(Fig. 2B)在多backbone测试中一致实现 +6~12% 的性能提升,这一组对照实验清晰、克制,成功隔离并证明了scaffold框架的贡献(#1)。
BiomniScienceAI Agent利益冲突循环论证