预注册研究显示:许多"虚拟筛选改进"可能只是统计噪音
- 这篇预印本探讨了一个基础性的方法学问题:在典型规模的基于结构的虚拟筛选基准测试中,两种方案之间在AUROC或富集度上的差异,究竟能在多大程度上被统计学意义上可靠地区分开。
- 作者没有默认基准测试比较结果天然可靠,而是首先直接测量了这种可分辨的"分辨率极限"。
- 随后,他们对对接/打分流程的六项干预措施进行了预注册,并将每一项都与测得的分辨率极限进行对照检验,而非事后挑选"成功"结果来报告。
- 这种预注册设计旨在防范虚拟筛选文献中时有出现的选择性报告问题,即把仅在特定基准上出现的微小提升当作普遍适用的改进来呈现。
- 该研究并未提出新的抑制剂或特定靶点,而是一项关于应当如何评估虚拟筛选改进方法的方法学/严谨性研究。
- 其实际意义在于:许多已发表的虚拟筛选性能提升声明,可能落在典型基准测试的噪声范围之内,因此先导化合物发现团队应谨慎对待仅基于单一基准得出的改进结论。
💡 要点
今后评估各家VS供应商的宣传话术,我都想拿这篇论文当标尺。如果所谓的'方案改进'连基准测试规模下AUROC/富集度的噪声下限都跨不过,那就不是改进,只是套上路演PPT外壳的抛硬币。六项预注册干预是很高的门槛——说实话,我们大多数人做筛选项目前都不会真去预注册,但至少可以要求合作方汇报相对于分辨率极限的效应量,而不是只报一个漂亮的AUROC提升数字。对我来说最扎心的启示是:co-folding那套热潮(Boltz-2之类)也该接受同样的检验——如果这些模型只是在对PDB附近的化学型做模式匹配,那它们在公开基准上'战胜'经典对接/自由能微扰的战绩,可能只是记忆而非真正的泛化能力。单凭这点证据,我还不会把FEP换成黑箱模型。