多くの「バーチャルスクリーニング改善」は統計的ノイズに過ぎない可能性、事前登録研究が指摘
- 本プレプリントは、典型的な規模の構造ベース・バーチャルスクリーニング用ベンチマークにおいて、2つのプロトコル間のAUROCやエンリッチメントの差をどこまで統計的に区別できるかという、方法論上の根本的な問いを扱っている。
- 著者らは、ベンチマーク比較が当然信頼できるものだと仮定せず、まずこの解像限界(区別可能な最小の差)を直接測定した。
- 続いて、ドッキング・スコアリングプロトコルに対する6つの介入を事前登録し、それぞれを測定済みの解像限界と照らし合わせて検証した。事後的な「成功」報告ではない。
- この事前登録デザインは、バーチャルスクリーニング分野で時折見られる、ベンチマーク固有の小さな差を一般的な改善として提示してしまう選択的報告の問題を防ぐことを狙っている。
- 本研究は新規阻害剤や特定ターゲットを提案するものではなく、バーチャルスクリーニングの改善をどう評価すべきかを扱う方法論・厳密性の研究である。
- 実務上の含意として、公表されているバーチャルスクリーニング性能向上の主張の多くは典型的なベンチマークのノイズの範囲内に収まっている可能性があり、ヒット探索チームは単一ベンチマークでの改善主張を慎重に扱うべきだとしている。
💡 ポイント
VSベンダーの売り込みを測る物差しとして、今後はこの論文を使いたい。ベンチマークのAUROCやエンリッチメントのノイズフロアを超えられない『プロトコル改善』は、改善ではなくウェビナースライドで着飾ったコイントスに過ぎない。6つの事前登録された介入はハードルが高く、現実には自分たちのキャンペーン前に事前登録までする人はほとんどいないだろうが、少なくとも共同研究者には、見出しのAUROC上昇ではなく解像限界に対する効果量を報告してほしいと言える。自分にとって一番刺さるのは、co-folding系(Boltz-2など)の熱狂にも同じ検証が必要だという点だ。もしこれらのモデルがPDB近傍のケモタイプを単にパターンマッチしているだけなら、公開ベンチマークで古典的ドッキング/FEPに『勝った』というのも、汎化ではなく記憶に過ぎない可能性がある。この程度の証拠でFEPをブラックボックスに乗り換えるつもりはない。