在线A/B测试是互联网公司进行产品迭代的重要基石。对于很多人而言，A/B测试的整个流程仿佛是金科玉律，无法改变。来自Ron Kohavi和Nanyu Chen的KDD 2024的论文"False Positives in A/B Tests"（http://t.cn/A6ELK1Sh）深刻的讨论了A/B测试中的各种类型的“误报”，其中的一些统计数字其实是相当令人震惊的。比如，如果采取工业界标准的测试参数，大概三分之一的A/B测试结果中的“好结果”其实是误报。文中进行了充分的阐述以及利用工业界的参数进行了很多模拟的分析。最后，作者们给出了一个利用了Sequential Test的新的A/B测试流程，可以有效得防止误报。