因为样本太少,干扰太大,而且收集数据需要的时间太长,几乎得不出有用的结果。
不信,你可以测试一下。
这里给出一个用 iOS 测试的例子, App Store Connect 上已经有产品测试功能,没试过的可以试下。
这里测试一个 app logo 对下载量的影响,总共一个基准值,A、B、C 三个测试值。其中A值和基准值完全一样,按道理来说,A 应该没什么变化才对,但是显示的结果是A有16.9%的负面效果。
这也许是苹果的AB测试数据还不准,或者说收集的数据还不够多(14天的数据了),你觉得是哪个原因?
我觉得给我的启发是:基础没做好,不要整花活。产品没有量做AB测试没有意义。