1,实验报表正确反馈的问题,实验报表比如有一些选项,一定要确认是正确能反馈的。具体可以通过甚至设计肯定有效果差别的和空白组的对照实验来检查 实验报表的正确性。
2,埋点日志的正确性,要确认埋点日志一定是正确打印的,比如后端返回给前端3个文案,实际展示出2个文案,这时日志记录2个 而不是3个。
3,各实验用户分流的正确性,通过查看埋点日志 和 白名单 的方式,检查实验用户分流的正确行。
4,你的策略在前端确实正确展示出了预期中的文案,通过白名单的方式,检查各个策略的预期展示。
5,你的策略受前端(比如文案长度限制)干扰,通过多次观察,找到具体你的策略会被前端干扰的具体情况,将这个干扰考虑在策略设计内。