实验设计与A/B测试

为A/B实验构建严谨、可测试的假设。将业务问题转化为统计可靠、优先级明确的测试框架，随时可执行。

准确且自信地解读A/B测试结果。理解p值、置信区间、效应量和实际显著性，以做出正确的发布决策。

在无法进行随机A/B测试时设计有效的因果研究。应用双重差分法、断点回归法、工具变量法和合成控制法。

设计并分析超越简单A/B测试的多变量实验。掌握全因子、部分因子和田口设计，实现复杂产品优化。

定义并验证针对性的A/B测试受众细分，通过识别每个实验的合适用户，提升测试敏感度和相关性。

战略性选择、配置和扩展您的A/B测试平台。根据团队需求对比Optimizely、LaunchDarkly、Statsig、Eppo及定制化解决方案。

实施有效的A/B测试提前停止规则，同时避免虚增假阳性率。掌握序贯概率比检验、α支出函数及始终有效的推断方法。

检测并减轻A/B测试中的有效性威胁，包括新颖效应、霍桑效应、样本比例不匹配（SRM）、遗留效应和仪器误差，防止它们破坏结果。

精确计算A/B测试所需样本量。借助统计学上可靠的功效分析指导，避免实验功效不足和误报。

将贝叶斯推断应用于A/B实验，以获得更直观、灵活的结果。计算后验概率、期望损失和可信区间，以做出更优决策。