我想使用带远程配置的Firebase A / B测试在应用上执行两个A / B测试 .
问题是两个测试受众应该是互斥的 . 形成两个实验的一部分可能会污染结果 .
我想在用户进入实验1时设置Firebase Analytics用户属性并从实验2的受众中排除此属性值，但我担心用户在获取远程配置值时同时进入两个实验 .
有没有更好的解决方案来防止用户进入这两个实验？
（为了这个答案的目的，我假设你在谈论我们刚刚在上周推出的新的A / B测试框架）
所以现在，您无法真正确保使用新的A / B测试框架的互斥实验组 . 如果您指定10％的用户在实验A中，10％在实验B中，那么实验B中的一小部分用户（特别是其中约10％）也将在实验A中 .
好消息是来自实验A的那些用户应该在实验B中的变体中均匀分布 . 但是，如果你发现自己处于这样的情况，你觉得这些实验用户会偏爱一种变体而不是另一种变体（从而扭曲你的结果） ），你有两个选择：
连续运行A / B测试而不是并行运行 . 等到你停止第一次实验，然后再运行第二次实验 .
如果有意义，请尝试将它们组合成一个多变量实验 . 例如，假设实验A正在添加更快的登录流程，而实验B正在推动您的登录流程，直到此过程的后期 . 你可以尝试创建一个这样的多变量实验：
+---------------------+---------------+----------------+ | Group | Sign-in speed | Sign-in timing | +---------------------+---------------+----------------+ | Control | (default) | (default) | | Speedy | Speedy | (default) | | Deferred | (default) | Deferred | | Speedy and Deferred | Speedy | Deferred | +---------------------+---------------+----------------+
这样做的好处是，您可以更深入地了解两个实验中是否确实以您怀疑的方式影响了您的用户 .
1 回答
（为了这个答案的目的，我假设你在谈论我们刚刚在上周推出的新的A / B测试框架）
所以现在，您无法真正确保使用新的A / B测试框架的互斥实验组 . 如果您指定10％的用户在实验A中，10％在实验B中，那么实验B中的一小部分用户（特别是其中约10％）也将在实验A中 .
好消息是来自实验A的那些用户应该在实验B中的变体中均匀分布 . 但是，如果你发现自己处于这样的情况，你觉得这些实验用户会偏爱一种变体而不是另一种变体（从而扭曲你的结果） ），你有两个选择：
连续运行A / B测试而不是并行运行 . 等到你停止第一次实验，然后再运行第二次实验 .
如果有意义，请尝试将它们组合成一个多变量实验 . 例如，假设实验A正在添加更快的登录流程，而实验B正在推动您的登录流程，直到此过程的后期 . 你可以尝试创建一个这样的多变量实验：
这样做的好处是，您可以更深入地了解两个实验中是否确实以您怀疑的方式影响了您的用户 .