A/B测试

其中小流量是指对部分的用户先尝试改进的算法模型，而非全部。若为全部，如果算法模型存在问题，可能会导致用户体验差，导致用户流失，而小流量的损失代价相对小。
同时模型中也会存在一些需要人工进行设置的参数。也可以在小流量中先进行确定。
因为会有多个参数可供设置，每一个参数可以拿一群人进行测试。

问题

流量不够用

因为推荐链路包括召回、粗排、精排和重排四个阶段，每个阶段都可以尝试新的模型，也可以说每个阶段可以由不同的部门进行负责，而每一个部门都可以提出使用A/B测试的请求（领走一批用户作为测试），所以有可能用户是不够用的。

解决方案——分层实验

同层


互斥，不要同时对同一层的同一批/桶用户施加两种不同的策略，这种实际应该只能算是一种策略——两种策略叠加成一种混合策略。

不同层正交是指位于用户界面2号桶内的用户将均匀打散到召回阶段的各个桶中以供使用。

Holdout 机制