# 推荐系统部署时的A/B测试最佳实践 ## 分桶 主要用于构造对比试验  推全：将某个实验桶的参数推广到全部桶中 ## 分层分桶 用于隔离和细化各层对比试验对总体业务的影响  ## 层次化分层分桶（Holdout机制） 对过于细化的分层分桶结构，再保留一个粗粒度对照组  ## 预推全（成为发布层） 将某层已经可以推全的某个桶的参数（预推全参数）固化为该层的基础参数，从而放弃对这个桶的占用，使得该层的桶可以用于其他实验。此时这一层将成为发布层，其中的原始参数被替换为预推全参数 其中可仍然保留对照组（对照桶）用于大流量的对比试验，称“反转实验”。 预推全起初不影响粗粒度的桶（如holdout），其仍然使用原始参数。随着推全过程逐渐深入，粗粒度的桶内的参数一级一级变更为预推全参数。直至所有100%的流量都使用预推全参数，推全即完成，预推全参数也就变成了整个模型下一轮迭代时使用的原始参数