1、A/B测试与灰度发布的理论
产品是多维度的，设计体验、交互体验、系统质量、运营支持等等，
测试的目的是为了系统终究的交付，1套各方面都足够好的系统，而不是文档上定义的系统，系统是需要不断进化的。
测试的质疑贯穿产品的设计到编码到终究的运营进程，并终究促使产品的改良，循环往复。
符合互联网思惟敏捷的本质。
2、A/B测试与灰度发布相干的1些术语
1.1 桶测试（Bucket Testing）：这个没有甚么地方给出明确的定义，但是通常来讲是国外用于测试游泳池是不是存在漏水行动的1种比较测试。行将1桶水放到泳池中，分别标明内外水位，放置1段时间后，如果外部水位明显降落（超过XXX英寸），则证明水池漏水。这个和软件测试没有甚么直接关系，但是他是1种两个方案之间的对照性测试，用于辨认缺点。
1.2 多变量测试（Multivariate Testing）：这个使用市场营销的1个术语，通经常使用于在多个变量的复杂环境下，对营销方案效果的比较技术。
1.3 A/B测试（A/B Testing）：Wikipedia的定义，“是Web设计（通常指用户体验）中用于辨别两种网页设计对收益最大化目标（如点击率）效果支持程度的1种实验手段”。主要用于比较两种设计的优劣程度。桶测试（Bucket Test）、多变量测试（Multivariate Testing）是A/B测试的变体，由于可能触及到多种场景的比较。A/B测试还用于市场营销渠道的比较，这和定义是1致的，由于网页就是1种营销渠道。
1.4 灰度交付：“灰度发布是指在黑与白之间，能够平滑过渡的1种发布方式。AB test就是1种灰度发布方式，让1部用户继续用A，1部份用户开始用B，如果用户对B没有甚么反对意见，那末逐渐扩大范围，把所有用户都迁移到B上面来。灰度发布可以保证整体系统的稳定，在初始灰度的时候就能够发现、调剂问题，以保证其影响度。”
3、A/B测试和灰度发布和传统的测试的不同点
2.1 可以有多个现成的产品来，实实在在的去测试（桶测试）
2.2 A/B测试是支持多变量测试的1种方式
2.3 A/B测试时1套系统，是灰度发布的1种实现方式
到此为止，测试与运维已集成到1个进程当中了
4、A/B测试与灰度发布的应用
3.1 推荐系统之间不同算法的比较，不同变量的比较
3.2 设计方案中不同方案的比较
3.3 设计调剂，方案调剂
3.4 故障控制
如果你系统需要优化1些你自己没法预测和控制的领域的时候。
试试A/B测试吧，有益于控制未来的风险
数据是优化系统的重要根据 ，想要在哪方面做优化，就在哪方面积累数据。