该实验最初来源自抖音UI团队一位设计同学提出的想法:用户刷短视频的时候会有一定的视觉疲劳——“是否可以通过视频蒙层让文字更加清楚,让用户浏览视频不再费眼,使用体验更好?”
其实,这个设想在产品上的改动非常简单,调整两个参数就可以改善视频文案整体的突出程度,一个参数是蒙层,另一个参数是蒙层的透明度。两个不同蒙层的产品版本,成为了 DataTester 中A/B实验的实验组和对照组,UI设置如下图:
实验结果非常惊喜,DataTester 的实验数据显示“文字更加突出”组的用户停留时间更长,抖音的人均App使用时长显著增加了0.2%,这个数据对于用户量数以亿计的抖音而言,是一个较大的提升,最终该策略也决定推全上线。
在抖音里面,像这样的小改动撬动大收益的创新非常多,而这些细节全部都是通过A/B实验精打细磨,最终找到的最优方案。在这背后除了有完善的实验平台 DataTester 支撑之外,也有字节传承下来的实验理念和文化。
字节跳动的A/B实验文化提倡:“决策与改动要用置信结果来说话,产品决策从不自嗨。”基于这个理念,产品经理们即使得到了实验验证,在日常的产品更新改动上,也不会“唯数据论”,还会继续通过对用户的理解、对业务的判断、合理的数据拆解来进行解读。
当从A/B实验中得到结论后,再通过大量实验沉淀下来的经验反哺业务、加深对业务过程的理解和洞察,在业务实践的过程中不断积累更多的业务经验。
从企业收益的角度看,A/B测试不仅可以激发创新,让企业在小步快跑的同时,获得收益上的提升。而像DataTester 这样完善的A/B实验平台,还能帮助企业显著提升人效,大幅降低试错成本。此外,当每个决策都能通过A/B实验来量化收益时,对企业管理而言,A/B测试也成为了一种稳定、效果可量化的赋能手段。
作为助力企业科学决策的A/B测试平台,火山引擎DataTester 目前服务了包括美的、得到、凯叔讲故事等在内的上百家外部企业,为业务的用户增长、转化、产品迭代、运营活动等各个环节提供科学的决策依据,将成熟的“数据驱动增长”经验赋能给各行业。