文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

火山引擎A/B测试:如何用数据“驱动”产品的高增长和高留存?

2024-12-01 01:45

关注

那么,如何将有限的流量发挥出最大的价值,尽可能的提升用户留存呢?本文将跟随字节的一款内容App的增长实践来一探究竟。

该款App为用户提供短篇、中篇、长篇内容阅读服务,但在App推出一段时间后,该产品团队通过核心指标分析,发现App新用户流失率非常高。其中新用户LT(Life Time / 用户生命周期)、LTV(Life Time Value/用户生命周期价值)等指标均大幅低于预期,有较大的提升空间。

如何降低新用户的流失率、提高用户留存,成为了这款产品亟待解决的问题。

由于字节的产品在迭代、推广过程中都会不断经历A/B测试的打磨,因此该产品团队首先查看了历史策略,希望汲取一些经验。他们在字节跳动自研的A/B测试产品——DataTester 中,查看了该App以往的A/B实验历史,并通过 DataTester 特设的「经验库」能力,找到了往期能够提升用户留存的产品策略。

他们从「经验库」往期A/B测试的历史中看到:

· 往期“7天签到礼包”玩法中,新用户LT显著上升,用户留存率显著上升;

· 往年春节期间曾发起过众多活动,“签到日历”的玩法对比其他活动,留存最佳;

.....

总结发现,往期的“签到玩法”对比其他策略,对于这款App的用户留存提升通常更为显著。下图可看到“签到玩法”带来的拉新占比,及用户留存趋势。

因此该团队判断,此次产品策略优化,通过优化“签到玩法”获取提升该App新用户留存指标收益的可能性较高。那么在优化方向上具体策略如何制定呢?该团队通过数据分析后决定从用户体验痛点入手。

原产品“签到玩法”如下:

· 玩法设置在产品二级页面“福利页”,用户必须打开App后再进入“福利页”,才可以完成玩法任务

· 产品同时设置有两种“签到玩法”——「7天见面礼」与「日常签到」,两种玩法会同时弹出,用户打开产品后会遇到多重弹窗的情况

这样的产品策略会带来“用户操作路径过长,领取奖励难度相对较大”以及“多重弹窗对用户造成操作打扰”的痛点。产品团队因此确定了签到策略的优化思路:降低奖励领取难度,去除多重弹窗对用户的打扰。

当优化方向确定后,接下来就需要设计完整的A/B实验方案了;在A/B实验方案设计的过程中,最重要的一点是要计算出取得显著性结论所需要的流量是多少。 此时,字节的A/B测试产品 DataTester 的优势就体现出来了。当业务把想提升的指标、数值、提升方向输入进来后,DataTester 可以直接自动计算所需要的样本数量,然后经过A/B测试的实验数据来进行效果验证,帮助业务确认最优解的策略。

最后通过优化新用户的「7天见面礼」签到活动,从 DataTester 的实验结果上来看,优化后的实验组的大盘新用户LT(用户生命周期)、留存率等均有明显的正向提升;不仅如此,在App活跃时长、ARPU(平均每用户收入)等核心指标的数据也均有不同幅度的正向提升;同时新用户的签到问题反馈也有所下降。

因此,该App将新的策略全量上线,从线上数据表现来看,该App的「7日签到」策略次日领取率提升了近20%,用户多日留存稳定提升了3%~5%,获取了超预期的收益。

对于企业而言,更明智、更长期的战略意味着需要同时专注于自身产品的健康发展以及增长,而这其中最重要的驱动因素是用户满意度和用户留存。注重用户留存就可以推进增加营收及提高盈利能力,也节省了获客成本,达到了降本增效的目的。

那么如何提升核心指标?如何选择最优的产品策略?如何科学的评估指标提升与策略的关系?如何选准正确的迭代方向并继续向下探索收益?这些都需要A/B测试来进行评估并得到“理性且科学”的数据结果,帮助业务在每一个决策的岔路口上,都做出了更正确的选择。

DataTester 依靠其先进的底层算法,提供科学的分流能力和智能的统计引擎,支持多种复杂的A/B实验类型。在字节内部帮助今日头条、抖音等多个产品“摆脱猜测,用科学的实验衡量决策收益”。 不仅如此,DataTester 也已经由火山引擎对外开放服务,目前已服务了美的、得到、凯叔讲故事等在内的上百家外部企业,支持了多种业务场景需求,为业务的用户增长、转化、产品迭代、运营活动等各个环节提供了科学的决策依据,将成熟的“数据驱动增长”经验赋能给各行业。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯