除了ABtest，数据分析测试方法还有这些！
CDA数据分析师2020-10-29 11:50
作者：接地气的陈老师
来源：接地气学堂
业务方要你人工智能大数据精准预测，预测偏差多少钱，就扣你多少钱的工资，你怕不？！偏偏真的就有很多类似场景，话不多说，直接上干货：
问题场景：
某互联网金融公司准备通过投放获取投资客户，最近听说私域流量很火，但是从来没在公众号渠道试验过，现计划在公众号渠道进行投放，请数据分析部门利用大数据人工智能精准预测投放效果，到底做一次投放能赚多少钱。假设你是这个公司的数据分析师……
1 别忘了你还有这个武器
正确回答：预测个屁！业务部门是不懂数据原理的，有想不明白的事搬出“大数据人工智能”就好了。但做数据的人脑子得格外清醒。按题中的场景，业务上连一次都没做过，连数据都没有，这还预测个毛线。这时候应该做测试，先收集一些数据，有了相当的数据积累以后再谈预测的事。
测试从来都是数据分析解决问题的手段。俗话说：是骡子是马，拉出来遛遛。测试就是遛马的过程，结果好坏一眼即明。特别针对：新渠道、新产品、新团队这种创新情况。旧的数据不能完全推演创新，就得上测试了。只不过，这些年热炒的都是基于自有App的ABtest，所以很多新人忽视了更普遍的测试设计方法，今天我们系统讲解下。
2 设计测试的基本要求
很多新人会想当然的认为：测试不就是让业务先搞几次，那让他们搞，我们等着收数据不就好了。这种偷懒的想法，会在事后给自己添加无穷无尽的麻烦。
首先，测试是有业务代价的。
比如本场景中，投放是为了拉新用户和新投资，花了钱要见效果，不然肯定被老板diss。那么相关的问题就来了：
花多少钱？要做多少效果？测几轮见效果？测几轮的损失能不能承担？这些都得事先有个清晰界定，才能避免纠结。
其次，测试是有内容设计的。
比如本场景中，用户会不会被吸引来，和投放号类型、投放时机、文案、转化路径、产品选择、CTA动作，都有关系，如果一开始不做认真设计。只是简单的丢一个，那很多其他可能无法对比测试，就不能推导出有效结论。
再次，测试是受投入影响的。
比如本场景中，有可能优质的渠道需要花很多钱，有可能用户补贴力度得比其他渠道大一点，导致的结果就是可能第一轮不见效，但第二轮增加力度就见效了！所以要不要做追加投入，也得事先考虑清楚。
由于以上三点，使得测试需要分四个阶段，做好充分的准备再上路（如下图）
3 部署阶段
部署阶段要解决的是战略问题：
到底要测试多久为测试可以投放多少资源测试出什么结果才满意在本场景中，作为新投放渠道测试，则首先得搞清楚渠道的定位。常见的有：
主力渠道：承担50%+的流量来源，主要投资方向
渠道：承担20%+的流量来源，次要投资方向
边缘渠道：单渠道流量不超过5%，选择性投放
零散渠道：有它没它关系不大，聊胜于无
可以根据当期的整体渠道投放目标，反推需要的流量；之后根据业务上策略（下决心建立新渠道，还是跟风玩玩），把任务分配清楚，之后定义好本次测试新渠道的定位。有了清晰的定位，自然很容易得出：投多少钱，做多少次。有了财力、人力、时间的界定，后续设计方案就简单了。
4 准备阶段
准备阶段要解决的是战术问题：
到底要测试哪些渠道到底测哪些版本到底测哪些产品
在本场景中，由于是完全没有经验，因此需要第三方/同业的案例、数据做支持。虽然不能拿到100%准确的数据，但至少能照猫画虎，比如：
同业投放哪些账号可观察的文章曝光量是多少小道消息打听来的转化率是多少业用的什么什么形式经过梳理，至少有一个大概方向，比闭着眼睛瞎胡做强的多。注意，站在用户角度，影响用户行为的因素是综合性的。比如公众号渠道投放，标题、长度、投放时间、内容写法、CTA、转化路径、产品价格、产品属性等等等都会有影响。
用数据进行测试，很难在一次测试把以上因素全部拆解清楚，因此需要提前准备多个测试版本，且测试版本之间差异不能太大，有一定延续性，这样才能为后期分析做好准备。
以上全部是标红加粗，是因为在实际工作中，业务方经常喜欢纠结细节，结果搞出来的各个版本一个天上一个地下，完全没有可比性。除了看整体转化结果外，细节完全无法对标，因此很难做深入分析。可以说事后分析的艰难，有80%是因为事先没有做好计划导致的，切记切记。
5 测试与复盘阶段
准备好以后，可以上线测试和复盘。本场景是渠道投放，且目标就是获取新投资用户，因此考核结果指标相对简单清晰，看转化来的用户数，用户投资率，用户投资金额几个指标即可。只要测试结果能达成部署阶段的目标，就算渠道合格，完成任务。如果不行，可以根据事先制定的迭代方案，进行迭代优化，进一步观察效果。
这里要强调的是一些细节问题：
1、结果判断和原因分析要分开。先判断结果是否可接受，再分析哪个环节有问题。
2、迭代有顺序进行，产品、价格、内容要分开。最好一次换一个，最差也不要仨一起换。
3、优先换产品、价格，内容不一条条换。内容涉及细节太多，全部测出来成本太高，因此优先考虑产品和价格。
这样看数据的时候，可以按以下顺序展开：
6 小结
为啥开头要问如何人工智能大数据精准预测？是因为很多同学真的以为能预测！不但业务部门迷信预测，连很多数据分析师自己都信了，还真以为随便搞几个数字就是大数据了，真以为随便怼个模型调个参就是人工智能了，还真为人工智能就是全知全能的上帝一道金光从天而降代码就能变成钞票，随着键盘的敲动从屏幕里喷薄而出……
数据分析，有数据才能分析没有数据，先采集数据业务没做过，先做做试试不要瞎胡试，认真做计划，一步步试 这些看似毫无技术含量的传统流程，才是用数据保障业务增长的秘籍。
举报/反馈
0
0
收藏
分享
