失败的AB测试更有价值

最早接触“AB测试”这个词是在2010年翻译的一个sixrevisions的博客,可以参见底部原文链接,因为想写AB所以特意翻出来,一看之下,大量当年不理解的地方豁然开朗,后文会穿插提及。

真正将AB测试用于实际工作的,是上一份在德国OTA时候经历过的一个本地化项目。大体来说,这是一个彻底的前端改版项目,从列表页到详情页到填写页,全部根据中国当地竞品的情况重新设计,成为一个完全独立于国际主版本的分支版本。

修改点包罗万象,例如:

列表筛选从左侧移动到顶部(当时竞品是顶部);

列表页的酒店原来只显示最低价,点预定直接进填写,两页完成下单(类似一号店的直接下单),新版改为在中国满大街都是的列表页每个酒店显示多条价格,点击进入详情页,由于这一点,list一页能显示的酒店数量大大减少,后续还加入了在列表页显示不含税价这种欺骗性的中国特色功能(有时候真觉得在欧洲人面前抬不起头来);

这个版本还在详情页带上最新的华人礼遇酒店标签,这个前后端打通的漂亮细节后来不知怎么出现在了其他的网站,可能是巧合;

最后是填写页步骤缩短,增加大量汇率和文案细节。

这个当地化版本源于上一个团队多次向德国总部提交本地需求,一再没有资源,最后开大招做完全独立分支,很显然做完以后秋后算账就要看效果了。。。。(这时候我入职了)

由于无法量化某几个中国人提的所谓“本地化需求”,到底有没有实际效益,这个情景正符合AB测试所需的“没把握”的前提要求。(顺便吐个槽,上周公司培训AB测试有个案例是,如果客人填写信息时候满房,那么在返回列表页后将这个标记为满房,这种人伦常理也AB测试,真的是orz到不行。)

我们先不揭晓AB结果,单从上文内容,直觉上说,列表页的修改是比较“虚”的:筛选位置和单页产品数量多少是一直是很有争议的地方,而详情的酒店标签和填写页的本地化改进是比较“实”的,如果你也有这种直觉,欢迎发简历过来,嗯。。。。

AB结果出来,总体CR略微改善(但不足以afford独立分支巨大的维护成本),拆到各个细节,大体符合这个直觉。

翻译那篇博客里提到,大约20%的AB测试能成功就已经很不错了,当时我是不以为然的,专业的设计、研发怎么会只有20%的AB成功率呢?而这个项目在消耗极大前期调研和执行期投入的情况下,实际差不多就是20%部分成功。

在现在岗位上,失败的AB测试经历得更多,失败的程度更大,现在当然不方便细说,本文想说的是,早前翻译的文章里一句“其实失败带来的收获更多”,回头看起来,实在是无法同意更多。

反思一下AB测试的源头,我们一般是根据:行业惯例、其他项目经验、老板(看朋友圈得到)的灵感。。。之类的各种靠谱不靠谱的背景发起的需求,如果AB测试大部分都成功,那么实际上就意味着,你处于一个“只要抄别人就能成功”的环境,换句话说,只要初级的设计师+研发团队就足够的环境,这样的情况下其实只会越来越远离AB测试的“数据精益运营”的初衷,沦为汇报工具。

反过来说,AB测试的失败,是最好的触发下一步深挖的起点。

例如说,为什么“列表页的产品数量减少,价格增多”,这样的竞品普遍采用的模式,反而会降低转化率?

针对这样和预期相反的结果,以及相应的数据,后续可以很自然地走向细分各类用户的需求差异,并到达类似商务客人要求迅速大量浏览产品,而休闲客人更希望在list花很久看到更多单品信息(时至今日,这些又已经是新的行业常识),基于这些数据可以再深入做AB测试,继续验证猜测和“寻找失败”。

有没有发现,一个神奇的公式出现了:AB测试失败=创新点

AB的故事说完了,最后稍微聊出去一些:

时下的互联网,巨头已经占据了几乎所有资源:流量、人才、供应商、生态圈,我想说的是,更可怕的差距在于巨头已经做的无数的失败尝试,以及从失败中总结的经验。

对于后发的新晋闯入者来说,首先照抄是必死无疑的,我相信qq在游戏、社交数据运营,ali在p4p运营,baidu在ctr预测和准度优化方面的试错积累已经无法逾越(而且逾越起来也并不经济);然而后发有后发的优势,由于巨头已经相当成熟,人才流动势必将大量常识性的知识外溢,如果将国内一线的模式搬到三四线、搬到国外,通过AB测试“寻找失败”,寻找创新点,就有可能站在巨人的肩膀上实现创新,在缝隙里打开创业的窗口。

娃要洗澡了就先写那么多了,谢谢能读到这里的朋友。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,265评论 6 490
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,078评论 2 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 156,852评论 0 347
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,408评论 1 283
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,445评论 5 384
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,772评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,921评论 3 406
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,688评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,130评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,467评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,617评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,276评论 4 329
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,882评论 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,740评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,967评论 1 265
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,315评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,486评论 2 348

推荐阅读更多精彩内容