ba(BA是啥)

编辑导语:ABtest是指从同一时间维度的多个版本中随机选取几组具有相似性的用户进行测试，收集数据，分析哪个版本的效果更好；一个好的设计师还需要了解ABtest，确定更佳方案；本文作者分享了ABtest的 *** 。让我们来看看吧。

今天要给大家介绍的是常用 *** ABtest，用于消除UX设计中不同意见的争议，根据实际效果确定更佳方案。

善用这种 *** 可以帮助我们达到不同的设计目的；如果你想成为一名优秀的设计师，请跟着我从头学起。

01 A/B测试是什么

A/B测试(也称为拆分测试或桶测试)是一种将网页或应用程序的两个版本相互比较以确定哪个版本具有更好性能的 *** 。

AB测试本质上是一个实验，在这个实验中，一个页面的两个或多个变体被随机展示给用户，统计分析决定哪个变体对给定的转化目标更有效。

随着移动互联网流量红利和人口红利的逐渐消退，越来越多的产品运营开始关注数据驱动的精细化运营方式，希望精细化运营在一片红海中持续取得一定的用户增长，A/B测试就是一种有效的精细化运营方式。

02 测试的目的

A/B测试通过用户行为结果的数据，让个人、团队、公司不断地、小心翼翼地改变用户体验；这使他们能够构建假设，并更好地理解为什么修改的一些元素会影响用户行为。

A/B测试可以持续使用，不断改善用户体验，提高某个目标，比如一段时间内的转化率。

03 A/B test的流程确定目标：目标是用于确定变体是否比原始版本更成功的指标。可以是点击按钮的点击率、链接到产品购买的打开率、电子邮件注册的注册率等等。创建变体：对网站原有版本的元素进行所需的更改。可能是更改按钮的颜色，交换页面上元素的顺序，隐藏导航元素或完全自定义的内容。生成假设：一旦确定了目标，就可以开始生成A / B测试想法和假设，以便统计分析它们是否会优于当前版本。收集数据：针对指定区域的假设收集相对应的数据用于A/B test分析。运行试验：此时，网站或应用的访问者将被随机分配控件或变体。测量，计算和比较他们与每种体验的相互作用，以确定每个用户体验的表现。分析结果：实验完成后，就可以分析结果了。A / B test分析将显示两个版本之间是否存在统计性显著差异。04 如何设计AB test

了解了流程以后我们可以根据自己的需求来设计AB测试来获得有效信息了。一般会有两种设计思路。03 A/B测试的过程决定了目标:目标是用来确定变体是否比原版本更成功的指标。可以是点击按钮的点击率，链接到产品购买的打开率，邮箱注册的注册率等。创建变体:对网站原始版本的元素进行必要的更改。它可能是改变按钮的颜色，改变页面上元素的顺序，隐藏导航元素或完全定制的内容。生成假设:一旦目标确定，就可以开始生成A/B测试思路和假设，从而统计分析是否会比当前版本更好。收集数据:根据指定区域的假设，收集相应的数据进行A/B测试分析。运行:此时，网站或应用程序的访问者将被随机分配控件或变体。测量、计算和比较他们与每个用户体验的交互，以确定每个用户体验的性能。分析:实验完成后，可以对结果进行分析。A/B测试分析将显示两个版本之间是否存在统计上的显著差异。知道了流程，我们就可以根据自己的需求设计AB测试，获取有效信息。一般有两种设计思路。

之一种叫做单因素实验设计。

所谓单因素实验设计，是指实验中只有一个影响因素变量，其他所有内容保持不变的一种实验 *** 。

比如两个实验组，一组用广告图A，一组用广告图B，两组进行实验对比，最后发现B组的效果比A组好，可以认为这就是广告图B的作用。

第二种叫做多因素实验设计。

多因素实验设计是指实验中的影响因素很多。比如你想同时测试广告图(AB)和广告弹窗方式(AB)对转化率的影响，有两个变量，对应四个组合条件:

广告A，弹出方式A广告A，弹出方式B广告B，弹出方式A广告B，弹出方式B

多因素实验设计的优点是不仅可以检测同一变量在不同实验条件下的差异，还可以检验变量间的交互作用效果。

拿最后一个例子来说明。如果在单因素AB实验中，我们发现广告A的效果比广告B好，弹窗模式A的效果比弹窗模式B好，但是广告A和弹窗模式A的组合并不是更好的，因为两者的组合是有化学作用的。在这种情况下，有必要采用多因素实验设计。

05测试用例理论的知识我们都略知一二，那么我们就来看看一些案例，看看别人是如何利用AB测试成功实现目标的，可以给我们一些启发。

之一个例子是Airbnb为了增加房屋预订量而做的AB测试。

大家应该都很熟悉Airbnb，这是一个提供民宿服务的平台。它成立于2007年，现在的估值约为300亿美元。

2011年初，Airbnb团队搜索数据，寻找房屋预订量较低的地区。他们发现纽约的住房预订不符合标准。

你知道，纽约是一个受欢迎的旅游区。为什么住房的保留率低？

在观察这一带的房屋照片时，我们发现这些照片都是手机拍的，既不清晰也不美观。如果房东发布的房源信息中有更多专业的照片，房东会不会更容易把自己的房子租出去？

为了检验这个假设，Airbnb团队首先选取了一些房东作为实验组，免费为他们提供专业的摄影服务。

然后，将实验组的平均住宅预订量与纽约的其他公寓进行比较。

资料显示，如果房源信息中有专业拍摄的住宅照片，房源预约量比Airbnb的平均房源预约量高2- 3倍。

也就是说照片的质量会影响预定的数量，说明之前的假设是成立的。

根据本次A/B测试的结论，Airbnb推出了摄影计划，聘请了20名摄影师为房东提供专业的摄影服务，使得Airbnb的房屋预订量快速增长。

Airbnb团队进一步决定向所有房东推广这项业务，大大增加了房屋的预订量。

第二个例子是电子艺界，他们希望更好地设计他们的网页，并帮助他们实现收入更大化。

EA更受欢迎的游戏之一《模拟人生城市5》在推出后的头两周就卖出了110万份。游戏50%的销量来自在线下载，这得益于非常强大的AB测试策略。

当EA准备发布新版《模拟人生之城》时，他们提供了一条促销信息，以吸引更多玩家预订游戏。这个促销的信息都显示在预订页面的banner上，让买家一目了然。但是根据这个团队的说法，促销并没有带来他们预期的预订数量的增加。

他们决定尝试更多的实验，以测试哪种设计和布局可以获得更多的收入。

一个变化是删除页面上所有的促销信息。这个实验产生了一个非常令人惊讶的结果:没有促销信息的版本比原版增加了43.4%的预订量。结果显示，在没有额外 *** 的情况下，人们确实想买这个游戏。

大多数人认为直接促销可以导致购买行为，但对于EA来说，这种观点是完全错误的。AB测试让他们找到了收入更大化的 *** ，否则这是不可能的。

最后一个例子是comScore。他们渴望可持续发展，希望获得更多的商业机会。

市场参与者普遍认为，当你在销售一种产品时，社会证明会对业务产生更积极的影响。

ComScore在他们的产品页面上做了一个实验。在产品页面的开头，展示了一种社会认可度更低的方式:用户报价。

然而，用户引用与其他内容混合在一起，并显示在灰色背景中，这对于眼睛来说是相对难以捕捉的。

该团队试验了不同的设计版本，并添加了用户的徽标，以测试不同的视觉设计是否可以将更多的访问者转化为商机。

他们在实验中测试了2500名访客，很快发现版本1(见下文)从其他版本中脱颖而出，以一个大大的空白击败了原始版本。

使用垂直布局，在顶部显示客户的logo，会比原来提高69%的转化率。

这三个例子虽然目的不同，但都是根据自身情况，利用AB测试更多地了解了用户的心理，选择了最适合自己操作的方案，取得了成功。

06 注意事项

我们在借鉴成功案例制定我们的AB测试方案时，应该更多地考虑自身情况，注意以下几点:

实验对照组的数量相等:

实验组和对照组之间更好保持相同的用户比例，即如果实验组有5%的用户，那么对照组也要选择5%的用户作为对照。

实验被控制在相同的时间段内:

在一些特殊的日子，用户的活跃度会暂时上升。如果A计划的行动时间恰好是节假日，B计划的行动时间不是节假日，那么显然这种比较对B计划是不公平的。

不要反复对同一组用户进行实验:

可能一开始因为它的随机性，用户行为的差异很小。n次实验后，行为差异可能会变得非常大。

排除异常值:

欺骗用户和BUG数据可能会让指标很奇怪。

今天的分享到此结束。希望大家都有收获。

微信官方账号:空两个方块

本文由@格格学姐原创发布。大家都是产品经理，未经作者允许，禁止转载。

题目来自Unsplash，基于CC0协议。