首页  >  首席增长官  >  首席增长官:掌握用户体验度量方法

首席增长官:掌握用户体验度量方法

《首席增长官:掌握用户体验度量方法》

在非垄断市场竞争环境下,用户体验几乎直接决定了一个互联网产品的成败,所以产品经理们在平时的工作中不免会定期审视自身产品以及竞品的用户体验,从而发现自身的不足以及竞品的优势,不断优化迭代出更好的产品。在这样的背景下,我们可预期到,掌握一些度量用户体验的方法和思路成为做出好产品的基础能力。我根据自己的经验粗略总结了一些用户体验度量的常见思路和方法,期望为大家带来一些启发和参考。

一 用户体验度量方式有哪些?

目前,百度UBS主流的用户体验度量方式有三类:人工评估、用户评估、机器评估。

①人工评估是指通过对用户、产品及所属行业的理解,总结出人为可执行的一套产品用户体验度量标准,同时根据体验好坏程度设计打分分档,以专家用户的视角,代入式地按照度量标准标注出体验得分并产出可衡量的指标数据,最终分析得出结论的方式。

②用户评估与代入式的人工评估相反,是通过直接采集用户体验感知信息的形式获取用户的感知满意度;常用的方法是通过设计科学合理的量表并以问卷形式发放给目标用户,通过回收、整理、分析问卷信息,最终产出体验结论。

③机器评估是相较于人工评估的概念,具体是指利用线上的客观用户行为数据,为用户建模,设计行为数据指标和标准,最终产出体验结论。

这三种方式各有利弊,从客观程度上讲机器评估最有优势,从灵活程度上来说人工评估和用户评估更有优势(比如可以评估竞品、可以评估相对更主观的体验点等),同时人工评估和用户评估都能够产出具体的Case, 帮助产品经理做更具体的分析工作。至于用哪种方法,可以根据业务情况来选择或者多种方法结合使用。接下来我主要陈述人工评估方式下的常见度量方法。

二 人工用户体验度量有哪些内容?

说到度量,有度量距离的,单位用厘米、米、千米等;有度量速度的,单位用米/分钟、千米/小时等;那么用户体验到底该度量什么内容以及呈现出什么样的量化单位(度量指标)?实际上,我们往往要根据产品要呈现的核心价值和能力来确定度量内容,从而设计出度量指标。

首先可以依据产品的核心价值和能力将产品简单粗暴地分类成内容型产品、策略型产品和功能型产品(当然,现实中的产品大多数都是多种核心价值和能力交织的,此处是为了方便大家理解,将错综复杂的产品核心价值提纯定性分类),然后分别介绍不同产品的常见度量内容和指标。

1.内容型产品

内容是该类产品的卖点和核心价值,比如爱奇艺、网易云音乐等APP,它们吸引用户的核心价值和能力是拥有某个长视频或歌曲的版权;或者是今日头条、快手等APP,虽然没有强依赖版权,但是仍然有首发、独家、内容全面的特质。这类产品(不要狭义理解为APP产品,可以广义理解为某个产品的某个功能模块)可以定义为内容型产品。

内容型产品强调的是内容,常见的需要度量的内容有四个方面:

①全面性:度量“有没有”

对于以内容为核心的产品,有没有无比重要。比如爱奇艺APP,曾经因为引进了《太阳的后裔》的独家版权,靠这部当年超级火热的剧目带来了流量和营收的暴增。所以,有没有相关内容就成为了关键点,那么,对于用户想看的内容,度量全面性非常有必要;而衡量产品的全面性的指标一般可以设计成覆盖率(这个指标统计数据即可获得),以百分比的形式呈现量化结果。

②优质性:度量“好不好”

内容覆盖率高,优质度也得同步符合用户预期才行,正所谓重量也重质。比如同样拿到了某部剧集的版权,但是产品A是标清版本,产品B是高清版本,高清版本显然在用户体验上更胜一筹。衡量自身产品优质性的指标,如果是人工评估,一般可以设计为优质率(Good Case比例)或低质率(Bad Case比例),需要竞对指标的话可以设计为优势贡献【(某类优势数量-该类劣势数量)/(所有类目优劣势数量和)】,还可以设计成优势占比【( G-B)/ (G+S+B),G:正分个数,B:负分个数,S:持平个数】等;如果是机器评估,可以体现为阅读or观看完成率、时长等指标。

③及时性:度量“快不快”

尤其针对资讯类产品,在有重大新闻事件发生的时候,如果是首发,会带给用户更加及时的感知体验;另外,首发后通常需要小时级更新、慢慢衰减到天级更新、直到最后事件热度冷却,在这个过程中,如果更新速度能够领先竞品,同样能给用户带来更好的体验。衡量自身产品及时性的指标,如果是人工评估,同样可以设计为优质率(Good Case比例)或低质率(Bad Case比例),需要竞对指标时也是可以设计为优势贡献【(某类优势数量-该类劣势数量)/(所有类目优劣势数量和)】,还可以设计成优势占比【(G-B)/ (G+S+B),G:正分个数,B:负分个数,S:持平个数】等。

④权威性:度量“可信不可信”

如今,信息获取非常便利,人们通过获取更多的信息更好地了解世界,这是件好事,但是信息过多和过少一样存在弊端,信息过多的弊端就在于人们从过多的信息中找到最有价值的部分的筛选成本变得更高了。比如资讯类产品,这里先排除掉消遣类的资讯(消遣类资讯是否权威一般对用户体验影响不大),重点看民生类资讯(比如政策类内容)或其他会影响用户行为倾向的资讯(比如医疗类内容),这类资讯会实际影响到用户的切身生活,所以用户一般都希望得到的信息是权威且准确的。权威性在人工评估方式下的指标设计上,与优质性和及时性大同小异。

2.策略型产品

策略型产品是指利用较为复杂的制动策略来动态呈现产品形态,从而满足不同场景下的用户需求的产品。 比如搜索或者资讯流产品, 其产品以内容为基础, 但是核心能力不在于内容本身,而是在于如何精准地呈现出用户想要的内容。

策略型产品没有常见的普适的度量内容,主要是看具体要做什么策略然后量身定制匹配的度量内容和单位。比如资讯流产品,主要的策略是个性化推荐,那么需要度量的内容就是个性化推荐的效果,即推荐满意度;再比如搜索产品,核心的策略是搜索Query与内容的相关度,需要度量的内容是相关性。个性化产品更适合用户评估的方式,最能够体现产品对不同个性用户的满足程度是否符合预期。

3.功能型产品

功能型产品,这里可以理解为以服务能力、工具能力见长的产品。比如滴滴打车,用户更在乎能不能更快捷、便宜地享受到用车服务;比如美图秀秀,用户更在乎能不能简单操作后快速修图或者美颜;还有近年来出现的一些强运营的产品,比如抖音、趣头条等,拼的是运营玩法是否给用户带来更多快感。所以,整体来看,功能型产品强调的是功能和服务, 常见的需要度量的内容有三个方面:全面性、易用性和服务质量;而在指标设计上,可以根据用户喜好或需求程度设计功能权重,然后将对应的全面性、易用性和服务质量加权得出最终的满意度得分。

①全面性:度量功能是否覆盖全面

同样是打车软件,A产品有预约叫车功能,B产品没有预约叫车功能,显然B产品没有满足有预约用车需要的用户的需求,而当预约用车需求是一个影响面较大的需求场景时,B产品的用户体验会在全面性方面失分。

②易用性:度量功能是否方便操作

同样是打车软件,A产品和B产品都有预约叫车功能,但是A产品的预约功能可以筛选时间,B产品的预约功能需要手动输入时间,而手动输入的操作成本更高,则B产品的用户体验在易用性方面失分。

③服务质量:度量享受服务的ROI

同样是打车软件,A产品和B产品都有预约叫车功能,且交互操作方式一致,但是同样的距离A产品需要20元钱,B产品需要10元钱,则B产品提供了更加物美价廉的服务,服务质量方面可以得更高的分。

三 如何精准地圈选度量范围?

明确了度量的内容和单位,还要圈定一下度量的范围,不然永远也量不出来结果,或者是度量了没有必要的部分。一般来讲,度量的范围就是主需求的部分,有明确信息输入的产品(比如搜索)通过做客观行为数据分析即可明确大多数用户的主需求,无明确信息输入的产品或者产品上线前需要明确主需求的话,可以通过用户调研的方式明确主需求。但是,明确了主需求仍然不够精准,还要结合产品定位来进一步锁定和校准度量的范围。

产品定位,百度百科的解释是指“企业对应什么样的产品来满足目标消费者或目标消费市场的需求”。我认为,产品定位是产品设计者构思出来的该产品需要应用到的主要场景,比如抖音是针对年轻人的音乐类小视频,那么年轻和音乐是对目标用户及需求的限定,度量范围就可以从小视频主需求的集合里,进一步聚焦到和年轻人以及音乐有交集的部分。

目标选定,进一步明确度量范围,从而明确度量方案。如果目标是维护、优化现有用户的体验,那么主需求调研就会围绕着现有用户开展;如果目标是抢夺竞品用户,那么主需求的调研就要围绕着竞品开展;如果在现有产品定位下,各个方向都已到达天花板,甚至可以修改产品定位,这时度量范围又会发生变化。

比如微博的美妆垂类,如果今年的业务目标是提升现有用户体验,那么首先可以针对现有用户进行主需求调研,如果很多主需求已经满足得很好了,那么次需求也要纳入进来,但是明确好权重,以免后续度量体验的时候避重就轻;调研清楚主需求后,再看现有产品的需求满足情况及差异点, 迭代优化后再次度量体验,查看效果回归情况。而如果今年的目标是要抢夺竞品用户,比如小红书的美妆用户,那么首先就是研究分析竞品用户使用小红书而不使用微博的动因,这些动因回归到自身产品上度量出体验差异, 然后再进行迭代优化, 最后效果回归。这里需要注意的是,在抢夺竞品用户所做的产品改变中,可能会有与现有用户的使用喜好矛盾的地方,需要权衡利弊再做定夺。

四 如何平衡、调节度量精度?

度量内容、单位(指标)和度量范围确定后,要考虑度量的精细程度,因为度量太粗会导致产品做得粗糙, 度量太细会导致产品做无用功。一般来讲,用户体验度量的精细程度需要与用户感知的精细程度匹配,度量尺子上的刻度的最小变化,用户能够同步地感知到,这样才有意义。比如,很多手机上都有调节字体大小的功能,里面一般有3-5种尺寸,假设我们将某部手机的字号设置为1-5个档位,当我们调节增减一个档位的时候,大多数用户几乎看不出来,很显然这个精细程度是过于细了;假设当我们调节增减一个档位的时候,大多数用户都觉得过大或过小了,那么很可能是这个精细程度过于粗了。

这里有两个常见的情况可以分享:

①在产品的宏观竞对评估过程中,评估的精度可以稍微粗一些。首先,太细微的变化都量化体现到宏观指标里会稀释或者浓缩指标的物理含义;其次,在产品体验相差不大的情况下,影响产品规模增长的主要原因会依托于运营等其他能力的输出。

②在产品的微观评估(产品迭代评估)过程中,评估的精度可以相对精细一些,不需要追求一步到位,多个细微变化(只要是正向的)形成的量变不断累积,最终可以质变,达到影响用户感知到体验的变化。

综上,用户体验度量是一件需要持续关注和适时调整的工作,度量的意义就在于准确地了解现状,为产品/策略提供咨询、优化建议,帮助分析和预知未来可调整的方向,助力产品优化用户体验。假如每个产品经理都能够科学合理地设计用户体验度量方法,那么相信互联网产品的行业标杆必将不断拔高,最终为广大网民带来福祉。

文:Laraine@用户行为研究 (ubs_voice)

首席增长官CGO荐读小红书推广:

更多精彩,关注:增长黑客(GrowthHK.cn)

增长黑客(Growth Hacker)是依靠技术和数据来达成各种营销目标的新型团队角色。从单线思维者时常忽略的角度和高度,梳理整合产品发展的因素,实现低成本甚至零成本带来的有效增长…

点赞

发表评论