转载请注明出自 http://www.leeforce.com

 

 

昨天晚上跟一个做电信咨询师的朋友在咖啡厅聊天。对方给我出了这样一个有意思的命题：

 

如果现在要通过用户调研，对中国移动的各省彩信平台根据用户体验进行优化，则应该采取怎样的解决方案？

 

这里我这位朋友提到了两个评测概念，即“观测值”和“容忍值”。所谓观测值，就是一些客观的测试数据，比如彩信发送的实际时间延迟、发送成功率等等；所谓容忍值，就是指从用户的主观体验出发的一些评价结果，比如用户觉得发送时间是快还是慢、发送成功率是高还是低等等。

 

从方法来讲，我这位朋友当时的想法是从每个省抽取300名用户作为“小白鼠”进行跟踪测试，再辅以移动后台BOSS系统的数据分析。这当然是比较传统的调查分析方法。

 

但是我即兴发挥地向这位朋友提供了一个更另类的方案。这个方案的描述如下：

 

首先，我在方法论上是坚持要把客观数据和主观数据的调查采集剥离开来的，否则会产生很多数据真实性上的混淆。一方面，朋友提到的“观测值”的客观数据，其本身是基于特定的有限种类的手机终端，以及该省固定的GPRS传输网络。所以“观测值”的部分完全可以不用通过用户跟踪，而是调研者自己搞几部测试手机就可以完成的工作。另一方面，就是所谓“容忍值”的用户主观数据的采集与分析的具体方法问题。在讲这个问题之前，我要先说一段小故事：

 

据说SONY当初在向市场推广其Walkman随身听产品之前，曾经召集很多用户作为“小白鼠”进行了一场关于Walkman外壳颜色的测试。这个测试包括两个阶段。在第一个阶段，每一个“小白鼠”都要经过问卷的调查，描述自己心目中喜欢的Walkman颜色；而在第二个阶段，每一个“小白鼠”要在模拟的真实消费环境中实际为自己挑选一款Walkman带回家。这个实验的结果是怎样呢？这个实验的结果就是在第一阶段，几乎是呈现出了五颜六色互不相同的各种答案；然而在第二阶段，几乎绝大多数的人都挑了黑色的Walkman产品带回家！

 

我说这个故事的意义在于，很多所谓的用户跟踪调查结果，与用户实际的消费行为之间，往往是大相径庭的。如果用户很明确地知道自己“小白鼠”的身份，那么这个认知结果本身就会对用户的行为产生严重的干扰，让他无法以一个很正常的心态去从事消费，从而在宏观的样本空间内无法体现真实的结果，甚至对厂商产生误导。

 

然后，我们再来看所谓“容忍值”的定义。我朋友提到的测量“容忍值”的目的是要搞清楚，用户到底能忍受怎样的体验环境，从而保持在点对点彩信业务上的活跃度。所谓活跃用户，就是通过移动后台BOSS系统分析出来的每月消费彩信在一定条数以上的用户。这个测量“容忍值”的传统思路，是希望在通过统计数据筛选出来的有限用户集合中寻找一个临界点，这个临界点代表了用户对忍受彩信体验环境质量的一个心理界线。但是，我朋友的问题就在于，她无论如何也无法找到一个或一组有效的指标来定义这个临界点，所以想请我帮忙。

 

我在描述我的执行思路之前，先给她更正了“容忍值”的概念。从移动后台BOSS系统拿到数据，的确可以看出用户平时的彩信使用状况，但绝不是用户能够“容忍”的一个心理极限值。我认为在普通用户日常的彩信使用中，“需求度”的影响是远远大于“容忍度”的影响的。比如用户A有1000个好友，这个朋友群的基数导致他每个月不得不发20条彩信，实际上他的容忍值可能是30条左右；而用户B可能只有300个好友，他每个月发给朋友的彩信只有15条，但他实际上对发彩信的容忍值可能高达40条。A的发送彩信需求比B的多，但B比A更能容忍彩信的现有体验环境。所以，所谓“容忍值”应该是有限的用户集合在统一的需求动机下进行的测试结果，只有那样才能避免各人需求不同而产生的干扰。

 

正式出于这样的思想，我对“容忍值”的一个可量化的定义就是：所谓容忍值，就是指有限的用户集合在既定的相同需求刺激下，其中大多数人（剔除少数变异数据后）会使用业务程度的最小极值。

 

所以，我最后向我这位朋友提供了这样的解决方案：

 

首先，我的方案的“小白鼠”并非通过后台BOSS系统分析获取，而是通过组织一个娱乐类的活动让所有的用户都可以自发参加。比如，这个活动可以让转发特定彩信最多的用户抽取一部新款手机，类似这样的。这种活动的意义在于：第一，用户出于娱乐的目的自发参加，他们并不知道自己是被测试的“小白鼠”，这就减低了第一层的认知干扰；第二，受测的用户在发送彩信的需求方面十分统一，都是要在娱乐中追求获取奖品，这就减低了第二层的需求干扰。

 

然后，我会测量全国的所有用户参与活动的情况，记录下他们每个人在活动中转发特定彩信的次数，按高低排序，并在剔除变异数据后以60%的比例（当然，是否60%要看具体情况而定）来划定一条“及格线”，这个“及格线”就是在这场活动中的全国用户容忍值，即大多数人在既定的奖品刺激下使用彩信业务的最小极值。

 

接着，我会对各省的用户子群分别再作一次用户容忍值的分析。根据省用户容忍值和全国用户容忍值“及格线”的比较，可以很清晰地把各个省归到“及格”和“不及格”的两类，供进一步的分析。

 

与此同时，我会通过若干测试手机和既定的彩信网络环境分别测量各省的彩信体验“观测值”，包括彩信发送延迟、发送成功率等若干组客观数据。这一部分的测量工作无需用户“小白鼠”的参与即可完成，因为观测值仅依赖既定的软硬件与网络环境。

 

最后，我会对之前对各省划分的“及格”与“不及格”的两个阵营联合作实际观测值的数据挖掘（Data Mining）。这样我就可以在繁复的观测值组合中找出“及格”阵营的共性与“不及格”阵营的共性，从而找到导致某省“及格”或“不及格”的关键点，这些关键点将被用来指导各省彩信平台的优化工作。

 

 

 

以上的方案纯属我咖啡桌上的临场发挥，肯定会有很多不足之处，欢迎有兴趣的朋友一起讨论。