加载中…
个人资料
吕伯望
吕伯望 新浪个人认证
  • 博客等级:
  • 博客积分:0
  • 博客访问:568,276
  • 关注人气:6,650
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
正文 字体大小:

什么样的调查数据不可信?

(2006-12-17 01:35:18)
分类: 市场调查研究

关于市场调查数据的一些思考

 

感谢各位的热烈讨论,无论是支持的还是反对的。

 

中国的教育制度中,缺乏对数据处理与数据分析方面的普及教育。我刚到国外留学的时候,给我留下最深刻印象的有两点。一点是所有硕、博士研究生在开学第一周(Orientation Week),都要重新学习一遍写作业的注意事项(本地学生其实在大学教育的时候都学习过),其中最重要的是如何在作业中引用别人的观点、事实或数据,譬如什么情况下不能间接引用而需要直接引用、引用的时候如何规范化地注明出处、是否需要知会原作者、引用长度不得超过多少、超过多少就有抄袭或剽窃的嫌疑等等。我问过我的一些朋友和同事,他们说无论是大学还是研究生阶段,中国的大多数大学或研究院所都没有这样的培训或指引。

 

给我留下深刻印象的第二点是,第一学期学的全是Foundation课程,即所有学生不分文理不管研究方向都是必修的基础课程。基础课程中有一门Data Processing and Analysis,讲授的是有关数据解读、数据处理与分析的基本知识。学习这门课只需要有中学时期学到的数学概念即可,但是学生修完这门课程后,对数据就应该有相当的辨识能力,更重要的一点是能够增进数学思维——用数学语言进行思考的能力。

 

考过GREGMAT的人大多都知道,中国学生的数学平均水平高于美国、英国、加拿大和澳洲国家的本地学生,尽管那些本地学生中不乏一些数学尖子。非常令人遗憾的是,中国的基础数学教育没有把理论与实际更好地结合起来,因此数学语言在逻辑、论辩当中的应用非常苍白。中国人感性思考大于理性思考,我觉得这也是原因之一。中国大学生的毕业论文洋洋洒洒几万、十几万字,可以没有插进一张图表;而在国外,学生写的无论是作业还是论文,三页内见不到一张图表,教授就可能拒绝批阅。

 

这些年来,数据在中国开始变得比以前流行起来了。记者的报道,评论家的评论,专家的观点,都比较经常地开始引用数据。这是一个好现象,但还不够好。因为大多数人引用数据的时候,他们并不哪怕花上一点点的时间,了解这个数据的确切来源和获得这个数据的方法。我们做的调查报告发布后,国外的媒体记者与国内的媒体记者打给我的电话有一个特别显著的不同:国外记者几乎无一例外最先向我了解的,是我们用什么调查方法获得的调查结果;国内记者打给我的电话,只有寥寥几个会向我问到调查方法,其他人最感兴趣的,往往是直接获得调查结论。

 

我以前常常被邀请在中央电视台的一些新闻事件报道中做专家评论,电视新闻由于时间限制,往往只需要我说一个几句话的结论而不在乎导出这个结论的论据或过程,我因此颇为不快。在我看来,许多新闻事件中的结论往往是显而易见的,没必要非得由我来说。张三和李四可能说了一样的话,但他们背后的思考却可能大相径庭。一个尊重理性思考的社会,需要的是每一个个体本身独立的思考,而不是人云亦云。

 

回到关于市场调查的主题上来,我想说说什么样的调查数据我们是不能轻易相信的。

 

近年来,一些大大小小的网站常常会根据刚刚发生的新闻事件做一项网上调查,调查结果可能会被广泛引用。但是,可能很多人没有仔细想过,这样获得的调查结果是否真实反映了全体网民、更不要说全体中国人的真实观点、真实想法或者真实态度?先不说调查的样本只涉及某个网站、甚至网站内某个频道的访问者这种局限性,由于调查内容往往需要网民鲜明地表明态度或立场(支持或反对),持某一立场(譬如说支持)的网民带着一种要影响调查结果的强烈意愿来参与这项调查,而持其他立场(反对或中立或不明确)的网民没有这么一种强烈的参与愿望,或者他们明白自己的立场在网上容易受到攻击或伤害,他们也会回避参与这项调查。因此,这种类型的调查结果是最不能通过样本推及目标总体的典型例子。

 

所以第一种不可信的数据,是样本不能推及目标总体的数据。

 

但是,不能因此说这种调查没有价值。至少,通过这种类型的调查,我们能够发现这一新闻事件网民的关注度以及关注的角度。因此,新浪的网上调查我不嫌多,都愿意看。网民对新闻所作的评论,也具备同样意义的价值,这可能是平面或电视媒体与网络媒体相比最欠缺的价值因素。

 

2004年的杜蕾丝调查称中国人的性伴侣数为“世界之最”,平均每个中国人有19.3个性伴侣。这项调查结果争论颇多,但杜蕾丝这项调查结果的问题,本人认为还不是调查数据是否准确的问题,而是对调查结果未用任何统计手段进行处理、故意发布错误数据以达到恶意炒作的目的。也许19.3这个数据确实来自杜蕾丝的原始数据,但是它可能是一些喜欢恶作剧的问卷填答人虚报数据弄出来的。这个数据至少需要两步后期的统计处理,第一步是排除虚假而完全不可信的样本,如删除性伴侣高达10,000个的问卷样本;第二步是根据数据分布状态找出特别离散的数字(Outcasts),如1,000。现实生活中可能存在性伴侣多达1,000的人,但这种人在总体中的比例可能在十万分之一以下,如果在几千或最多几万的样本中掺进了一个或几个这样的数字,就会使样本中的平均数据出现非常大的正偏差。负责杜蕾丝调查统计的人不可能不知道他们发布的数据需要后期统计处理,但他们仍然未作处理就发布了,因此存在恶意炒作、愚弄大众的嫌疑。

 

所以第二种不可信的数据,是明显为了炒作的目的公布的数据。

 

我们再来看看艾瑞的调查方法存在的问题。艾瑞公布的调查方法中说明,它招募来的样本已经根据CNNIC公布的网民数据,以性别、年龄和地区为基本指标进行了配比。这样经过配比的样本,是否等同于随机抽样了呢?不能。

 

我们简单地举个例子。要调查中国人黄金周的旅游消费情况,在各地的火车站发放问卷进行调查,然后按国家旅游局相关调查中的中国旅游人口数据进行性别、年龄和地区的配比,得出中国人黄金周的旅游消费调查结果。很显然,由于抽样地点局限在火车站,那些通过飞机出行旅游的中国人,他们的旅游消费情况完全没被统计在内。在火车站招募到的样本,与在机场招募到的样本,二者在性别比例、年龄和地区可以配比得完全一致,但结果一定有巨大的差异性。我们不考虑艾瑞招募样本的信息是否或者通过哪些网站进行了推广,如果全部样本都是按照艾瑞自己网站上的说明招募来的,我们可以说它相当于是在自己公司门口招募过路行人做样本,这种方式与街头拦访或在火车站招募样本一样严重缺乏抽样代表性,何况你的公司还不是在人口流量辐射区域较大的街区。如果招募样本的信息通过其他网站或其他方式进行了推广,那么对艾瑞调查样本代表性的影响因素,会复杂到难以把握。

 

说实在的,就算配比能够对调查结果作出修正,但只按性别、年龄和地区作配比,而不考虑学历和职业(学生与非学生)这样两个对搜索引擎使用倾向性有重要影响的个人特征,这样不完整配比的结果,理论上有可能会使调查结果与市场真实状况发生更大的偏离。

 

以上这段文字,应艾瑞总经理杨伟庆的要求作答,也顺便回答了上篇文章一些读者对我提出的问题。对与不对,仍然欢迎大家一起讨论。

 

艾瑞调查的症结在于样本是否首先经过随机抽样而招募来的。艾瑞调查与Nielsen//NetRatingsComScore的同类调查之间最大的不同,也在于此。以科学的方法抽样,抽到的同龄同性同地区的样本,就不会只局限于火车站的流动人口或者自己公司门口的过路人群。

 

0

阅读 收藏 喜欢 打印举报/Report
  

新浪BLOG意见反馈留言板 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

新浪公司 版权所有