数字100 James：探究如何用前沿技术提升在线项目质量管理

 
探究如何用前沿技术提升在线项目质量管理：数字100 James

由中国市场信息调查业协会市场研究分会（CMRA）主办的，为期一天的第五届中国市场研究执行峰会于2012年3月26日在北京新世纪日航酒店成功落幕。数字100市场研究公司的CTO James应邀做了题为“探究如何用前沿技术提升在线项目质量管理”的演讲。

何建新：我们在线公司还有很多，我们有很多很多非常优秀的在线公司，下面是有请数字100的CTO James来给我们分享他们在调研供应商的选择。有请！

James：大家上午好！刚才QQSurvey的束总介绍了很多在线调研的情况，现在市场上国外的调研公司，国内调研公司非常之多。而且我觉得现在由于互联网技术发展，我们现在很多的研究公司也都在往在线调研转型，这就面临一个问题，我们如何选择在线供应商呢？我把我们的一些想法跟大家分享一下。

先介绍一下我们数字一百的介绍，数字一百是成立于2006年，只是以前我们2006年、07年在线市场不太好，我们只为一家公司服务，现在在线市场起来了，我们在为其他的公司服务。我们的在线调查项目叫surve库，是04年研发的。到现在有八年的时间了。刚才也谈到了发展速度是非常之快的，最新的数据应该是5亿四千万，从这么看来特别对我们调研业来说，我们调研通常都是15岁以上和60岁以下，大部分都集中在一二三线城市，从这个角度来说我们调研的范围互联网人群中应该能满足百分之六七十，从购买力角度来说就更高了。而且刚才也谈到了，在国外在欧美实际上从定量角度来说，一半以上的已经用过在线调研，50%以上，所以我们认为中国在近几年之内一定会从目前的5%走到40P%，这个机会非常多。

什么是在线样本库呢？有几个关键词。一个是自愿，在线网民都是自愿地加入到我们样本库的，都是有主观意识。另外一个要素你要想成为一个样本库的人员，我们公司会看一些基本社会属性，年龄、性别、地理位置等等，然后还知道一些很多别的属性，比如收入，什么样的工作之类的。另外一个样本库的特性就是样本库运营商应该有一个比较完善的库源激励体系，因为这个是很需要花时间的。第三是市场业的说法，就是样本库不会有营销的信息，不会推销一些东西。这是楷模一百分布的一个数据，怎么说呢？就是数据是比较多，但是基本上我们把我们的数据跟CNIC的数据基本吻合，一二线城市比较多，年龄也是跟CNIC的数据比较接近。这是我们样本库的一些数据，我们现在目前有130万的样本，然后跟别的互联网公司合作，比如说阿里巴巴集团合作我们可访问可接触的样本量超过了一千万。

然后我们做了这么多年，感觉到现在样本库公司非常之多，有些公司的做法我们不是特别认同，比如说你跟人家告诉，需要北京上海广州的数据，这样会有一些诱导，给会员不真实的信息。所以帮助大家共享一下你们该如何选择在线供应商。第一个问题我建议大家如果想跟在线公司接触的话，就要问一个问题，就是说你们这个公司有没有一个测量问卷设计，对数据质量的一个体系，因为我们都知道数据的质量是两方面，一方面是样本的采集过程中的一个个人工作影响数据质量，另一方面问卷的设计不管是传统的方式还是在线方式，对数据的质量影响都是很大的。所以我们楷模一百经过研究，其实我们自己也总结出一个体系，这个体系也就是说有三个数据组成的，一个数据叫出访率，比如说这个项目有一百个人参加了，到最后有可能是三五十个人参加的。另外一个因素我们认为比较重要对整个问卷的质量体现，我们是叫不认真答题率，就是通过我们各种各样的指控系统，我们会发现这个答题是认真还是不认真，这个可以反映出你的问卷设计到底怎么样。第三个是一个项目主观数据，当一个项目结束之后，我们会问样本库的会员的感受，你会认为这个设计怎么样，好不好。他们也给出一个值。目前把这些规划到我们系统里去了，如果给到一个问卷，有一个什么题，横向十几个选项，纵向二十个选项，这样的话会员会感觉不好，他就拒绝回答了。要么他答了，也会不认真。

所以我觉得如果说长期进行这项工作的公司，大多数都会有一个体系。所以我建议大家在选供应商的时候，问问这个问题。

第二点我觉得一个比较有意思的问题，是否有自动化的指控体系，因为大家所有做这行的我认为都会重视质量，有些像我们公司是把所有质控的手段都固化到人的里面去了。就像刚才益派的同志说，项目管理是很重要的，那么有些时候你可能需要员工的认真度来保证这个项目的质量。有时候比如说你把各种质控的方法固化到系统里头去，我认为是真正地有效地保持这个数据质量的，因为有时候时间急，那些手工操作的时间之长很难保证把这个质量提高。这是我们survey系统中的质库模块，每一个项目结束之后，我们系统会自动根据这以下几个条件，当一个样本注册我们样本的时候他会告诉我们他的性别、年龄收入等等属性。问卷问到相关信息的时候，我们系统会注册成一个比较，系统自动做这项工作，不需要做人工操作。另外是答题时间比较严，通常答题有多长时间，人与人有差异，但是差异不是很大。如果一个人答题五分钟就答完了，另一个人答题需要20分钟答完，这就可以判断他答题不是很认真。另外一个是刚才束总也提到的一个想法，如果你说第一是男的，第二又说用口红，这就明显地不符合情况，这样的话系统就自动地把他弄出去。另外一个常用的技术是IP定位系统，今年3月我记得中国国内互联网提出一个高质量的IP库，你答题的时候你把IP传给我们，我们通过推算出你的IP地址。诸有此类的技术是很多，我觉得我们要做的事情是把这个信息充分地固化到软件里头去，只有这样，才能保证持续性地把质量做好。

另外一个问题我建议大家问的就是在线项目中是否有透明化，目前的市场现状是这样，通常是你的客户给你一个需求，需求是一个文档，告诉你不要什么样的样本，条件是什么样的。然后过了五天十天，在线样本公司给他反馈个有效的数据，这是一个结果。这个你不知道对方做了哪些事情，虽然过程中有邮件沟通，但是比较慢。我们认为是为了对质量有更好的保证，应该有一个全过程透明化的概念，就是客户随时随地看到你的项目的进程，各种信息，邮件是怎么发的，发送多少份，有什么回收，各种数据都应该让客户随时随地看到。这不是把你的在线系统开放给客户那么简单。因为像我们在线系统有一百多个会员，如果你把这个系统都开放给客户，那么会出现一个项目有六个七个，大家都来操作，会造成混乱。我们这个会全线管理，客户的任何信息都可以读到，但是不能修改，修改就由我们来修。我把系统的一些截图给大家来看，我们survey给大家开放的这个图，这个能看到邮件的发送量，答题的回收量，能够看到符合条件的数据。然后通过质控去掉多少个，各种各样的信息都能够看到。同时还能看到我们邮件是如何发送的，都发送到哪些。邮件模板都能够看到。

这一页是客户看到的配额进展的情况，就是说具体哪个题是对应哪个配额，目标配额是什么，完成配额是什么，完成情况是什么，交叉配额进展情况是怎么样的，非交叉配额进展情况是怎么样的。

第四个问题我们建议问的就是这个供应商在项目结束的时候是否提供一个质控报告，因为质控报告和数据报告还是不一样的，这个报告里头像我们刚才解释了各种各样的质控手段中到底是怎么应用的，程度是怎么样的，这个报告的提供会增加客户给你的信任度。因为我们做研究，就是新的网民进入样本，他们答题率是不高的，有可能是15%到20%，这样你作为系统运营商通过一系列的运营手段，我们系统中给他附两个数值，一个数值代表他的答题的认真度，另外一个数值代表他答题的认真性。如果持续下降的人最终会被剔除样本，如果认真的话，他的答题率会达到96%-98%。所以你提供这个质控的报告，对你的客户是一种负责任的态度。所以我们一定会告诉客户说我们这个质控是如何进行的，各种各样的样本删除多少，然后删除原因是什么。

另外一个我认为一个非常重要的问题，就是说你的样本供应商是如何保证你的唯一性、真实性和答题的认真性。刚才益派的同事也认同这个，其实你做调查的代表性这个问题可以通过配额，可以通过抽样来解决。但是如果说你不能保证样本的唯一性，如果一个样本在你那里注册N次，或者他给你属性不真实的，他虽然说比如说是北京的，偏要说天津的，你如何把他抓出来。这是非常重要的。第三个是他答题认真不认真，他是看了没看，这三点非常重要，需要很好地回答的。

这是我以前给一个客户做的案例，通常真实性我们是这么做的，我代表数字一百来回答这个问题，注册阶段前期我们是以前从06年到2011年的前期我们是通过身份证认证这个方式，他经过参加样本库之后拿到奖品之后我们一定是要看他的身份证，把身份证属性输入进去去对比的。第二阶段跟国内领先的一些电商来合作这个事情，电商通过注册之后，淘宝把真实信息属性传给我们，不管怎么样，作为样本供应商一定要保证注册的真实性。这个手段是很多，还有一点样本库60%的人有他的手机号码，通过手机可以反推他的地理位置，这样能保证他的真实性。另外还有一点就是我们刚才反复提到三次校验的手段，我们系统会自动地把这些信息做比较，如果不真实，会把你踢出去的，至少你这个数据在调研系统中是不会用到的。另外就是唯一性，如果说一个人虽然很真实，但是他为了赚钱给你注册十个一百个帐号怎么办？就是在线样本供应商一定有这样非常强有力的手段保证是唯一的，比如说电商的帐号，比如说你的快捷帐号或者你的财富通帐号只能用一次，那个是通过后期是可以校验的，这样跟你的银行帐号绑定的。把他的帐号和邮件地址绑定在一起，之后也做类似的调研的唯一性我们是这么做的。

第三个就是真实性我们如何保证呢？其实手段方法非常地多。刚才我那一页的截图大家也看到了，大概有十几个，比如说我们问你性别，我们再问你用不用口红，这种信息是可以抓出一部分不认真的人，另外还有比如回答问卷的长度，还有矩阵题，我们发现答题不认真的人，在答矩阵题的时候中间会有一条横线。另外就是IP地址和地理位置校验能够完全比较等等这种手段是非常之多的。我的演讲就到这儿。

何建新：时间卡的非常准确，不愧是从美国回来的。演讲完了之后，介绍一下背景。他是刚才提到了是数字一百的CTO，94年获得北大的硕士学位，96年去美国在常青藤学院拿到了工程硕士学位，在美国的国际知名软件公司工作了十多年，是做这些前瞻性研究的设计组的核心成员。我们为我们行业吸引了这么多的从IT软件这样的领域里面进来的高端人才，还是感到很骄傲和自豪的。再给他点掌声。