第一章 大数据概述

第五节 大数据面临的挑战和机遇（2）

第一，认定无非是另一次炒作。这是最常见的一种误读。其流毒在于阻碍了人们去耐心认真的研究大数据的由来和机理。IT 业和资本的确有炒作的传统。对千年虫连篇累牍的报导和宣传，除了让IBM 等大赚一笔外，结果发现问题并没有事前描述的那么耸人听闻。物联网也曾经是资本市场的宠儿，但现在却已风光不在。如果因此就把大数据归于炒作一途，肯定会与机会失之交臂。大数据与以往的技术概念有显著的不同，最大的差异是大数据已经远远超越技术的概念，是互联网、智能终端、社交网络发展到一定阶段的必然产物。以往，信息技术总是在围绕提升企业运营效率打转，而大数据促使商业智能真正走向企业的决策中枢。

第二，片面的理解。有人一听说大数据，就说十多年前我们就有多少多少数据。以前都说海量数据如何如何。的确，海量的数据是大数据的特征之一，但海量数据并不等同于大数据。大数据更强调数据的多样性、及时性。网络日志、文档、视频、图片等都是大数据关心和处理的对象。更重要的是，大数据技术总是要求尽可能快的发现有决策价值的信息。快的度量单位是不能超过1 秒。厂商在介绍大数据概念时，往往介绍三个“V”特征：Volume 体量大，至少要到PB 级别（1PB 等于1024 个TB，大约相当于地球观测系统五年的数据）；Velocity，实时要求高；第三个Variety，强调数据的多样性。还有厂商增加一个V，Value，意思是说大数据有价值。这些都是对的，但不免过于片面。

第三，狭隘的视野。仅仅埋头在自己的一亩三分地，是难以领略大数据全部魅力的。它首先是超越行业的，一定会促使新的行业诞生，也一定会令一些行业消亡。几乎所有行业的竞争格局都将被大数据所颠覆。其次它是超越技术的，无论是开源的Hadoop，还是各厂商力推的新产品，都不足以反映大数据的全貌。作为投资人，或者公司的决策者，如果不能确立这是行业竞争的战略要地思维，则不足以妄谈大数据。

以企业在线服务市场为例，这个看起来很朝阳的产业，并没有在中国取得引人瞩目的成长。国内最大的几家公司，营业收入大约在1 亿元左右。前段时间和业内人士辩论能否免费为企业提供在线服务。大多数业界人士认为企业市场与个人市场不同，企业客户担心免费服务的质量，不收钱人家反而不敢用云云。事实上，我看到已经有公司免费为企业提供在线的企业管理服务，其盈利模式变成为他的在线客户提供金融贷款业务。在线业务加小额贷款服务已经成为极具颠覆性的商业模式，这种商业模式如果进展顺利，传统的在线服务商，将面临行业性的灭顶之灾。这种新模式，其核心竞争力体现在拥有大量的、真实的客户运营数据。借助对这些数据的收集分析，预测客户的运营风险，最大限度的降低借贷违约风险。阿里巴巴公司刚刚提出的平台、数据、金融的战略，则是大数据前景的最佳诠释。

广告产业将重新洗牌。大家都知道广告预算至少有一半被浪费掉，可悲的是不知道浪费的是哪一半。借助大数据，广告将变得及时和精准，而且能够评估量化每个渠道的广告效果，看起来具有非常诱人的前景：广告主大大节约资金，消费者得以避免垃圾广告的骚扰。理论上，如果大数据技术得到充分运用，那么我们每个人将不会收到垃圾信息。在日常消费中，冲动型的购买决策越来越普遍。商家必须在消费者最感兴趣的时候，及时触发刺激消费者的购买欲望。离开大数据的支持，这种精准的营销则难以实现。

制造业将重新定义核心竞争能力。在制造业发展的不同阶段，其核心竞争力是不同的。在发展初期，产品质量是非常重要的因素，就是能够做到人有我优。这个阶段的关键资源是拥有先进的生产设备。产品同质化后，对于渠道的掌握和控制成为生命线，关键资源是优质经销商队伍。当渠道成熟到一定的阶段，谁能掌控终端，谁将占据竞争优势，关键资源终端营销团队。考察制造业关键资源的迁移，我们发现它逐渐向最终用户端迁移。换句话说，谁能掌握最终用户，谁就能笑傲江湖。这方面例子还有很多，各行各业都不在少数。对此本章不在赘言，后续章节均有详细描述。

第四，唯技术论。大数据是一种思考方式，和有没有数据、数据量的大小、使用什么技术，不存在严格的正相关。没有最新的技术，也可以通过数据资产来获利；即便拥有最先进的技术，缺少数据思维，没有数据资产，往往也徒劳无功。不能单纯的认为只有哪些围绕hadoop（泛指大数据技术）开发的新兴公司，才是大数据公司。也不能认为没有技术的就不是大数据公司。相反，在大数据领域，那些拥有稀缺性数据资产的公司，往往可以指点江山，独领风骚。大数据既不等于数据挖掘也不等于统计分析，更不等于人工智能。但是这些技术和算法都需要大数据的支持。使用同样的算法，如果利用全部的数据集，而非小样本量，甚至得出截然不同的结论。这就是大数据的魅力。他可以在宏观尺度上把握潮流，也可以在微观颗粒上预测未来。

数据治理缺位

数据割据、数据孤岛和数据质量，是典型的三大数据治理问题。

因为制度、地方主义、部门主义等人为因素造成数据分散的现象，我称之为“数据割据”；因为技术差距、历史遗留问题等形成的数据分散的现象，称之为“数据孤岛”。数据割据现象更多存在于国家各部门、各地方之间；大型企业内部也会存在数据割据现象。譬如气象部门详尽的天气观测数据，是研究大气规律、做天气预报的第一手资料。但是这些数据因为各种各样的原因在气象局那里睡大觉。理论上讲，科学院的大气物理研究所是可以拿到这些观测数据的，否则，大气所的科学家们怎么支持气象局的工作啊？根据“有关部门的有关规定”，大气所的确也能够接触到这些数据。但实际操作中，要拿到些有用的数据，不拖个半年是不行的，而且就算到手了，也是鸡零狗碎的，没什么用途。这就是典型的“数据割据”现象。

有家公司专门为淘宝网上的商家提供在线的服务。这些服务需要淘宝开放数据接口。早期，如果不使用淘宝提供的服务器是没有任何障碍的，但现在这项服务有50%的时间是无法连通的。我们自然无权指责淘宝的经营策略，但这种因先发优势进而形成数据割据的局面，的确令人担忧。

美国政府在消除数据割据方面可谓用心良苦。除了系统性的提出国家层面的数据战略外，一些做法也值得借鉴。具体方法参见本书第三部分的详细介绍。

我国政府面临更加严峻的数据割据困境。数据保护主义不过是部门保护主义在信息领域的延伸而已，必须出台国家级别的顶层设计，由上而下地破除阻碍数据分享的藩篱，并建立数据共享，成果分享的利益分配机制，才有望从根本改善数据割据的问题。

数据质量的好坏，直接影响数据资产的价值。数据质量主要包括数据的真实性、完整性、一致性。数据质量的解决非一日之功，需要技术、制度、文化等等方方面面的努力。如果把数据认认真真的当成资产对待，数据质量，就是需要面对的第一个问题。

数据资产的界定与安全

随着数量越来越多的数据被数字化，在跨越组织边界而流动着，一系列政策问题将会变得越来越重要，这包括但不限于隐私、安全、知识产权和责任。显然，随着海量数据的价值愈加明显，隐私是个重要等级（尤其是对消费者来说）不断提高的问题。个人数据（例如健康和财务记录）经常能够提供最重要的人类福利，例如，帮助精准确定适当的医疗或者最恰当的金融产品。然而，消费者也将这些类别的数据视为最敏感的个人隐私。显然，个人和其生活所在的社会将不得不努力在数据隐私和数据的功用之间权衡取舍。

另一个密切相关的担忧是数据安全，例如，如何保护竞争方面的敏感数据或应保持隐私的其他数据。最近的例子表明，数据被盗不仅暴露消费者个人信息和企业保密信息，甚至还会暴露国家安全秘密。鉴于严重的数据被盗事件有增无减，通过技术和政策工具解决数据安全问题将成为关键。

海量数据日益提升的经济意义也昭示了一系列法律问题，尤其是当其与如下事实联系起来时：即数据与许多其他资产具有根本性的差异。数据可以与其他数据结合起来完美而轻松地复制，同样一份数据可以由多个人同时使用。这些是数据与实体资产相比的独有特征。有关数据所附带的知识产权的问题不容回避：何人“拥有”某份数据，某一数据集附带着何种权利？数据的“公平使用”的定义是什么？此外，还有与责任相关的问题：当一份不准确的数据导致负面结果时谁应负责？要充分发挥海量数据的潜力，此类法律问题需要澄清，也许会随着时间的推移逐步澄清。

缺乏大数据人才

就算政府和企业界认识到大数据可以释放经济的下一波增长潜力，认识到数据资产是关乎企业未来的命脉。但是如果想要成功运用大数据技术，达成企业战略目标，最大的制约因素往往是大数据人才的匮乏。这一点已然成为推广利用大数据技术的阿喀琉斯之踵不过许多高校近期的举动令人欣慰。北京大学、上海交通大学、中国人民大学、北航等高校都在设立数据科学的专门研究机构和相关专业，未来，也许数据科学家将成为令人尊重的职业。

----------------

关注作者：@赵国栋TMT  http://s16/mw690/537e497atd8ea013cdc3f&690