细说大数据的特征——价值
(2012-06-06 15:35:17)
标签:
bigdata大数据财经国金证券互联网投资行业观察 |
分类: 行业观察 |
近期“互联网女皇”Mary Meeker在2012年互联网发展趋势中,用一幅生动的图像来描述大数据。一张是整整齐齐的稻草堆,另外一张是稻草中缝衣针的特写。寓意通过大数据技术的帮助,可以在稻草堆中找到你所需要的东西,哪怕是一枚小小的缝衣针。
这两幅图揭示了大数据技术一个很重要的特点,价值的稀疏性。在很多资料中,以及一些专家在论坛上讲演时,都提到4个“V”的概念,其中一个V就代表“价值”。毫无疑问,大数据是有价值的。但是这个价值本身如同稻草中的那枚针一样。有,但稀缺。
价值的不确定性。有些数据对这个工作有价值,但对哪个工作来讲可能就是垃圾。譬如,我的电脑了保存了大量的照片,有的是沿途的风景,有的是儿子调皮捣蛋的神态。如果我打算制作一份电子游记,许多的儿子的照片,大多没有用途。但是如果把孩子照片做成电子相册,作为他儿童节的礼物,那么风景照就是多余的。
视频监控产生的录像,大多数的帧是没有用的,不幸的是我们无法知道哪些帧是无用的。如果恰好有人偷盗,那么其中的一帧图像,足以指正罪犯了。但是我们无法事先知道哪一帧有价值,正如我们无法预料谁将实施偷盗一样。所以为了这一帧特定的图像,必须要保存所有的原始录像资料。这就是为什么大数据需要巨量存储的原因。
价值的多样性。原始的数据资料,其用途是多方面的。正如脚下的土地,可以用来建设高楼大厦,也可以用来种植五谷杂粮。Google Earth是典型的例子。当把每寸土地都用数字的形式存储起来,的确,我们可以用它来导航,也可以用来标注分享我们曾经到过的每一个地方。商业社会里,超市的购物记录,突然变得炙手可热。清清楚楚的记录了每个人,购买的每件商品。超市当然可以它用来改善供应的品类、货架摆放,厂家也可以用以改进生产,降低库存,优化供应链。商家和厂家各取所需,使用的同一批数据,但关注的是不同的属性。
正是大数据的价值具备稀疏性、多样性和不确定性的特点,所以如果想要充分发挥大数据的价值,首先要做到的,就是保存全部的数据。这是很大的挑战。根据计世资讯的统计,中国企业500强中,4.9%的公司,每天产生的数据超过1TB,12.2%的公司,每天产生的数据超过500G。而刚刚挂牌的Facebook,每周新增图片容量约60TB,图片总量约2600亿张,已超过20PB。因此,数据存储这个行业风生水起。海外的EMC股价一直高企,同时也是大数据最积极的倡导者之一。