加载中…
个人资料
  • 博客等级:
  • 博客积分:
  • 博客访问:
  • 关注人气:
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
正文 字体大小:

中国离“啤酒与尿布”还有多远?

(2007-09-19 10:30:01)
标签:

it/科技

olap

数据仓库

数据挖掘

商业智能

决策

分类: 数据分析
自从“啤酒和尿布”的故事在中国广泛流传之后,数据仓库在中国也热闹了一阵子,我们曾对它抱以极大的希望,但时隔不久数据仓库应用就进入了“冬眠期”?数据仓库技术在中国的应用受到了哪些因素的制约?
 
数据仓库是在数据库基础上发展而来的,它通常有三个部分:数据仓库(Data Warehousing)、联机分析处理(OLAP)及数据挖掘(Datamining),它们之间具有极强的互补关系。
 
1、市场环境压力大小决定数据战略时间迫切程度
 
数据仓库是为了满足人们在高度数据积累基础上进行数据分析的需要而产生的,但由于目前中国在基础数据的积累方面存在不足,导致数据仓库技术的应用没能推广开来。这种技术如何被多数人所接受呢?而不至于被认为是“只为报表而存在”。我认为要使数据仓库被多数人接受,首先需要解决的问题就是数据挖掘技术如何与现有商业技术的结合。
 
目前市场上已有多种适用解决所有商业模式的通用数据挖掘系统,但实际上这些系统极其不好用,只有那些非常熟悉数据挖掘技术的人才能够理解和使用它们,而普通用户是很难应用这些技术来解决自己的商业问题。
 
但数据战略最大的屏障则是企业中竞争意识、服务意识不强,对于决策分析的需求不迫切,或只是挂在嘴上,没有实际的实施可能。其深层的现象是,目前企业没有建立起一个管理机制来推动数据的共享,不论是对人的能力、企业的组织制度还是数据质量都没有一个连续的管理机制,要在这样的基础之上建立好用的数据分析是非常困难的。
 
实际上,在国外市场竞争非常激烈,每个企业为了自身的生存,已经想尽了办法,很多能够被人工发现的规律早就发现了,在这种情况下,使用数据挖掘技术来解决问题是一个很正常的想法。而国内企业,正处于传统经济转向到市场经济的浪潮中,从管理者、到实施者均尚没有认识到“生存”的真正压力,小小的“聪明”就能“博出位”。
 
2、数据挖掘远非听起来这么简单
 
数据挖掘工具并不能直接告诉决策者应该把啤酒和尿布摆在一起卖。实际上,数据仓库之上的数据挖掘更像一个过程,一个用户逐步认识自己、提高自己的过程,数据仓库与业务系统并不是平行的关系,它应该是基于所有业务系统之上的,对业务信息进行采集、分析、整理和发布等,应该是一个稳定的、带有时间参数的数据集合。
 
数据仓库是企业进行数据分析的基础,它的主要工作是将数据库中的原始数据进行归纳整理,聚集成一个可供高层次使用的数据集合。在数据仓库的基础上有两类分析工具,一类是做分析型工作的OLAP,另一类是做预测型工作的数据挖掘。所以,数据仓库最大的客户应该是企业的商业智能部门,或以商业智能为中心的数据营运分析中心。
 
我们总是希望自己能在企业数据中,发现像“啤酒和尿布”这样具有关联性的规律,并为企业创造价值,但目前这套技术体系,无论在中国还是在世界其他国家,应用都受到一定制约,最主要的原因是,你不是一个数据库专家、统计学专家以及人工智能专家,你将很难用好这样的分析工具。
 
3、数据仓库与数据挖掘商用价值趋向
 
从先进国家的经验中我们发现,联机交易处理系统(OLTP)和企业数据信息网两项信息化基础设施是必备的信息技术条件,竞争环境越激烈就越需要数据系统,企业需要了解客户的需求、需要发现经营风险同时还需要进行经营分析和管理,所有这些分析都属于大数据量的分析,采用传统的信息技术将会产生很多局限性,必须依靠一个TB级的数据仓库系统才能解决以上问题。
 
我个人一直找思考,数据仓库之上的BI应用,思考数据仓库与数据挖掘的商业应用方向,数据仓库并不能直接告诉决策者应该把啤酒和尿布摆在一起,所以企业不能将所有的“宝”都压在数据仓库上。如果说数据仓库是一支好“枪”,那么决策者就应该是“玩枪的人”。
 
数据仓库中有两大类的应用,分别是在线分析和数据挖掘,在线分析侧重于对所有事务进行多角度的展现,而数据挖掘则侧重于对事务中蕴涵的未知规律进行发现。从业务上看,两者都可以用来发现和总结规律,一种是通过验证某些猜想来发现规律,另一种则是通过数据来找寻隐含的未知规律。
 
数据挖掘的成功取决于对数据的合理处理及算法,它并不是对任何规则都能够去发现的万能工具,所以使用者对自己的业务越熟悉,就越能够给数据挖掘提供完善的帮助和指导,盲目地使用数据挖掘,或是与OLAP的排序统计概念混淆,只能留下对数据挖掘技术的遗憾。

0

阅读 收藏 喜欢 打印举报/Report
  

新浪BLOG意见反馈留言板 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

新浪公司 版权所有