标签:
scws分词中文分析词频 |
分类: ExcelVBA程序 |
Excel词频分析工具
http://s15/mw690/82955eaegd52f04ed219e&690
中文分词
SCWS是Hightman开发的一套基于词频词典的机械中文分词引擎,它能将一整段的汉字基本正确的切分成词。采用的是采集的词频词典,并辅以一定的专有名称,人名,地名,数字年代等规则识别来达到基本分词,经小范围测试大概准确率在 90% ~ 95% 之间,已能基本满足一些小型搜索引擎、关键字提取等场合运用。
现在这个【Excel词频分析工具】是利用SCWS分词引擎所开发的一个Excel版的轻量级的在线词频统计分析工具,可以对文本文档中的中英文文字内容进行快速语义分词,统计词汇的出现频次,进行TF-IDF排名,并可显示词语的词性。
有关SCWS分词引擎的另一款Excel工具,中文语义分词自定义函数,可以参考《【中文语义分词工具】小程序》一文。
此工具需要联网,需要启用宏,有关启用宏的方法可参考:
工具使用方法很简单,打开Excel工作簿,在启用宏并且在线联网的情况下,第一步点击【开始使用】按钮
http://s14/mw690/82955eaegd52f082307fd&690
第二步,在出现的【选项】对话框中设定选项,选项内部包含两部分。
第一部分是可以指定仅针对某一部分词性的词语进行统计,例如勾选“名词”和“动词”,就将只对这两类词语进行词频排名统计,而忽略其他词语。如果8个复选框全部留空不勾选,则默认会对所有类型的词语(包含这八种词性以外的词语)进行统计。
第二部分是可以设定排名显示的数量,范围在1~100之间,最多可以显示排名前100名的词语。
这里的排名指的是TF-IDF排名,而并非单纯是词语出现次数的排名。
http://s8/mw690/82955eaegd52f0a3ab4e7&690
第三步,需要在电脑中指定需要进行分析的目标文档,这个文档的类型必须是文本文档,可以事先将需要分析的文字内容放置在文本文档中。
http://s4/mw690/82955eaegd52f0c450603&690
上述步骤完成之后,就会立即在Excel当中显示结果。结果包括一份排名表格,其中显示TF-IDF排名、词语、词性以及词频(词语出现次数)。还会有一份条形图显示排名前10位的词语。
http://s6/mw690/82955eaegd52f0e0bd6b5&690
图中的示例文件来自于柴静在北京记者协会演讲比赛中讲话内容,来源于http://yanjiang.baike.com/article-50235.html
这个工具跟专业的分析工具相比还是有些差距,但还是适合一些轻量级的小应用,比如分析一下博客、论文或聊天记录,分析某个著名演讲或工作报告等等,娱乐性和实用性兼备。
此工具依托于http://www.xunsearch.com/scws
如果服务器功能改变或因访问量太大而停止响应,此工具的功能将受影响。欢迎有志者提供长期稳定的分词引擎资源。