您现在的位置: 365建站网 > 365文章 > 盘古分词小测

盘古分词小测

文章来源:365jz.com     点击数:794    更新时间:2009-09-18 10:27   参与评论
    今天在博客园看了 一个开源的分词 软件 “盘古分词”。下载下来后,发现是vs 2008 版本的,花了点时间转换成 2005格式的版本。
编译了以后,跟踪了一下代码,代码应该是高手写的,非常的清晰。只是因为没有文档,时间有限,不能深入研究它的算法。基本的算法是这样的:
比如句子:“盘古分词 简介: 盘古分词 是由eaglet 开发的一款基于字典的中英文分词组件”
先根据 非中文符号,对句子进行切分,如下:
盘古分词/ /简介/: /盘古分词/ /是由/eaglet/ 开发的一款基于字典的中英文分词组件
然后,对上面的每个部分进行 切分,切分的算法没有仔细看,估计是最大正向匹配,应该不是统计分词的算法。
在这个过程中,还对人名进行识别。人名识别,用的不是统计方法,具体的没有仔细看。

    现在分词中,准确率最高的是 统计分词,google 的分词 按照其员工 吴军 的说法就是统计方法。所以我估计盘古分词的准确率不会很高。

比如下面的句子:邓颖超生于1916年
我用中科院的分词 分出的结果是 邓颖超/生于/1986年/,是对的。
用盘古分词的结果是 邓/颖/超生/于/1916/年/ 不是很准确。

 盘古分词的字典算法是用汉字的第一个字做索引,字典大起来的话,可能效率不是很高,这里可能要改进一下。

 机械分词最好的(我测试过的,个人感觉) 
 http://www.ftphp.com/scws/demo/v4.php  这个项目也是开源的,字典非常大,估计用了40万字,它的字典算法非常的好,用的是 平衡二叉树。

盘古分词如果要精度更高,个人认为提高字典的速度和质量是一个方法,添加一本30万字以上的字典。一般来说,机械分词的准确性,主要决定于字典。
    
   

如对本文有疑问,请提交到交流论坛,广大热心网友会为你解答!! 点击进入论坛

发表评论 (794人查看0条评论)
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
昵称:
最新评论
------分隔线----------------------------

快速入口

· 365软件
· 杰创官网
· 建站工具
· 网站大全

其它栏目

· 建站教程
· 365学习

业务咨询

· 技术支持
· 服务时间:9:00-18:00
365建站网二维码

Powered by 365建站网 RSS地图 HTML地图

copyright © 2013-2024 版权所有 鄂ICP备17013400号