北大开源全新中文分词工具包：准确率远超THULAC、结巴分词
·李瑞华（Ray） 技术文章 · 来源 baijiahao.baidu.com 原文 ↗
原文信息
北大开源全新中文分词工具包：准确率远超THULAC、结巴分词 ↗
自动摘要
百度一下 百度首页 登录 搜索 复制 北大开源全新中文分词工具包：准确率远超THULAC、结巴分词 机器之心Pro 2019-01-09 11:56机器之心官方账号 关注 选自GitHub 作者：罗睿轩、许晶晶、孙栩 机器之心编辑 最近，北大开源了一个中文分词工具包，它在多个分词数据集上都有非常高的分词准确率。其中广泛使用的结巴分词误差率高达 18.55% 和 20.42，而北大的 pkuseg 只有 3.25% 与 4.32%。 pkuseg 是由北京大学语言计算与机器学习研究组研制推出的一套全新的中文分词工具包。它简单易用，支持多领域分词，在不同领域的数据上都大幅提高了分词的准确率。 项目地址：https://github.com/lancopku/PKUSeg-python pkuseg 具有如下几个特点： 高分词准确率：相比于其他的分词工具包，该工具包在不同领域的数据上都大幅提高了…