声明：转载请注明出处，谢谢：//www.greatytc.com/p/8d3993bce06b
另外，更多实时更新的个人学习笔记分享，请关注：
知乎：https://www.zhihu.com/people/yuquanle/columns
公众号：StudyForAI
CSDN地址：http://blog.csdn.net/m0_37306360
jieba分词
安装：pip install jieba
国内源安装更快：pip install jieba -i https://pypi.tuna.tsinghua.edu.cn/simple
导入jieba包
import jieba
全模式分词
wordseg_all = jieba.cut("我爱自然语言处理技术！", cut_all=True)
print("全模式: " + " ".join(wordseg_all))
Building prefix dict from the default dictionary ...
Dumping model to file cache C:\Users\yuquanle\AppData\Local\Temp\jieba.cache
Loading model cost 0.968 seconds.
Prefix dict has been built succesfully.
全模式: 我 爱 自然 自然语言 语言 处理 技术
精确模式分词
wordseg = jieba.cut("我爱自然语言处理技术！", cut_all=False)
print("精确模式: " + " ".join(wordseg))
精确模式: 我 爱 自然语言 处理 技术 ！
搜索引擎模式
wordseg_search = jieba.cut_for_search("我爱自然语言处理技术！")
print("搜索引擎模式:" + " ".join(wordseg_search))
搜索引擎模式:我 爱 自然 语言 自然语言 处理 技术 ！
SnowNLP分词
安装：pip install snownlp
国内源安装：pip install snownlp -i https://pypi.tuna.tsinghua.edu.cn/simple
导入snownlp包
from snownlp import SnowNLP
model = SnowNLP(u'我爱自然语言处理技术！')
print(model.words)
['我', '爱', '自然', '语言', '处理', '技术', '！']
THULAC分词
安装：pip install thulac
国内源安装：pip install thulac -i https://pypi.tuna.tsinghua.edu.cn/simple
导入thulac包
import thulac
默认模式：分词的同时进行词性标注
thulac_model = thulac.thulac()
wordseg = thulac_model.cut("我爱自然语言处理技术！")
print(wordseg)
Model loaded succeed
[['我', 'r'], ['爱', 'v'], ['自然', 'n'], ['语言', 'n'], ['处理', 'v'], ['技术', 'n'], ['！', 'w']]
只进行分词
seg_only_model = thulac.thulac(seg_only=True)
wordseg_only = seg_only_model.cut("我爱自然语言处理技术！")
print(wordseg_only)
Model loaded succeed
[['我', ''], ['爱', ''], ['自然', ''], ['语言', ''], ['处理', ''], ['技术', ''], ['！', '']]
NLPIR分词
安装：pip install pynlpir
国内源安装：pip install pynlpir -i https://pypi.tuna.tsinghua.edu.cn/simple
导入pynlpir包
如果发现加载报错，则需要更换license：https://github.com/NLPIR-team/NLPIR/tree/master/License/
真是开源的不彻底~~~
import pynlpir
打开分词器
pynlpir.open()
分词：这个工具会同时进行词性标注
s = "我爱自然语言处理技术！"
word_seg = pynlpir.segment(s)
print(word_seg)
[('我', 'pronoun'), ('爱', 'verb'), ('自然', 'adjective'), ('语言', 'noun'), ('处理', 'verb'), ('技术', 'noun'), ('！', 'punctuation mark')]
Stanford CoreNLP分词
安装：pip install stanfordcorenlp
国内源安装：pip install stanfordcorenlp -i https://pypi.tuna.tsinghua.edu.cn/simple
导入stanfordcorenlp包
from stanfordcorenlp import StanfordCoreNLP
先下载模型，然后导入
下载地址：
nlp_model = StanfordCoreNLP(r'stanford-corenlp-full-2018-02-27', lang='zh')
分词
s = '我爱自然语言处理技术！'
word_seg = nlp_model.word_tokenize(s)
print(word_seg)
['我爱', '自然', '语言', '处理', '技术', '！']
Hanlp分词
安装：pip install pyhanlp
国内源安装：pip install pyhanlp -i https://pypi.tuna.tsinghua.edu.cn/simple
导入pyhanlp包
from pyhanlp import *
s = '我爱自然语言处理技术！'
word_seg = HanLP.segment(s)
for term in word_seg:
print(term.word)
我
爱
自然语言处理
技术
！
另外，代码我已经上传github：https://github.com/yuquanle/StudyForNLP/blob/master/NLPbasic/WordSegmentation.ipynb
