CRF进行中文分词实操

在ubuntu下进行操作，自己写了个简单的预料。

​​ 我 爱 北京 天安门 
天安门 上 太阳 升
伟大 领袖 毛主席
带领 我们 向 前 进 ​​

这个和CRF格式差距比较大，所以使用hanlp提供的工具首先进行转换。

​​from pyhanlp 
     import 
     * 
     
CRFSegmenter 
     = JClass( 
     'com.hankcs.hanlp.model.crf.CRFSegmenter') 
     
CRFLexicalAnalyzer 
     = JClass( 
     'com.hankcs.hanlp.model.crf.CRFLexicalAnalyzer') 
     
segmenter 
     = CRFSegmenter( 
     None) 
     
segmenter.convertCorpus
    ​​

在ubuntu下进行操作，自己写了个简单的预料。

​​ 我 爱 北京 天安门 
天安门 上 太阳 升
伟大 领袖 毛主席
带领 我们 向 前 进 ​​

这个和CRF格式差距比较大，所以使用hanlp提供的工具首先进行转换。

​​from pyhanlp 
     import 
     * 
     
CRFSegmenter 
     = JClass( 
     'com.hankcs.hanlp.model.crf.CRFSegmenter') 
     
CRFLexicalAnalyzer 
     = JClass( 
     'com.hankcs.hanlp.model.crf.CRFLexicalAnalyzer') 
     
segmenter 
     = CRFSegmenter( 
     None) 
     
segmenter.convertCorpus
    ​​