KTDictSeg 1.4 开发了多元分词算法，其与lucene.net 配合构建全文搜索，经测试准确度接近google和baidu的水平。现将一些实现方法和测试结果公布出来，供关心分词和搜索技术的朋友们参考。

　　中文分词按照分词粒度来分，分成 一元分词，二元分词，多元分词和精确分词等类型。一元分词就是最简单的分词，将所有的中文字符按照单字形式输出。二元分词按双字形式输出。多元分词则是将一句话中可能的单词组合按照一定规则输出，允许输出的词有重叠。精确分词则是将一句话中最准确的单词组合输出，不允许输出的词有重叠。当然这里用精确这个词来修饰只是为了与其他几种分词方法区分，不可能有完全精确的分词方法，因为我们伟大祖国的语言实在是博大精深，分词本身缺乏标准（能否制定标准也是一个问号）一些中文句子就是由人来分解也可能分出不同的结果，所以到目前为止还没有100%精确的分词方法。

　　由于一元和二元分词较为简单，其分词的效果也不尽理想，这里不多讨论。

　　现在让我们看看精确分词。下面这句话：“许仙喝了口黄酒”，精确分词由于不能包含重叠的词，一般可以分成 许仙/喝了/口/黄酒，用这种分词结果构建索引，输入黄酒，可以搜到，但输入酒就无法搜到。而作为搜索用户，往往需要既能搜到黄酒也能搜到酒，google, 百度等著名搜索引擎就可以达到这种效果。我们自己开发的搜索引擎如果无法实现这种功能，用户体验就不会很好。为了解决这个问题，我们必须对中文句子进行多元分解，即分解出合适的组合，比如上面的句子，如果分解为 许/仙/许仙/喝/了/口/黄/酒/黄酒/喝了口/ 那么无论我们输入黄酒还是酒，我们都可以搜索到这条记录。

　　多元分词的缺点：

　　多元分词和搜索引擎结合可以得到较多的匹配结果，但同时也增加了索引文件的大小。另外由于将一些单词进行了拆分，搜索结果的排序会受到影响。比如搜索黄酒，多元分词后搜索的关键字组合为 黄+酒+黄酒，很可能会将只包含黄或者酒的记录排在包含黄酒的记录前面，这不是我们希望的结果。对于搜索引擎来说这个排序是很重要的，google,百度就靠这个吃饭的，如果这样瞎排，估计用户早就把他们抛弃了。事实上，他们做的很好。