计划方案怎么做 搜索引擎常用的中文分词的方法有哪些？

搜索引擎常用的中文分词的方法有哪些？

中文分词算法可以分为两类。A.第一类是基于字符串匹配，即扫描字符串。如果发现字符串的子字符串与单词相同，则视为匹配。这种分词方法通常会加入一些启发式规则，如“正向/反向最大匹配”、“长词优先”等。该算法具有分块速度快、时间复杂度O（n）、实现简单、效果可接受等优点。也有不足之处，即歧义和生词处理不好。b、 第二种是基于统计和机器学习。这种切分是基于人工标注的词性和统计特征，即根据观测数据（标注语料库）估计模型参数，即训练。在分割阶段，利用该模型计算各种分割的概率，以概率最大的分割结果作为最终结果。常见的序列注释模型有HMM和CRF。这种分词算法能够很好地处理歧义和未知词，分词效果优于前者，但需要大量的人工标注数据，分词速度慢。

计划方案怎么做 做方案的步骤 如何做一个好的方案

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。