文章目录

• 前言
• 一、文本分析流程与分词
• • 1.文本分析流程
  • 2.分词工具的使用
  • 3.最大匹配算法
  • 4.考虑语义的一种分词方法
• 二、停用词与词的标准化
• • 1.词的过滤
  • 2.词的标准化
• 三、拼写纠错
• • 1.拼写纠错与编辑距离
  • 2.循环词库的问题及改进
• 总结

前言

本文主要介绍了NLP中的基础任务──文本处理，包含了文本分析流程与分词、停用词与词的标准化、拼写纠错。

一、文本分析流程与分词

1.文本分析流程

就像其他的领域有自己的经典流程一样，一个文本分析的项目也有属于自己的流程。虽然每一个NLP项目有所不同，但至于流程来说没有太多本质的区别。这里会涉及到如分词、停用词过滤、文本向量的转化等步骤。一个典型的文本分析流程如下：