机器学习03自然语言预处理段落句子分割
1. 目的在自然语言处理中，很多时候会有冗长的段落，而很多时候，我们需要的只是句子。现实生活中，譬如我们想做一个把长评论拆分成无数个句子的小弹幕，我们就需要这个模块来完成。第二个例子是我们训练词嵌入模型的时候，也需要将段落进行句子的切割。 下面我会来利用SPACY和NLTK的库来完成这个模块。2.代码块# -*- coding: utf-8 -*- ''' Created on Tue Feb 1
1. 目的在自然语言处理中，很多时候会有冗长的段落，而很多时候，我们需要的只是句子。现实生活中，譬如我们想做一个把长评论拆分成无数个句子的小弹幕，我们就需要这个模块来完成。第二个例子是我们训练词嵌入模型的时候，也需要将段落进行句子的切割。 下面我会来利用SPACY和NLTK的库来完成这个模块。2.代码块# -*- coding: utf-8 -*- ''' Created on Tue Feb 1
