机器学习03自然语言预处理段落句子分割
1. 目的在自然语言处理中，很多时候会有冗长的段落，而很多时候，我们需要的只是句子。现实生活中，譬如我们想做一个把长评论拆分成无数个句子的小弹幕，我们就需要这个模块来完成。第二个例子是我们训练词嵌入模型的时候，也需要将段落进行句子的切割。 下面我会来利用SPACY和NLTK的库来完成这个模块。2.代码块# -*- coding: utf-8 -*- ''' Created on Tue Feb 1
机器学习之利用NTLK作词文本预处理（一）
机器学习利用NTLK作词文本预处理（一）1. 文本挖掘文本挖掘是数据挖掘中非常重要的一个环节。现在很多的数据是以文本的形式储存在数据库里。文本可以流露出很多重要的信息。我们可以通过文本挖掘，了解比如一个YouTube的特别的视频里的所有评论里的有价值信息。所谓的数据挖掘，在我看来，就是一个把Raw Data转变成Valuable Information的过程。而在当今时代下，大量的文本信息就是ra
机器学习01-新手必看十大算法
机器学习新手必看十大算法本文介绍了机器学习新手需要了解的 10 大算法，包括线性回归、Logistic 回归、朴素贝叶斯、K 近邻算法等。在机器学习中，有一种叫做「没有免费的午餐」的定理。简而言之，它指出没有任何一种算法对所有问题都有效，在监督学习（即预测建模）中尤其如此。例如，你不能说神经网络总是比决策树好，反之亦然。有很多因素在起作用，例如数据集的大小和结构。因此，你应该针对具体问题尝试多种不
