文本挖掘与学习分析

网络愈发频繁使用，特别是自媒体越来越多，从数据的大海中找到同一类信息变得越来越重要，而人工完成几乎不可能，所以，文本挖掘就应运而生。(https://www.daowen.com)

文本挖掘与我们的生活息息相关，当然，这少不了编辑人员的作用，但是在众多网络信息中，要寻找到热点，离开机器的作用几乎是不可能完成的。还有最近一款非常热的App，“今日头条”，其实也是文本挖掘的应用。

文本挖掘在获取文本、对文本进行预处理等环节之后，会得到比较干净的素材，然后进入分析系统，现在针对中文分词，出现了很多分词的算法，比如有最大匹配法、最优匹配法、机械匹配法、逆向匹配法和双向匹配法等。我们经常用到的是中科院的分词工具ICTCLAS，该算法被众多科学家认定为当今中文分词中最好的，并且支持用户自定义词典，加入词典，对新词，人名和地名等的发现也具有良好的效果。然后去除停顿词，对文本进行词频识别，通过计算，对词进行排序，选取合适的词数当做特征。经过上面的步骤之后，就可以把文本集转化成一个矩阵了。我们能够利用各种算法进行挖掘，比如说如果要对文本集进行分类，我们可以利用KNN算法、贝叶斯算法和决策树算法等。