数据分析方法和工具：传统与新兴

由于教育领域中的数据也逐渐呈现出大数据的“4V”特征，即数据量巨大（Volume）、结构化数据、半结构化数据和非结构化数据并存（Variety）、数据价值密度低（Value）、数据的产生与处理加速（Velocity），这就要求用到的学习分析技术是复杂多样的。

针对数据量巨大（Volume）的特点，可以采用分布式存储和计算方法，相应的工具有Hadoop、Spark、数据仓库以及各类商用大数据服务平台如阿里云、亚马逊AWS等。

针对结构化数据、半结构化数据和非结构化数据并存（Variety）的特点，可以采用词语切分、信息抽取等方法，相应的工具有各类自然语言处理工具如大数据搜索与挖掘开发平台。

针对数据价值密度低（Value），可以采用聚类、关联规则、决策树等数据挖掘方法，相应的工具有SQL Server Analysis Service （SSAS）、Weka、SPSS等。(https://www.daowen.com)

针对数据的产生与处理加速（Velocity）的特点，可以采用信息自动抓取的方法，相应的工具有各类网络爬虫软件（如火车头采集器）。

既有以往用于数据分析的典型技术和工具，又有因大数据分析应运而生的新技术、新工具。

在传统方法方面，涉及内容分析、话语分析、社会网络分析、系统建模等技术以及统计分析与可视化、聚类、预测、关系挖掘、文本挖掘等一系列数据挖掘方法。

在传统工具方面，包括主流关系型数据库如Oracle、Sql Server、Mysql，数据仓库如IBM公司提供的Visual Warehouse（VW）解决方案、Oracle公司提供的Oracle Express和Oracle Discoverer方案、微软公司提供的OLAP方案、Sybase提供的Warehouse Studio等；专门的数据挖掘工具，如SQL Server Analysis Service（SSAS）、Weka、SPSS；支持对原始帖子进行标注或编码、交叉引用和简短评论的工具包括Nvivo、Atlasti；支持基本的基于词典的文本分析的工具，如CATPAC、LIWC；专门的内容分析工具，如北京师范大学知识工程研究中心开发的智能化内容分析工具VINCA；专门的社会网络分析工具，如UCINET；用于系统建模的工具，如Coordinator系统建模工具。

在新技术和工具方面，主要有Hadoop技术架构以及与之类似的Spark技术架构。Hadoop是一个由Apache基金会所开发的分布式系统基础架构，Hadoop的框架最核心的设计就是HDFS和MapReduce，HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算。Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架，Spark拥有Hadoop MapReduce所具有的优点，但不同于MapReduce的是中间输出结果可以保存在内存中，从而不再需要读写HDFS。因此，Spark更适用于数据挖掘与机器学习等需要迭代的MapReduce算法。虽然Hadoop和Spark都是开源软件，但是普通用户难以完成相应的配置工作，一般都是借助已有的云计算平台如阿里云、Amazon Web Services（AWS）等购买此类服务。