教育数据处理是教育大数据的核心环节

教育数据处理就是对数据进行清理，即抽取、转换和加载等处理，形成学习记录数据，并存储在学习记录数据仓库中。该环节主要包含数据整合和数据存储，其中数据整合是指通过高质量的数据整合方法对数据进行加工处理，并在尽可能保留原有语义的情况下去粗取精、消除噪声，从全局的角度保证数据的一致性和相关性。数据存储系统是所有数据的集中存放地，主要用来存放各种结构化、半结构化和非结构化的历史数据、预测数据、汇总数据以及需要共享的数据等。教育大数据的存储系统不仅需要以极低的成本存储海量数据，还要适应多样化的非结构化数据管理需求，具备数据格式上的可扩展性。数据处理的结果将直接影响挖掘算法产生的规则和模式，数据处理主要包括数据选择、数据清洗和数据转换。

教育数据处理是教育大数据的核心环节。(https://www.daowen.com)

虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效分析，还是应该将这些来自前端的数据导入一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，以满足部分业务的实时计算需求。数据处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

教育业务具有较强的差异性和灵活性，因此需要根据教育数据的类型和具体的分析目标，灵活选用或改进数据处理的算法模型。

数据选择的目的就是确定数据挖掘任务所涉及的操作数据对象（目标数据），也就是根据数据挖掘任务的具体要求，从相关数据源中抽取与挖掘任务相关的数据集。数据清洗通常包括消除噪声、遗漏数据处理、消除重复数据和数据类型转换等处理。数据转换的主要目的是消减数据集合和特征维数（简称降维），即从初始特征中筛选出真正与挖掘任务相关的特征，以提高数据挖掘的效率。