教育大数据的技术体系框架

教育大数据的处理流程包括数据采集、数据处理、数据分析与数据呈现四个环节，教育大数据技术体系框架如图8-1所示。

图8-1 教育大数据技术体系框架(https://www.daowen.com)

该框架从下往上依次是：教育数据采集层、教育数据处理层、教育数据分析层和展现层。通过数据传输接口，数据采集层将采集到的各类教育数据传递给数据处理层，并通过数据整合、存储形成教育数据平台；基于该教育数据平台，分析层可实现教育大数据的分析与挖掘，并将分析结果通过数据接口传递给展现层。在这个框架中，安全与监控贯穿整个流程，以保证教育数据各个环节的安全性和可控性；标准与规范则是整个框架的基础，以保障各个环节之间以及整个系统教育数据的融通与共享。

教育数据与其他领域的数据比较起来，有一些独特的特征。总结起来就是教育数据是分层的（hierarchical）。掌握了不同层级的数据，就可以为身处不同层级的人提供相应的数据报告，帮助他们更好地认知在哪儿、知道什么以及能做什么改善（where they are，what they know，what they can do to improve），辅助更科学的决策。

为了保证大数据的可用性，首先必须在数据的源头上把好质量关，做好从原始数据到高质量信息的预处理。与传统教育数据相比，教育大数据的来源更加多样化，包括业务系统内部数据、互联网数据和物联网数据等，不仅数量庞大、格式不一，而且质量良莠不齐。因此，教育数据采集环节必须规范数据格式并进行初步预处理，以便于后续教育数据的存储、管理与应用。

教育数据处理环节包含数据整合和数据存储。数据整合是指通过高质量的数据整合方法，对数据进行加工处理，并在尽可能保留原有语义的情况下去粗取精、消除噪声，从全局的角度保证数据的一致性和相关性；数据存储是所有数据的集中存放，主要存放各种结构化、半结构化和非结构化的历史数据、预测数据、汇总数据以及需要共享的数据等。教育大数据的存储系统不仅需要以极低的成本存储海量数据，而且需要适应多样化的非结构化数据管理需求，具备数据格式上的可扩展性。教育业务具有较强的差异性和灵活性，因此需要根据教育数据的类型和具体的分析目标，灵活选用或改进数据处理的算法模型。