如何进行数据采集

什么是数据采集？数据采集就是ETL工具将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换和集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器等形式）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此以外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。

大数据采集过程主要的特点和挑战是并发访问量高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时可达到上百万，所以需要在采集端部署大量数据库才能支撑，并且如何在这些数据库之间进行负载均衡和分片需要深入的思考和设计。大数据采集环节涉及的关键技术包括：数据源的选择和高质量原始数据的采集方法，多源数据的实体识别和解析方法，数据清洗和自动修复方法，数据演化的溯源管理，数据加载、流计算和信息传输技术等。(https://www.daowen.com)

根据教育数据的结构模型，不同层次教育数据的采集与生成方式、应用场景也有所不同。数据采集的难度从内向外逐步增加，尤其是行为层数据的采集最为复杂多变。对于传统的面授教学或者不使用技术工具的学习行为，很多数据仍无法采集。教育大数据采集方式与应用场景比较如表9-1所示。

表9-1 教育大数据采集方式与应用场景比较