4.3.1.1 数据汇聚方案
根据《浙江省水利工程数据管理办法（试行）》要求，省水利厅信息化管理部门负责迭代建设水利数据治理工具，在现有统一数据管理等模块基础上，优化数据编目、数据共享等模块，拓展建设统一编码、数据归集、数据清洗、数据评价、数据安全等模块，全过程支撑省、市、县三级数据治理，其中，数据归集提供归集配置、任务调度、运行监控等功能。灌区将依托省级部门提供的水利数据归集模块，按照水利数据归集技术指南，以水利数据资源目录为基础，按需归集相应的水利行业数据。
数据汇聚是通过把各种异构网络、异构数据源的数据采集到灌区的应用数据库和感知前置库中进行集中存储，为后续的加工数据开发、数据治理等做准备。
（1）数据资源接入分析
数据来自业务系统、日志、文件、网络等。这些数据分散在不同的网络环境和存储平台中，难以利用，很难产生业务价值。因此，需要针对已经细化完成的数据资源目录，在明确数据来源的基础上，明确分析数据资源的接入方式，为数据的汇聚提供有利的基础支撑。
针对安地灌区实际业务需求，各类数据资源的接入主要包括：
①从省水利数据仓读入江河湖泊、水利工程、其他管理对象的数据以及实时水雨情数据；
②从当前灌区信息化系统读入监测站点等数据；
③从实时监控设备读取实时监测数据；
④与气象局、水文部门等单位共享交换信息；
⑤从人工填报系统读取信息；(https://www.daowen.com)
⑥从已整理完成的工程运行管理文档中读取信息等。
（2）数据归集和初始化
采用数据库同步、人工录入、离线导入、ETL、网络爬虫、抽取等方式，将数据归集、初始化至新建的灌区应用数据库和感知前置库。按归集的时效性来分，有静态批量汇聚和实时采集归集。水利行业的数据大多是静态数据，需要先存储到关系型数据库/数据仓库后，再进行各种查询和分析。除静态数据以外，还有很多数据对实时性要求非常高，如实时水雨情数据、闸站数据、视频监控数据、土壤墒情数据等。
（3）数据汇聚的主要步骤
数据汇聚主要通过在数据仓使用前置库和ETL工具，完成任务调度和汇集。数据汇聚的主要步骤如下：
①准备数据。明确数据归集需求并制定数据格式标准（符合水利数据仓规范）。生产系统生成归集数据。
②目录关联。确定待归集数据的标准、元数据信息、归集方式、归集要求，完成数据责任清单与资源目录的关联。
③应用数据库和感知数据前置库建表。完成应用数据库和感知数据前置库中相应库表的建设。
④数据入库。准备好符合应用数据库和感知数据前置库库表要求的数据，将数据同步导入应用数据库和感知数据前置库，并保证归集数据的实时性、完整性、准确性，及时反馈处理问题数据。
⑤归集数据。将数据同步至应用数据库和感知数据前置库，由交换平台完成相关库表的归集交换。