3.5.1.1 灌区前置库
安地灌区前置库的定位是通过充分借鉴当前业界的数据中心的建设实践经验,从安地灌区自身的核心需求出发,从垂直业务数据入手,打通从数据汇聚、数据治理、数据交换与共享到数据API共享服务的工作全流程,建设合理且符合安地灌区需求的前置库。安地灌区前置库建设内容及架构如图3-9所示。

图3-9 灌区前置库架构图
(1)数据汇聚
①已建数据接入:对已建梅溪、安地水库系统中的自动化控制、水雨情监测、视频监视、流量监测、安全监测等各类实时系统的数据,按照通信协议要求进行统一采集处理,并按标准接口要求写入数据仓,为后续系统提供数据支撑。
②感知数据汇聚:感知数据汇聚系统是水利数据利用承上启下的重要一环,水利领域前端感知和控制设备类型较多,各设备的通信协议有所不同,通过构建统一的感知数据汇聚系统,适配设备的异构性,整合基础感知控制设备资源,实现数据的高效传输,防止数据的丢失、重传,最终实现“链路切换自动化、协议解析通用化、参数调节动态化、健康检查智能化”,为上层业务系统开发提供基础支撑。
③视频数据汇聚:视频数据汇聚系统采用多媒体网关技术和视频编解码技术,对安地灌区中存在的视频资源进行汇聚监管,系统接收视频汇聚、视频分发及存储设计,最终实现灌区水利视频数据的共建共享、集中管理和统一调度,实现不同设备及系统的互联、互通、互控,为上层业务系统开发提供基础支撑。
④遥测数据汇聚:遥感监测对天空地一体化进行数据获取,通过几何处理、辐射处理、云影检测有效合成规范化、标准化的海量影像数据,利用遥测数据汇聚系统结合高性能计算技术,对海量影像数据按系统建立的统一标准进行处理,处理后的多方数据集中至中心平台,再以统一标准对外提供数据服务,使遥测数据按一定业务规则成为可复用的信息资源服务。遥测数据汇聚系统在实现数据的高效传输汇聚,防止数据丢失、重传的同时,也避免大量的遥测数据产生堆积,从而实现遥测数据的共建共享、集中管理和统一调度,真正实现遥感监测的大数据价值。
(2)数据治理
制定和落实数据责任制度,形成上下级联动的数据责任机制,规定具体数据的建设、更新机制和责任机构、责任人,实现“应用更新数据、数据支撑应用”的良性循环。
按照水利信息资源相关标准规范要求,定制开发数据抽取、清洗、转换、融合、加载流程,将原始分散、重复、低质量的数据,治理成为格式统一、类型统一、单位统一、编码一致、逻辑一致、数源清晰的高质量数据集。(https://www.daowen.com)
(3)数据交换与共享
开展数据资源目录整理及维护、基础数据管理与维护、数据共享交换等工作,对数据资源目录保持统一规范。建立数据共享交换系统,提供元数据目录、异构数据库复制、实时同步、交换整合以及跨网络远程通道传输服务等一体化功能,实现数据复制、数据同步、读写分离、数据迁移、数据归档卸载、数据汇聚整合、数据分发、数据服务等应用场景,为水利业务提供省、市、县三级数据共享交换,打破“数据壁垒、信息孤岛”等滞后现象。浙江省水利厅对数字水利工程的建库要求如图3-10所示。

图3-10 浙江省水利厅对数字水利工程的建库要求
(4)数据服务
在数据库的基础上,将具体的数据需求从数据库中进行抽象、提取,形成标准化、共享化的数据集,向应用层提供统一的数据服务。根据数据模型,将数据组件按业务需求重构,以统一服务的方式传输给应用系统。数据服务支持统一访问、目录服务、订阅服务、报表服务、多维分析、数据挖掘等功能。
(5)大数据分析
大数据分析对多源数据进行大数据统计分析和大数据智能挖掘,为平台进行数据赋能。本项目将研究建立大数据分析模型体系。
大数据分析服务:通过对数据仓中的灌区数据进行相关分析、回归分析、时间序列分析、聚类分析和判别分析等,实现预测、预警的目的。
大数据智能挖掘服务:对数据仓中的灌区数据进行神经网络挖掘、决策树挖掘、遗传算法挖掘、模糊集挖掘和关联挖掘,通过分析模型的构建,实现模型的自我学习,达到智能分析决策的目的。