4.3.1.2 数据治理方案
数据治理是基于数据生命周期，进行数据全面质量管理、资产管理、风险管理等统筹与协调管控的过程。数据治理需要解决数据权属关系问题，明确数据利益相关方的角色，明确其权益、责任关系和工作任务，避免数据风险，提高数据质量，确保数据资产能长期、有序、可持续地得到管理和利用。在信息技术视角下，数据治理指对数据进行管控、处置、格式化和规范化的过程。总的来说，数据治理是数据和数据系统管理的基本要素。数据治理涉及数据全生命期管理，无论数据处于静态、动态还是未完成状态，都需要进行治理。
按照水利信息资源相关标准规范要求，定制开发数据抽取、清洗、转换、融合、加载流程，将原始分散、重复、低质量的数据，治理成为格式统一、类型统一、单位统一、编码一致、逻辑一致、数源清晰的高质量数据集。依托省级部门提供的水利数据清洗模块，对归集至应用数据库和感知数据前置库的数据开展自动清洗，筛选出问题数据，并反馈至数据责任部门整改。修正后的数据需重新归集，确保入仓数据真实准确。数据治理主要包含数据清洗和数据可视化的管理两部分内容。
（1）数据清洗
数据清洗是为了发现并纠正数据中可识别的错误，是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并保证数据一致性。数据清洗包括检查数据是否存在冲突、处理无效值和缺失值等，如工程名称在多个表中不一致、行政区划缺失、日期无效等问题。
数据清洗是整个数据开发过程中不可缺少的环节，其结果质量直接关系到最终的数据分析结论，在整个系统中占据重要位置。数据清洗主要是建立一个数据清洗机制，对同步和汇聚到的数据进行实时分析和过滤，将异常数据保存在异常数据库中，将合规数据纳入数据仓。根据业务需求实际，设计完善数据清洗规则，并设计建设规则数据库，保证数据的完整性和正确性。
①规则配置
依据相关数据质量要求，结合灌区实际数据情况，制定数据清洗治理规则。主要可从姓名类字段、名称类字段、时间类字段、长度固定类字段、业务逻辑规范类字段等方面制定详细清洗规则。
②数据清洗
过滤不符合数据整合标准要求的数据，将过滤的结果交给提供数据的职能部门，确认是过滤还是由职能部门修正之后再进行抽取。不符合数据整合标准要求的数据主要有不完整数据、错误数据以及重复数据等三大类。
A.不完整数据。这一类数据产生的主要原因是缺失一些应有信息。对于不完整数据要将其过滤出来，按缺失的内容分别记入异常数据库，再按照相应的流程提交给提供数据的职能部门，要求补全。
B.错误数据。这一类错误是由职能部门手工录入错误或者业务系统不够健全，在接收输入后没有进行判断，直接写入后台数据库造成的，比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据需要分类，对于类似于全角字符、数据前后有不可见字符的问题，只能通过写SQL语句的方式找出来。
C.重复数据。对于这一类数据，特别是维表中出现的这种情况，将重复数据记录的所有字段导出来，让职能部门确认并整理。
③数据整合
数据整合是将不同来源的数据，经过清洗转换后变为统一格式，存储到数据仓，用于提供数据共享、数据分析等服务，支持界面化工作流调度。
同一数据资源存在多个数据来源时，需要进行数据整合。业务信息一般由数据责任单位确定一个数据源即可。数据整合主要针对基础信息，包括对象一致性匹配和字段匹配。
对象一致性匹配指对有不同来源的同一数据所描述的对象进行匹配，如水利工程的基本信息数据，需要匹配一个水利工程在多个数据源中的编码，从而确定数据在多个数据源中所在的位置。(https://www.daowen.com)
字段匹配指不同数据源匹配含义相同的字段，如在一个数据源中字段A的含义是工程规模，字段B的含义也是工程规模，这两个字段就可以建立匹配关系，然后确定字段的权威优先级。
匹配完成之后，在数据归集时，从多个数据源获取权威优先级最高的字段进入数据仓；在数据共享时，根据对象匹配关系，将数据仓的数据分发到正确的应用系统库表，并更新正确的字段。
④分析开发
数据分析开发的核心就是构建数据分析的逻辑。通过数据分析开发，可以快速创建计算任务，缩短开发周期。如将多个不同类型的任务组合成一个工作流，方便统一管理。
⑤质量评估
建立数据质量评估模型，从完整性、准确性、规范性、一致性、关联性、唯一性等多个维度对归集至水利数据仓的数据质量进行分析，自动生成数据质量评估报告。
（2）数据可视化的管理
经过数据资源现状普查和梳理、水利数据仓体系构建、数据资源归集后，灌区数据体系已经具备数据归集以及各种数据开发的能力。下一步需要针对数据建立数据资产体系，对数据进行可视化的管理。数据可视化的管理是针对数据模型、数据质量的管理。
①数据模型
数据模型是对数据平台的规范化。随着水利数据仓的长期运营和开发人员的变动，数据仓内的数据会逐渐变得不规范。传统的解决办法是采用人工经验加人工约定（口头约定或配套文档）的方式对平台内的表名做约束。
②数据质量
数据质量为数据正确性保驾护航。作为数据治理的一部分，数据质量的保障与提升是数据平台必备的。数据质量主要包括及时性、完整性、一致性、有效性、准确性。
③数据可视化的管理评价
建立数据评价模型，依托省级部门提供的水利数据治理工具——数据评价模块，从数据编目、数据归集、数据质量、数据更新等多个方面对数据进行综合评价，并按处室单位、业务类别、行政区域等多个维度进行分析展示。
建立数据监控大屏，可实时展示数据的编目、建库、归集、清洗、共享等情况。