3.2.2 数据管理标准
大数据的核心价值体现不在于数据的量大,而在于数据的质量高,因此数据质量管理是大数据价值得以实现的必经之路。将数据作为组织资产而展开的一系列具体化工作,是对数据的生命周期管理。
要实现在同一数据平台上管理各电站的数据,各电站必须遵循相应的数据管理标准。
3.2.2.1 构建数据治理体系
为保证数据的质量,需要从组织架构、管理制度、操作规范、IT 应用技术、绩效考核支持等多个维度对公司的数据模型、数据架、数据质量、数据安全、数据生命周期等各方面进行全面的梳理、建设以及持续改进,接入平台的数据需要遵循这套体系,相应数据的管理按照标准执行。
构建的数据治理体系如图3-31所示。构建数据治理体系具体内容包括:
(1)建立电力公司及各电厂数据治理体系,包括数据管理组织、数据管理流程、管理制度规范、绩效考核体系以及安全架构体系5个方面。
(2)制订统一的资产数据、物料等的标准。
(3)制订元数据管理的方法和规范。
按照数据标准要求对存量数据进行清洗,并完成数据平台的初始化。
图3-31 构建的数据治理体系
3.2.2.2 数据治理体系架构
把数据治理贯穿到数据的全生命周期,除了需要在接入源头进行去重、格式校验和统计量审计等治理,还提供数据标准化管理组织、数据标准化管理流程、数据标准化管理制度、数据标准化绩效考核、安全架构体系5部分。
1.数据标准化管理组织
数据标准化管理组织结构表见表3-3。
2.数据标准化管理流程
数据标准化管理流程通过对数据管理流程的制定,结合数据管理平台的功能可以实现数据的申请、审核、校验、生成、发布、变更、维护、核销的全生命周期管理。
表3-3 数据标准化管理组织结构表
数据标准化流程的制订主要包括以下内容:
(1)明确数据类型和范围,结合实际业务情况和企业管理制度明确数据产生源头,从而确认数据的归口管理部门。
(2)根据实际业务流程,明确构建数据标准化管理组织,设立数据管理岗位,明确岗位职责和工作内容。
(3)根据数据全生命周期管理,明确数据角色,包括数据申请人、审批人、发布人等,同时明确每类数据申请、审核、校验、生成、发布、变更、维护、核销的管理流程。
3.数据标准化管理制度
数据标准化管理制度是为了实现数据的唯一性和准确性,提高数据的科学性和规范性,确保数据质量,结合企业实际情况确定的管理制度。
数据标准化管理制度明确了数据标准化管理岗位和职责分工,明确了各岗位人员的工作内容,能够最大程度地约束岗位职责执行力度,保证数据的完整性、一致性和准确性,通过一整套定义和维护企业数据的规范、技术和方案,并借助信息化工具,对数据进行全面、实时的动态管理和控制。
数据标准化管理制度也是为了保证数据的正确性、实时性、精确性、完备性、相关性以及可访问性的质量而采取的控制方法和手段。
4.数据标准化绩效考核
数据标准化绩效考核指标是用来评估及考核数据相关责任人职责履行情况,数据管控标准及政策执行情况的参考。目的是通过定量或定性的考核指标来确保数据管控标准及政策的切实执行,加强对数据管控相关责任、标准与政策执行的掌控能力。
建立数据质量控制体系,确认质量控制流程,确立数据长期运维模式,可实现数据的持续性治理,稳定保障数据管理机制的可靠运行。
建立数据监督和数据质量评价体系和指标体系,可量化数据考核,对数据的创建、变更、销毁过程实现质量管控。
5.安全架构体系
按照信息安全等级保护管理办法以及电力数据安全管理相关标准,建立清洁能源行业数据安全等级划分方法,并制定各安全等级的数据安全防护机制和策略,包括安全管理制度、组织、技术和预案等。
建立总体安全策略,如基于身份的安全策略、基于角色的安全策略、基于规则的安全策略等,保障系统能够抵御黑客、病毒、恶意代码等各种形式的恶意破坏和攻击,实现清洁能源大数据创新平台的安全态势感知,保障清洁能源大数据创新平台的安全稳定运行。
面向系统运维及应用人员,建立完整的安全防护管理制度与手段保障,包括组织与人员保证、安全管理制度、安全技术规范、安全培训、安全考核、技术监督等。
3.2.2.3 元数据管理
元数据管理包括框架、分类、注册系统元模型与基本属性、数据定义、命名和标识原则、注册等的管理。
1.元数据基本概念
元数据是描述数据的数据,如果没有元数据,信息化系统中收集和存储的所有数据都会失去意义,也就失去了业务价值。
要想获得元数据的价值,需要根据建立的流程,在行业标准和最佳实践指导范围内管理元数据。元数据管理是一项和数据管理、数据治理一样重要的工作,因为元数据管理是这些准则的基础组件。不管理好元数据,就不能管理好数据。
元数据管理内容包括业务词汇表的发展、数据元素和实体的定义以及业务规则、算法和数据特征。
2.元数据管理规范
目前国际上元数据管理遵循的规范为公共仓库元模型 (common warehouse model,CWM)。该规范是由对象管理组织 (object mangement group,OMG)制定的,此规范的目的是在不同系统之间可以自由、便捷地交换元数据。CWM 的核心技术有三个,分别是统一建模语言 (united modeling language,UML)、元数据对象建模 (metadata object facility,MOF)和元数据交换文件 (XML metadata interchange,XMI)。UML主要用来定义元模型;MOF用来提供可操作的元数据接口;XMI用来定义交换元数据的机制,元数据规范如图3-32所示。
3.元数据管理模式
元数据的管理方式有三种,分别是集中式、分布式和混合式。
图3-32 元数据规范
集中式的管理方式是把原有系统中的元数据抽取出来,用一个独立的系统来集中管理。此类管理方式的优点是可高效存取信息,独立于被集成的系统,具备存储附加元数据的能力;缺点是由于额外的执行和维护降低了数据交互的实时性。
分布式管理方式是不具备独立的元数据存储库,系统实时连接到原有系统的管理方式。这种方式的优点是适时性比较好,能保证元数据的质量;缺点是过度依赖于集成系统和不能存储附加元数据。
混合式元数据管理既有独立的元数据存储库又可实时连接到原有的系统。混合式管理方式克服了集中式和分布式管理方式各自的缺点,同时集成了前两种管理方式的优点,既能适时捕获和反映原有系统元数据的情况,又能让用户扩展和定义附加的元数据。
3.2.2.4 数据应用标准制订
通过数据应用标准的制订可使各类清洁能源场站、不同设备在应用、控制服务中保持统一的应用呈现,保证设备在不同状态划分下能使用统一的标尺和维度进行对比、分析和应用。应用标准主要包括以下几个方面:
(1)制订清洁能源场站基础数据标准,包含清洁能源场站基础经纬度、类型、装机容量、设备型号等数据标准,保证基础数据的统一化应用。
(2)制订设备运行状态标准,将复杂的清洁能源设备状态标准化,提供应用显示的归类名称、颜色标志等相关标准。
(3)制订设备故障与报警的级别标准,当设备发生故障或报警时自动匹配级别序列,能够利用统一的故障级别告警机制实现设备故障报警的统筹管控。
(4)制订设备控制过程流程,当某控制指令是统一进行二次验密、遥控返校与遥控确认操作,并带有五防验证逻辑时,保证控制功能的标准化。
(5)制订应用安全防护标准,通过完善的用户安全认证防护与服务授权体系,防止用户窃取设备控制权限。
(6)制订数据测点命名标准,其既包括数据测点在界面呈现上用统一的命名规则显示,又包括数据测点底层数据命名的标准化,以此来实现系统内/外共享服务的数据ID 唯一性。
3.2.2.5 数据清洗和校验
在确定数据管理标准之后,需要按照标准对存量数据进行收集、清洗和发布。对增量数据应要求其符合数据标准,并在数据接入时或接入后,对数据进行校验、入库和发布。清洗和校验内容包括但不限于资产设备、物料等主数据,以及各类时序数据和业务数据。