(6)强化数据清洗环节的规范和标准,推动产业发展

更新于 2026年10月13日 版权声明
(6)强化数据清洗环节的规范和标准,推动产业发展

据统计,数据清洗在大数据开发过程中占用的时间比例高达60%以上。加快数据的标准化建设,减少数据清洗过程中的成本开销,已经成为我国大数据产业必须跨越的一道障碍。

第一,加快跨行业的数据标准统筹制定。行业的垂直建设,形成了多个行业之间、甚至一个行业内多个部门之间条块分割的数据资源。海量数据以各种形式分散于各行业、各部门,存在同类数据反复采集、数据标准和统计口径不统一等问题,给大数据开发带来了极大的挑战。因此,目前亟须制定跨行业的数据标准,规范数据的采集、录入、传输、处理等过程,加快海量数据的融合创新。

第二,贯彻数据方面的国家和行业标准。在一些行业,已经建立了数据录入、统计等国家和行业标准,对数据字典进行了规范。然而,很多企业为了维护自己的市场额度,开发自定义的程序应用和数据传输接口,在后期系统维护费用高企的同时也给数据清洗带来了额外的负担。对此,有关管理部门应加强数据方面国标和行标的落实力度。(https://www.daowen.com)

第三,切实保证数据清洗过程中的数据安全。2015年6月,中央网信办在《关于加强党政部门云计算服务网络安全管理的意见》中,对云计算的数据归属、管理标准和跨境数据流动给出了明确的权责定义。数据清洗加工的相关企业应该着重在数据访问、脱密、传输、处理和销毁等过程中加强对数据资源的安全保护,确保数据所有者的责任,以及数据在处理前后的完整性、机密性和可用性,防止数据被第三方攫取并通过“暗网”等渠道进行数据跨境交易。

✍AI写作