数据仓库是数据查询和分析的基础
数据仓库是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、满足决策需要而产生的,它并不是所谓的“大型数据库”。数据仓库是前端查询和分析的基础,由于有较大的冗余,所以需要的存储也较大。为了更好地为前端应用服务,数据仓库往往有如下几点特点:
第一,效率足够高。数据仓库的分析周期一般有日、周、月、季、年等,可以看出,以日为周期的数据分析要求的效率最高,要在24小时甚至12小时内,让客户能看到昨天的数据分析。由于有的企业每日的数据量很大,设计不好的数据仓库经常会出问题,延迟1~3日才能给出数据,显然不行。
第二,注重数据质量。数据仓库所提供的各种信息,需要准确的数据支持,但由于数据分析流程通常分为多个步骤,包括数据清洗、装载、查询和展现等,复杂的架构会有更多层次,那么由于数据源有无效数据或者代码不严谨,都可能导致数据失真,使客户看到错误的信息,导致做出错误的决策,造成损失。
第三,扩展性。之所以有的大型数据仓库系统架构设计复杂,是因为考虑到了未来3~5年的扩展性。这样的话,未来不用花太多钱去重建数据仓库系统,就能很稳定地运行了。扩展性主要体现在数据建模的合理性,数据仓库方案中多出一些中间层,使海量数据流有足够的缓冲,不至于数据量一大就运行不起来了。
第四,面向主题。操作型数据库的数据组织面向事务处理任务,各个业务系统之间各自分离,而数据仓库中的数据是按照一定的主题域进行组织的。主题是一个抽象概念,是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象。每一个主题对应一个宏观的分析领域。数据仓库排除对于决策无用的数据,提供特定主题的简明视图。(https://www.daowen.com)
信息技术与数据智能大环境下,数据仓库在软硬件领域、Internet和企业内部网解决方案以及数据库方面提供了许多经济高效的计算资源,可以保存极大量的数据供分析使用,且允许使用多种数据访问技术。开放系统技术使得分析大量数据的成本趋于合理,并且硬件解决方案也更为成熟。在数据仓库应用中,主要使用的技术有并行、分区和数据压缩。
首先,并行。计算的硬件环境、操作系统环境、数据库管理系统和所有相关的数据库操作、查询工具和技术、应用程序等各个领域都可以从并行技术的最新成就中获益。
其次,分区。分区功能使得支持大型表和索引更容易,同时也提高了数据管理和查询性能。
再次,数据压缩。数据压缩功能降低了数据仓库环境中通常需要的用于存储大量数据的磁盘系统的成本,新的数据压缩技术也已经消除了压缩数据对查询性能造成的负面影响。
建立一个数据仓库是消除孤岛的解决方案,它可以为明智的决策和报告提供用于参考的一个集成、粒状、单独的访问点。
任何人建立自己的数据仓库都应该知道这不是一蹴而就的。商业智能,报告和各类数据会源源不断地产生,永远不会结束。另外,实现一个数据仓库之前,相关机构和供应商必须同意使用同一套标准。决策者可以求助于一些组织,如IMS全球学习联盟,这个联盟提供了制定和使用这些标准的框架。