没有听说过的数据湖泊（Data Lake）
“Data Lake”这个词现在国外很热，这个概念最早出现在2011年Forbes杂志上，文章题为《大数据需要一个大的新型架构》。那篇文章说，数据湖泊和数据仓库的区别主要是数据仓库的数据进入这个池之前是预先分类的，这可以指导其后面如何进行数据的分析。但在大数据时代，这些都是素材而已，你根本不知道以后如何用它，也就是说数据湖泊给后面的数据分析带来了更大的弹性。因此，这个放大数据的仓库，专家建议叫数据湖泊，以区别于数据仓库。目前，Hadoop是实现数据湖泊的最常用技术手段。
数据湖泊是包含下面两个特征的信息系统：第一，可以保存大数据的并行系统；第二，能够在数据不移动的情况下进行计算的系统。
Forbes在2015年1月份刊登了一篇文章，题为《数据湖泊梦》，这篇文章把数据湖泊的成熟度分为四个级别。
（1）第一级是在没有用Hadoop之前，这个时候各个大型应用都有自己的数据库，也有自己的数据仓库来做数据分析，如图10-1所示。
图10-1 未使用Hadoop时的数据湖泊
•应用独立于他们的数据库。
•一些应用由数据仓库提供数据。
•分析师运行报告和数据仓库分析。
（2）第二级是企业引入了Hadoop。企业的应用数据和Hadoop有交互，如图10-2所示。
图10-2 引入Hadoop时的数据湖泊
•应用程序提供数据的Hadoop。
•Hadoop运行批处理MapReduce工作。
•Hadoop使用ETL到仓库或数据库分析。
•Hadoop的数据重新导入应用程序。
（3）第三级是数据湖泊的成长期。新的系统直接支持Hadoop，Hadoop成为缺省配置，而数据仓库只在某些特定场景下使用，外部数据也引入数据湖泊中，如图10-3所示。
图10-3 数据湖泊的成长期
•在Hadoop的周围新建系统中心默认。(https://www.daowen.com)
•通过应用程序的Hadoop使用对方的数据。
•交互使用的Hadoop作为在Hadoop的部署数据库（例如，黑斑羚，Greenplum的，星火）。
•Hadoop成为一个默认的数据目标，治理和元数据变得很重要。
•数据仓库的使用成为例外，传统的或特殊要求的规定。
•通过Hadoop集成Extendal数据源。
（4）第四级就是数据湖泊和应用云阶段。Hadoop大量采用并且加强其可靠性和安全性，如图10-4所示。
图10-4 数据湖泊和应用云阶段
•新应用围绕在以Hadoop为应用平台的数据湖泊边。
•成熟的Hadoop作为弹性分布式数据计算平台，可实现运营和分析功能。
•数据湖泊增加了安全性和治理层。
•数据可用性增加，应用程序部署时间减少。
•有些应用仍然有特殊或传统需求，并独立执行。
现在大部分的企业，应该都处于数据湖泊的第一阶段和第二阶段。目前能做到第三阶段的企业基本没有多少，但Google和Facebook这样的互联网企业应该说已经实现数据湖泊梦想了。
数据湖泊的出现也引出其他一些争论，比如系统的整合，以后的方向是整合应用还是整合数据呢？哪种方式会胜出？我们认为以后整合数据将是方向。
首先，IT的价值已经从应用往数据迁移。传统的大型应用会形成信息孤岛，每个应用都有自己的数据。通过引入数据湖泊的概念，把数据整合起来。
其次，在数据湖泊基础上构建数据仓库和分析环境。最后，把这些应用开发全部云化，拥抱第三平台。这样，就可以打造企业差异化的竞争能力了。
总之，数据的整合比应用的整合要简单得多。如果企业追求应用的整合，就会被数据海洋湮灭。数据湖泊是构造企业差异化竞争的很好的思路，而Hadoop是目前流行的实现手段。
北卡罗莱纳州立大学的杰姆斯·亨特图书馆使用数据湖泊，来支持其大规模使用可视化技术的能力。
在数据仓库中数据被变换，并且从未加载，直到它的使用已经被定义。与数据仓库相比，数据湖泊接受所有形式的信息。原始信息在源系统中的主机运行，驻留在这里不作转换直到它们需要被分析。特别是对于非结构化数据，数据湖泊对于教育机构将成为颠覆性的“必需品”。
设想一个图书馆，它能够为学生和教师提供一个协作的空间，在这个空间里产生新的想法，做实验以及大规模地使用可视化技术，并利用先进的分析发掘新的见解。在EMC的帮助下，一个在存储、云计算和大数据解决方案三个方面全球领先的图书馆现在已经建立起来了。
这些项目要求大量的存储空间，并且当数据从许多来源不断增加时，这些空间能够迅速扩展。但是随着信息的不断扩张，传统的存储和数据战略往往产生效率低下、成本高昂的IT结构。数据湖泊通过提供存储巨大数量的任何格式的信息的单一信息库解决了这个问题。