(1)为什么一说大数据就谈到Hadoop?
Hadoop是用Java编写的一个开源软件框架,用于分布式存储和对在计算机集群上的超大型数据集的分布式处理。
首先,大数据的“大”不是指数据的“多”,不是用具体的TB、PB来描述的概念。大数据的含义及特点如下所述。
大量:像我们大家平时用百度搜索,逛淘宝,用QQ、微信、Facebook、Twitter,产生的信息就是大数据,平台都会记录存储下来。
多样:数据的多样性,指数据既有结构化的数据,也有非结构化的文本、图片、视频、语音、日志、邮件等。
实时:大数据需要快速、实时地进行处理。如果说对时间要求低,随便弄几台机器,对小数据进行处理,等个十天半个月出来结果,这样也没有什么意义了。(https://www.daowen.com)
不确定:就像网上的很多信息,有真实的也有虚假的,很难辨析。
根据以上特点,我们需要一个东西存储大量数据、快速处理大量数据并对大量数据进行分析,于是就有了Hadoop这样一个模型,如图13-2所示。

图13-2 Hadoop模型