1.3.2　大数据分析

大数据指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据分析是指对规模巨大的数据进行分析，是大数据产生价值的关键，也是由大数据到智能的核心步骤。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中，大数据分析指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理，因此不用考虑数据的分布状态（抽样数据需要考虑样本分布是否有偏，是否与总体一致），也不用考虑假设检验，这点是大数据分析与一般数据分析的一个区别。

大数据分析可以分为大数据和数据分析两个方面，假如没有数据分析，再多的数据都只能是一堆储存维护成本高但毫无用处的IT库存。大数据分析更注重数据分析这个方面，首先，从分析出发去找有价值的数据，然后再有效地将从数据中得到的信息有效利用。一句话，大数据分析还是数据分析，但面对的数据具有5V特性，即数据量大（Volume）、速度快（Velocity）、类型多（Variety）、低价值密度（Value）、准确性（Veracity），所以必须使用新的数据分析工具、手段及新技术才能实现。

(https://www.daowen.com)

图1⁃7是大数据分析方法结构图，在传统数据分析方法上增加了Hadoop、Spark、Storm等技术和方法。

在实际应用中，人们更多地把“大数据”理解为用来表示大量没有按照传统的相关格式存储在企业数据库中的非结构化数据的总术语。这些数据并不适合传统关系型数据库存储，其数据采集技术手段往往需要无线射频识别（RFID）、传感器网络等新技术支撑，很多情况下数据具有时间敏感性，需要实时处理，表1⁃2列举了传统数据分析和大数据分析的主要区别。