一、大数据的概述

大数据（big data）指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

（一）大数据定义

对于大数据，研究机构Gartner给出了这样的定义。大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

（二）大数据特征(https://www.daowen.com)

大数据是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合”。业界通常用5个V[即Volume（大量）、Variety（多样）、Value（低价值密度）、Velocity（快速）和Veracity（准确性）]来概括大数据的特征。

（1）大量。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。非结构化数据的超大规模和增长，比结构化数据增长快10～50倍，是传统数据仓库的10～50倍。

（2）数据类型繁多。大数据的类型可以包括网络日志、音频、视频、图片、地理位置信息等，具有异构性和多样性的特点，没有明显的模式，也没有连贯的语法和句义，多类型的数据对数据的处理能力提出了更高的要求。

（3）价值密度低。价值密度的高低与数据总量的大小成反比。以视频为例，一部一小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒。因此需要对未来趋势与模式做可预测分析，利用机器学习、人工智能等进行深度复杂分析。而如何通过强大的机器算法更迅速地完成数据的价值提炼，是大数据时代亟待解决的难题。

（4）速度快时效高。这是大数据区分于传统数据挖掘的最显著特征。根据IDC的《数字宇宙》的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。

（5）准确性。数据的准确性和可信赖度，即数据的质量。