（一）概念特征
从文明创始之初的“结绳记事”，到文字发明后的“文以载道”，再到近现代科学出现后的“数据建模”，数据一直伴随着人类社会的发展变迁，承载着人类基于数据和信息认识世界的努力和取得的巨大进步。然而，直到以电子计算机为代表的现代信息技术出现后，数据处理有了自动运行的方法和手段，人类掌握数据、处理数据的能力才实现了质的跃升。信息技术及其在经济社会发展方方面面的应用（即信息化），推动数据（信息）成为继物质、能源之后的又一种重要战略资源。
大数据作为一种概念和思潮由计算领域发端，之后逐渐延伸到科学和商业领域。大数据，或称巨量资料，指的是所涉及的资料规模巨大到无法通过主流软件工具，在合理时间内达到撷取、管理、处理，并整理成为帮助企业经营决策等目的的资讯。
大多数学者认为，大数据这一概念最早公开出现于1998年，美国高性能计算公司SGI的首席科学家约翰·马西在一个国际会议报告中指出：随着数据量的快速增长，必将出现数据难理解、难获取、难处理和难组织等四个难题，并用“BigData”（大数据）来描述这一挑战，在计算领域引发思考。2007年，数据库领域的先驱人物吉姆·格雷指出大数据将成为人类触摸、理解和逼近现实复杂系统的有效途径，并认为在实验观测、理论推导和计算仿真等三种科学研究范式后，将迎来第四范式——数据探索，后来同行学者将其总结为“数据密集型科学发现”，开启了从科研视角审视大数据的热潮。2012年，牛津大学教授维克托·迈尔-舍恩伯格在其畅销著作《大数据时代：生活、工作与思维的大变革》[10]中指出，数据分析将从随机采样、精确求解和强调因果的传统模式演变为大数据时代的全体数据、近似求解和只看关联不问因果的新模式，从而引发商业应用领域对大数据方法的广泛思考与探讨。
大数据于2012年、2013年达到其宣传高潮，2014年后其概念体系逐渐成形，人们对其认知亦趋于理性。大数据相关技术、产品、应用和标准不断发展，逐渐形成了包括数据资源与API、开源平台与工具、数据基础设施、数据分析、数据应用等板块的大数据生态系统，并持续发展和不断完善，其发展热点呈现出从技术向应用、再向治理的逐渐迁移。经过多年的发展和沉淀，人们对大数据已经形成基本共识：大数据现象源于互联网及其延伸所带来的无处不在的信息技术应用以及信息技术的不断低成本化。在当时，大数据泛指无法在可容忍的时间内用传统信息技术和软硬件工具对其进行获取、管理和处理的巨量数据集合，具有海量性、多样性、时效性及可变性等特征，需要可伸缩的计算体系结构以支持其存储、处理和分析。
大数据的价值本质上体现为提供了一种人类认识复杂系统的新思维和新手段。就理论上而言，在足够小的时间和空间尺度上，对现实世界数字化，可以构造一个现实世界的数字虚拟映像，这个映像承载了现实世界的运行规律。在拥有充足的计算能力和高效的数据分析方法的前提下，对这个数字虚拟映像的深度分析，将有可能理解和发现现实复杂系统的运行行为、状态和规律。应该说大数据为人类提供了全新的思维方式和探知客观规律、改造自然和社会的新手段，这也是大数据引发经济社会变革最根本的原因。
综上，大数据是一个较为抽象的概念，正如信息学领域大多数新兴概念，大数据至今尚无确切的、统一的定义。当前，较为统一的认识是大数据有四个基本特征：数据规模大（volune），数据种类多（variety），数据要求处理速度快（velocity），数据价值密度低（value），即所谓的“4V”特性，这些特性使得大数据区别于传统的数据概念。大数据的概念与海量数据不同，后者只强调数据的量，而大数据不仅用来描述数据量大，还更进一步指依据数据的复杂形式、数据的快速时间特性，以及对数据的专业化分析、处理等，最终获得有价值信息的能力[11]。
大数据时代早已来临，相关的数据处理方法也是研究的热门，其中数据挖掘作为研究数据的一门技术，无疑是现今研究的热点。
严格地说，数据挖掘是指从数据集合中自动抽取隐藏在数据中的那些有用信息的非平凡过程，这些信息的表现形式为规则、概念、规律及模式等。它可帮助决策者分析历史数据及当前数据，并从中发现隐藏的关系和模式，进而预测未来可能发生的行为。数据挖掘的过程也叫知识发现的过程，它是一门涉及面很广的交叉性新兴学科，涉及数据库、人工智能、数理统计、可视化、并行计算等领域。数据挖掘是一种新的信息处理技术，其主要特点是对数据库中的大量数据进行抽取、转换、分析和模型化处理，并从中提取辅助决策的关键性数据。数据挖掘是KDD（Knowledge Discovery in Database）中的重要技术，它并不是用规范的数据库查询语言（如SQL）进行查询，而是对查询的内容进行模式的总结和内在规律的搜索。传统的查询和报表处理只是得到事件发生的结果，并没有深入研究事件发生的原因，而数据挖掘则主要了解事件发生的原因，并且以一定的置信度对未来进行预测，用来为决策行为提供有力的支持[12]。
数据挖掘概念自1966年在统计学中被提出，之后的几十年中并没有引起人们的广泛关注。直到1989年8月，在美国底特律举办的第11届国际人工智能联合会议上召开了以知识发现为主题的学术研讨会之后，数据挖掘才开始得到人们的关注。尤其是近10年来，随着大数据时代的到来，数据挖掘在学术界、工业界受到极大的重视。目前，数据挖掘还没有明确的定义。很多学者通常用另一个词来表示数据挖掘，即从数据中发现面临的挑战。还有一些学者认为数据挖掘仅仅是知识发现的一个必要过程。[13]虽然，从不同领域来看，可能得到不同的概念（例如软件工程数据挖掘[14]），但是与大数据处理基本流程一样，数据挖掘是一个系统工程，其中任何一个步骤都可能会进行反复的操作。在文献的基础上，归纳出数据挖掘过程如下。
1.数据预处理(https://www.daowen.com)
数据预处理指把采集到的原始数据进行初步处理，加工成可以用来进一步处理的数据源。这一阶段主要有数据清洗、数据稽查、数据提取及格式化数据。数据预处理是整个数据挖掘过程中十分费力、费时的阶段。数据质量的高低是数据预处理效果的重要标志。同时，数据质量将会直接影响到数据挖掘的结果。数据预处理的数据类型主要包括不一致性数据、缺失数据、重复数据、不合理数据、虚假数据、异常数据、逻辑错误数据等。从公共数据库的角度出发，数据清洗应尽量满足如下要求：尽量放松清洗规则，保证数据的原样性；在清洗过程中，只能做数据映射，不能修改用户数据，不对错误数据进行纠正；清洗的数据要进行保存。这些要求的目的是最大程度上保证数据的真实性，避免在数据清洗阶段造成数据所隐藏的信息丢失。第三点间接说明了数据清洗不是一次就能达到要求的。
2.数据融合
在信息工业中，比较流行的观点是把数据清洗与数据融合结合组成数据预处理阶段。在此，为了强调大数据环境中数据清洗与数据融合的困难性及重要性，把它们分开进行论述。大数据环境下，数据的多样性（例如表现形式多样化、数据格式多样化、数据来源多样化等）表明了通过各种渠道获取到的数据形式与结构是十分复杂的。面对以非结构化和半结构化为主的大数据（据统计，目前采集到的数据85%以上是非结构化和半结构化数据），数据融合的地位变得更加突出。
3.数据分析
数据分析是从大量数据中发现有趣、有价值的信息的过程，是整个数据挖掘过程的核心部分。而数据分析的成功与否不仅与研究者所运用的一系列理论、算法有关，还与数据分析所涉及的具体领域有着重要的关系。例如，面对时空数据中海量、高维、高噪声及非线性等特性时，时空频繁模式[15]、时空聚类[16]、时空异常检验[17]等方法被提出，以解决传统数据挖掘算法无法应对的难题[18]。
4.结果评价与展示
数据分析的目的是让用户能够从中获得有用的信息并对结果进行评价。其难点在于用户并不具备相应的专业知识，因此需要更加具体与形象化的表示，例如采用可视化技术。这也正是大数据环境下数据挖掘中的一个研究热点与难点。大数据处理的基本流程是数据挖掘思想在大数据环境中的具体表现，因此有很多的相似之处。
随着人工智能技术的发展，数据挖掘更多地使用了机器学习相关的算法，例如曾被评为数据挖掘十大算法的C4.5算法、K-Means算法、Support vector machines、The Apriori algorithm、最大期望（EM）算法、PageRank、AdaBoost、k-nearest neighbor classification、Naive Bayes、CART等。
数据挖掘现在随处可见，而它的故事在《点球成金》出版和“棱镜门”事件发生之前就已经开始了。下文叙述的就是数据挖掘发展史上的主要里程碑，讲述数据挖掘是怎样发展以及怎样与数据科学和大数据融合的。
