(二)发展历程

更新于 2026年10月10日 版权声明
(二)发展历程

数据挖掘是在大数据集上探索和揭示模式规律的计算过程。它是计算机科学的分支,融合了统计学、数据科学、数据库理论和机器学习等众多技术。

1763年,托马斯·贝叶斯的论文在他去世后发表,他所提出的贝叶斯理论将后验概率与先验概率联系起来。因为贝叶斯理论能够帮助理解基于概率估计的复杂情况,所以它成了数据挖掘和概率论的基础。

1805年,勒让德和高斯使用回归分析确定了天体(彗星和行星)绕行太阳的轨道。回归分析的目标是估计变量之间的关系,在这个例子中采用的方法是最小二乘法。自此,回归分析成为数据挖掘的重要工具之一。

1936年,计算机时代即将到来,它让海量数据的收集和处理成为可能。在1936年发表的论文《论可计算数及其在判定问题上的应用》中,图灵介绍了通用机(通用图灵机)的构想,通用机具有像今天的计算机一般的计算能力。现代计算机就是在图灵这一开创性概念上建立起来的。

1943年,沃伦·麦卡洛克和沃尔特·皮茨首先构建出神经网络的概念模型。在名为A logical calculus of the ideas immanent in nervous activity的论文中,他们阐述了网络中神经元的概念。每一个神经元可以做三件事情:接受输入、处理输入和生成输出。

1965年,劳伦斯·福格尔成立了一个新的公司,名为Decision Science Inc.,目的是对进化计算进行应用。这是第一家专门将进化计算应用于解决现实问题的公司。

20世纪70年代,随着数据库管理系统趋于成熟,存储和查询百万兆字节甚至千万亿字节成为可能。而且,数据仓库允许用户从面向事物处理的思维方式向更注重数据分析的方式进行转变。然而,从这些多维模型的数据仓库中提取复杂深度信息的能力是非常有限的。

1975年,约翰·霍兰德所著的《自然与人工系统中的适应》问世,成为遗传算法领域具有开创意义的著作。这本书讲解了遗传算法领域中的基本知识,阐述了理论基础,探索其应用。(https://www.daowen.com)

到了20世纪80年代,HNC为“数据挖掘”这个短语注册了商标。注册这个商标的目的是保护名为“数据挖掘工作站”的产品的知识产权。该工作站是一种构建神经网络模型的通用工具,不过现在早已销声匿迹。也正是在这个时期,出现了一些成熟的算法,能够“学习”数据间关系,相关领域的专家能够从中推测出各种数据关系的实际意义。

1989年,术语KDD被格雷戈里·皮亚特斯基-夏皮罗提出。同一时期,他合作建立起第一个同样名为KDD的研讨会。

到了20世纪90年代,“数据挖掘”这个术语出现在数据库社区。零售公司和金融团体使用数据挖掘分析数据和观察趋势,以扩大客源、预测利率的波动和股票价格,以及探索顾客需求。

1992年,协哈德·E.博泽、伊莎贝尔·M.盖恩和弗应基米尔·N.瓦尼克对原始的支持向量机提出了一种改进办法,新的支持向量机充分考虑到非线性分类器的构建。支持向量机采用了一种监督学习方法,用分类和回归分析的方法进行数据分析和模式识别。

1993年,格雷戈里·皮亚特斯基-夏皮罗创立“Knowledge Discovery Nuggets(KDnuggets)”通信。本意是联系参加KDD研讨会的研究者,然而KDnuggets.com的读者群现在似乎广泛得多。

2001年,“数据科学”这个在20世纪60年代就已存在的术语,终于被威廉·S.克利卡兰以一个独立的概念加以介绍。根据Building Data Science Teams所著,帕蒂尔和杰弗·哈梅马巴赫随后使用这个术语介绍他们在LinkedIn和Facebook中承担的角色。

2003年,迈克尔·刘易斯写的《点球成金》出版,它改变了许多主流联赛决策层的工作方式。奥克兰运动家队(美国职业棒球大联盟球队)使用一种统计的、数据驱动的方式针对球员的素质进行筛选。以这种方式,他们成功组建了一支打进2002年和2003年季后赛的队伍,而队伍的薪金总额只有对手的1/3。

在2015年,帕蒂尔成为白宫首位数据科学家。今天,数据挖掘已经遍布商业、科学、工程和医药领域,但这还只是一小部分。信用卡交易、股票市场流动、国家安全、基因组测序以及临床试验方面的数据挖掘,都只是数据挖掘应用的冰山一角。随着数据收集成本越来越低,数据收集设备数目激增,像大数据这样的专有名词已经是随处可见[19]。

↑上一章 ↓下一章
关注公众号获取验证码
复制内容需要验证码(7.99元/天)