数据挖掘技术
随着计算机网络技术、数据库技术、人工智能和数理统计等技术的发展与融合，数据挖掘（Data Mining）技术应运而生。数据挖掘是一门新兴的交叉学科，也是现代科学技术相互渗透的必然结果，其基本目标就是从大量的数据中提取隐藏的、潜在的和有价值的知识和信息。数据挖掘是一个利用各种分析工具在海量数据中发现知识模型和数据间关系的过程，这些模型和关系可以用来预测未知，为数据的所有者创造出很多潜在的利润和价值[4]。自提出以来，数据挖掘技术便引起了许多专家学者的广泛关注和深入研究。在数据挖掘发展的前期，主要集中在银行、证券、保险、电信、零售、交通、航空、石化、能源等领域。近年来，随着计算机的普及和数据的大量积累，数据挖掘已经在电子商务、快速消费品行业中得到了广泛的应用。数据挖掘技术将对企业信息管理、决策支持等带来深远的影响，具有广阔的开发前景和应用前景。
数据挖掘普遍被接受的定义是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的非平凡过程，这些信息的表现形式为：规则、概念、规律及模式等。数据挖掘是一种新的信息处理技术，其主要特点是对企业数据仓库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助企业决策的关键性数据。数据挖掘的对象可为数据库、文件系统或其他任何组织在一起的数据集合。数据挖掘主要是由统计学、决策科学、人工神经网络、遗传算法、模糊逻辑和可视化技术等相关学科和技术领域发展起来的。
一般来说，不存在一个普遍适用的数据挖掘方法，在不同的领域不同的算法往往有不同的效果。因此在实际应用中，需要针对特定的领域选择有效的数据挖掘模型与挖掘算法。
数据挖掘主要应用的技术有决策树、近邻算法、遗传算法、规则归纳、神经网络等。
1.决策树
决策树是一种典型的分类算法，可以得到类似在什么条件下会得到什么结果的规则。比如在建立运输网络决策树模型，进行细分，找出最有可能对总的运输成本最低的方案。决策树的优点是生成容易理解的规则，如果建立一个包含几百个属性的决策树，虽然看起来很复杂，但每一条从根节点到叶子节点的路径所描述的含义还是可以理解的。另外，决策树算法的计算量相对讲也比较小，擅长处理非数值型数据。
2.近邻算法
近邻算法就是将数据集合中每一个相邻记录进行归类，是最容易使用和理解的技术之一。近邻算法是以人们思维方式相似的方式检测最近的匹配样本，这种算法十分适合错误数据和丢失数据的处理，在自动化方面近邻算法有较好的性能。
3.遗传算法
遗传算法是基于进化理论，并采用遗传结合、遗传变异以及自然选择等设计方法的优化技术。遗传算法主要由三个子算法组成：繁殖，从一个旧种群选出生命力强的个体，产生新种群的过程；交叉，选择两个不同个体的部分进行交换，形成新个体；变异，对某些个体的某些基因进行变异。遗传算法可起到产生优良后代的作用，在优化计算和分类机器学习方法方面发挥了显著的作用。
4.规则归纳(https://www.daowen.com)
规则归纳就是通过统计方法归纳和提取有价值的IF-THEN规则，规则归纳技术在数据挖掘中被广泛应用。基于规则的数据挖掘技术则可以给出模型的生成规则描述，这些规则是通过使用某些统计方法对数据集合进行分段而生成的，有大量的基于规则的技术被用于数据挖掘。
5.神经网络
神经网络（Artificial Neural Network）是模拟人脑结构的数据模型。神经网络仿照生理神经网络结构的非线性预测模型，从一组输入数据中进行学习，根据这一新的认知调整模型参数，以发现数据中的模式。神经网络为解决复杂的大的问题提供了一种相对来说比较有效的简单方法，可以很容易地解决具有上百个参数的问题，它的应用非常广泛。
数据挖掘的过程按照阶段与作用可分为三个步骤：预处理阶段、数据挖掘引擎阶段，用户决策管理阶段，如图7-2所示：
图7-2 数据挖掘流程图
预处理阶段：主要是针对应用系统采集数据，并对数据进行加工，检查数据的完整性和一致性，对其中不正确或无价值的数据进行处理，对丢失的数据利用统计等方法进行填补，形成数据仓库。
数据挖掘引擎阶段：运用选定的数据挖掘算法，如神经元网络、决策树、聚类分析技术、排序算法等，从数据中提取出用户所需要的知识，这些知识可以用系统所需要的某一种特定的方式来表示。
用户管理决策阶段：对所获得的知识进行价值评定，以决定所得的知识是否存入知识库，评价主要通过与用户的接口显示给决策管理层来制定相应的管理策略。
数据挖掘引擎阶段是数据挖掘技术中的核心部分，主要包括模式模型和挖掘算法。目前已形成了多种数据挖掘方法，如分类知识发现、数据总结、数据聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常发现、趋势预测等。
