（3）对不同质量类型的数据采用不同的清洗方法

（3）对不同质量类型的数据采用不同的清洗方法

针对以上数据质量中普遍存在的空缺值、噪声值和不一致数据的情况，可以采用人工检测、统计学方法、聚类、分类、基于距离的方法和关联规则等方法来实现数据清洗。

以往的人工检测方法不但要花费大量的人力、物力和时间，也会在数据清洗过程中产生很多衍生错误。最近，可视化作为一种有效的展示手段和交互手段，可以用来提高数据错误识别和清理的效率，如图10-6所示。

图10-6 可视化方法直接影响数据质量的探究

图10-6中，a为社交网络图，无法显示任何数据异常；b为关联矩阵图，可以显示源数据的内部结构，但不利于寻找错误；c将源数据按照矩阵视图重排，比较容易发现矩阵右下角的数据缺失。

其他方法的优劣对比如表10-1所示。

表10-1 数据清洗方法的对比

根据缺陷数据类型分类，可以将数据清洗分为异常记录检测和重复记录检测两大类。(https://www.daowen.com)

异常记录检测包括解决空值、错误值和不一致数据的方法。

对于空值的处理一般采用估算方法，例如采用均值、众数、最大值、最小值和中位数填充。但估值方法会引入误差，如果空值较多，会使结果偏离事实较大。

对于错误值的处理通常采用统计方法来处理，例如偏差分析、回归方程和正态分布等，也可以通过简单规则库检查数值范围或基于属性的约束关系来识别错误。

对于不一致数据的处理主要体现为数据不满足完整性约束，可以通过分析数据字典、元数据等，还可以梳理数据之间的关系，并进行修正。不一致数据往往是因为缺乏一套数据标准而产生的，也与有关部门不贯彻落实相关标准有一定的关系。

重复数据检测的算法可以细分为基于字段匹配的算法、递归的字段匹配算法、Smith Waterman算法、基于编辑距离的字段匹配算法和改进余弦相似度函数，这些细分算法的对比如表10-2所示。

表10-2 重复数据的检测算法对比