（2）对不同质量的源数据进行分类以适应清洗工作

数据清洗在汇聚多个维度、多个来源、多种结构的数据之后，就可以对数据进行抽取、转换和集成加载。在这个过程中，除了更正、修复系统中的一些错误数据之外，更多的是对数据进行归并整理，储存到新的存储介质中。其中，分清和掌握数据的质量至关重要。

常见的数据质量问题可以根据数据源的多少和所属层次（定义scheme层和实例sample层）分为四类。

第一类，单数据源定义层：违背字段约束条件（比如日期出现1月0日）、字段属性依赖冲突（比如两条记录描述同一个人的某一个属性，但数值不一致）、违反唯一性（同一个主键ID出现了多次）。

第二类，单数据源实例层：单个属性值含有过多信息、拼写错误、空白值、噪声数据、数据重复和过时数据等。(https://www.daowen.com)

第三类，多数据源定义层：同一个实体的不同称呼（比如冰心和谢婉莹，用笔名还是用真名）、同一种属性的不同定义（比如字段长度定义不一致、字段类型不一致等）。

第四类，多数据源实例层：数据的维度、粒度不一致（比如有的按GB记录存储量，有的按TB记录存储量；有的按照年度统计，有的按照月份统计）、数据重复、拼写错误。

除此之外，还有在数据处理过程中产生的“二次数据”，其中也会有噪声、重复或错误的情况。数据的调整和清洗也会涉及格式、测量单位和数据标准化与归一化的相关事情，以致对实验结果产生比较大的影响。通常，这类问题可以归结为不确定性。不确定性有两方面内涵，包括各数据点自身存在的不确定性，以及数据点属性值的不确定性。前者可用概率描述，后者有多重描述方式，如描述属性值的概率密度函数，以方差为代表的统计值等。