（4）通过内容限制和方法改进应对数据清洗面临的挑战

随着信息量的飞速增长和智慧工具的不断涌现，无关、重复、错误甚至拟人的信息也将随之增长，给大数据的清洗带来极大的挑战。例如，由于人工智能技术，尤其是深度学习技术的迅速发展，机器人发帖、聊天、发微博和抢票等现象司空见惯，如微软“小冰”和聊天机器人“wbot”在微博上频繁互动等。目前，判断社交对象是否是人类已经成为图灵测试的范畴。而如何区分数据是否是人类产生的，如何将机器人产生的数据清洗出去，将对用户轨迹跟踪、网络舆情分析、生成用户画像等方面产生重大影响。针对以上问题，目前可以从两个方面对数据进行处理。

第一，限制内容产生。例如，可通过微博的实名制、论坛签到制、发帖验证码、网络爬虫的Robots协议等来完成。然而，随着模式识别技术的快速发展，普通的验证码已经难以屏蔽机器人自动识别验证码并进行填写的情况。因此，验证码也朝着日趋复杂的方向发展。例如，12306使用一组近似图片，需要用户选出多个正确答案才能进行购票。(https://www.daowen.com)

第二，改进数据清洗方法。依托行业规则和技术特征对机器人产生的数据进行清洗。例如，主流搜索引擎会在用户代理中留下其特定关键字、网络爬虫一般会使用HEAD发起请求，可通过识别相应关键字、只保留GET请求等方法，过滤掉机器人产生的数据。此外，也可以根据用户发帖时间、频率和IP地址等进行数据建模，利用机器学习和数据挖掘的方法过滤掉机器人产生的内容。