二、爬虫治理盘点

网络爬虫在2019年引发社会的广泛关注，起因在于包括摩蝎科技、新颜科技等在内的多家大数据公司被公安机关查处，而根据媒体报道，这些公司接受调查的原因或多或少都涉及爬虫合规相关问题。^[4]此外，包括同盾科技、聚信立、白骑士等在内的多家公司也已经主动或被动地停止了与爬虫相关的业务。^[5]

此番网络爬虫整治与监管部门针对“套路贷”及暴力催收的整治行动密切相关。基于爬虫的技术特性，部分套路贷机构、催收机构等利用其爬取借款人的通讯录等个人信息，实施暴力催收等违法行为，严重侵害了借款人的合法权益。在此前公安部通报的“净网2019”专项行动工作情况及典型案例中介绍了黑龙江公安机关网安部门侦破的“7·30”网络“套路贷”专案情况。公安机关在该起案件发生后，侦获一条集实施“套路贷”犯罪团伙、催收团伙以及帮助“套路贷”犯罪的技术服务商、数据支撑服务商、支付服务商的完整犯罪链条。而根据媒体报道，涉及该案的部分数据服务商利用爬虫技术非法获取用户个人信息，为套路贷催收等提供协助。^[6]

对于大数据公司频频因爬虫业务遭受查处，有关监管部门在2019年也采取了一系列措施来把控爬虫业务风险。根据媒体报道，2019年10月，央行发文紧急调研商业银行与第三方数据公司合作情况。其中，要求银行填报是否与第三方数据公司开展合作，内容主要涉及数据采集、信用欺诈、信用评分、风控建模等方面。央行要求银行上报第三方公司的名称、股东背景、是否涉及爬虫等。而对于企业征信机构，央行也要求相关机构梳理是否与同盾科技、魔蝎科技、新颜科技等被调查的公司存在业务或股权关联。同时，要求各企业征信机构排查自身业务中是否存在违规爬虫行为，如果存在的，要立即整改。^[7]

2019年11月，中国互联网金融协会下发了《关于增强个人信息保护意识依法开展业务的通知》，其中提到，近期国家监管部门发现，社会上有一些互联网机构以“大数据”为名，通过“爬虫”业务涉嫌违法违规收集个人信息，或窃取、滥用、买卖、泄露个人信息，侵害消费者的个人信息，造成不良的社会影响。中国互联网金融协会在通知中要求其会员机构开展个人信息保护自查工作，并对数据合作方进行排查。不得未经消费者授权同意，收集、处理、使用和对外提供消费者个人信息，要求建立健全个人信息保护制度，不与违规收集和使用个人信息的第三方开展数据合作。(https://www.daowen.com)

此外，根据媒体报道，北京金融局也通过窗口指导要求摸排区内所有大数据企业是否存在违规爬虫业务，如果没有则要求企业出具承诺函；如果存在违规爬虫业务，要求如实上报并尽快整改。^[8]

爬虫业务接连遭受监管调查，这与爬虫的技术特性密不可分。从上述爬虫的应用场景可以看出，合法使用爬虫技术能够大大提高数据收集的效率，促进互联网经济的发展。但恶意使用爬虫则可能带来诸多危害。对于被爬取的网站而言，恶意的网络爬虫攻击可能导致网站信息系统受损，甚至出现网站无法正常访问等。同时，恶意爬虫掠夺了被爬取网站运营者对于网站内容的控制。通常情形下，爬虫可以将一个网站的内容爬取发布到另一个网站，窃取被爬网站的用户流量，影响其正常的业务开展。恶意爬虫还会造成侵犯个人信息等后果，比如在上述金融借贷场景下，部分大数据公司通过爬虫获取用户的个人信息再提供给催收机构，催收机构利用这些信息进行暴力催收等活动，侵害借款人用户的合法权益，造成了严重的危害。