爬虫使用合规指引
笔者认为，爬虫作为一种技术程序、工具决定了其本身具有中立性，并非所有使用爬虫的行为均当然属于违法犯罪行为，关键在于如何合规使用爬虫，以规避可能由此产生的相应法律风险。基于此，笔者拟从下述三个角度对爬虫使用提出相应合规参考。
（一）基础合规要求
如前所述，使用爬虫可能遭受刑事风险；违法利用爬取的数据可能构成不正当竞争行为从而需承担一定的赔偿责任；涉及侵害网络与数据安全的，还可能受到监管部门的行政处罚。爬虫使用的相关法律风险主要来源于两方面：一是从行为角度，典型如：使用爬虫突破或者破坏网站的防护措施，干扰网站的正常运行；二是从爬取的内容角度，如果非法爬取的内容属于公民个人信息、享有著作权的作品、网站运营者的经营数据等，则可能构成侵犯公民个人信息犯罪、侵犯著作权罪、不正当竞争等。
基于此，从合规使用爬虫，规避法律风险角度，应当注意严格规范数据爬取行为，控制数据爬取的数量和频率，避免破坏、干扰被爬网站的正常运行。具体又可分为：
1.审查被爬网站是否具备Robots协议，遵守被爬网站中Robots协议的要求。Robots协议虽然不具有法律效力，但其反映了网站经营者对于其网站数据被爬取的意愿。正如法院在“百度诉360案”[29]中对于Robots协议的分析，Robots协议在一定程度上应当被认定为行业内的通行规则，属于公认的、应当被遵守的商业道德，不遵守网站Robots协议的行为明显不当，应当承担相应的不利后果。因此，对于爬虫使用而言，在被爬网站已经通过Robots协议明确告知爬虫的范围、方式、频率等限制时，应当避免绕开或违反被爬网站的Robots协议爬取数据。
2.避免突破/破坏网站的防护措施进行数据爬取。网站运营者通常会通过身份认证、权限设置、加密规则等“防爬措施”对网站系统及数据进行防护，限制爬虫获取数据。而恶意使用爬虫的行为人为达到抓取数据的目的，则可能采取破解网站加密规则、伪造身份认证信息、非法获取权限等方式破坏网站设置的一系列防护措施。该等破坏网站防护措施进行数据爬取的行为很可能被认定为《网络安全法》《刑法》等相关规定制约的非法侵入、破坏计算机信息系统、非法获取数据等违法犯罪行为。因此，爬虫行为应当以不破坏被爬网站的信息系统安全为前提。
3.合理控制爬取频率，避免给被爬网站的运行造成过度负担。应当尽可能避免使用爬虫频繁、大量抓取网站数据，妨碍被爬网站的正常运营。特别是当“自动化访问收集流量超过网站日均流量三分之一”时，如果被爬网站要求停止爬虫，应当及时停止，不得继续通过爬虫抓取数据。
（二）爬取个人信息的额外要求
对于爬取的数据，应当考察数据类别是否为公民个人信息。对于公民个人信息，应当避免未经用户事先授权同意直接爬取。值得注意的是，即便是爬取网站中公开的信息，如果其属于公民个人信息的，同样应当取得用户的授权同意，而不能以爬取的是已公开信息为由未经用户同意直接爬取。网站经营者拟爬取用户个人信息的，应当按照《网络安全法》《信息安全技术 个人信息安全规范》等规定，通过个人信息保护政策、信息采集授权书等协议文本或其他合理方式明确告知用户，获取用户的授权。同时，在爬取个人信息时，应当遵循合法、正当、必要的原则，避免超出用户的授权范围爬取信息。
数据接收方如果间接获取他人通过爬虫取得的个人信息时，同样应当对他人通过爬虫获取个人信息的合法性进行一定的审查。如要求个人信息的提供方说明个人信息来源，并对个人信息来源的合法性进行确认，了解个人信息主体是否授权同意转让、共享等。数据接收方在获取个人信息后，如果在业务开展过程中所需进行的个人信息处理活动超出已获得的授权同意范围，应当重新征得个人信息主体的同意。
（三）爬取商业数据的额外要求
如果爬虫抓取的数据类别属于网站运营者的商业经营数据，在对该等数据的获取、利用上应当着重考察是否存在“搭便车”“不劳而获”等不当行为，避免被认定为构成不正当竞争。在具体应用场景下，可以首先考虑与被爬网站之间是否存在竞争关系，获取、利用被爬网站数据的行为是否存在分流被爬网站用户、对被爬网站产生产品/服务替代性从而导致被爬网站对用户的吸引力降低、竞争优势削弱的可能。如果存在该等可能的，则应当谨慎使用爬虫获取、使用被爬网站的数据。
[1] 李慧敏、孙佳亮：《论爬虫抓取数据行为的法律边界》，载《电子知识产权》2018年第12期。
[2] 《互联网搜索引擎服务自律公约》，http：//www.isc.org.cn/hyzl/hyzl/listinfo-25501.html，最后访问时间：2020年3月9日。
[3] 张嘉琳：《由Robots协议引发的不正当竞争问题思考——以3百大战为视角》，载《法治与社会》2013年第8期。
[4] 《“爬虫服务”犯众怒？魔蝎科技、新颜科技、公信宝或因涉嫌侵犯隐私相继被查》，https：//www.sohu.com/a/340516306_118792，最后访问时间：2020年3月9日。
[5] 《大数据风控行业“地震”：多家公司被调查，同盾科技否认实控人“跑路”》，http：//news.cai-jingmobile.com/article/detail/404093？source_id=40，最后访问时间：2020年3月9日。
[6] 《公安部通报捣毁爬虫公司称被套路贷利用》，https：//new.qq.com/omn/20191116/20191116-A0KA8Q00.html，最后访问时间：2020年3月9日。
[7] 《央行排查银行与第三方数据公司合作情况 要求上报是否涉及爬虫等》，https：//www.wdzj.com/news/hydongtai/5186439.html，最后访问时间：2020年3月9日。(https://www.daowen.com)
[8] 《北京窗口指导摸排区内大数据企业爬虫业务 近期多家被查》，https：//www.wdzj.com/zhuanlan/guancha/17-13086-1.html，最后访问时间：2020年3月9日。
[9] 《网络爬虫的法律规制》，http：//www.cac.gov.cn/2019-06/16/c_1124630015.htm？from=singlemessage&isappinstalled=0，最后访问时间：2020年3月9日。
[10] 《刑法》第285条第2款，违反国家规定，侵入前款规定以外的计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，或者对该计算机信息系统实施非法控制，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。
[11] 游涛、计莉卉：《使用网络爬虫获取数据行为的刑事责任认定——以“晟品公司”非法获取计算机信息系统数据罪为视角》，载《法律适用·司法案例》2019年第10期。
[12] （2017）京0108刑初2384号。
[13] 《刑法》第285条第1款，违反国家规定，侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统的，处三年以下有期徒刑或者拘役。
[14] （2018）川3424刑初169号。
[15] 《刑法》第285条第3款，提供专门用于侵入、非法控制计算机信息系统的程序、工具，或者明知他人实施侵入、非法控制计算机信息系统的违法犯罪行为而为其提供程序、工具，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，依照前款的规定处罚。
[16] 《最高人民法院最高人民检察院关于办理危害计算机信息系统安全刑事案件应用法律若干问题的解释》第2条，具有下列情形之一的程序、工具，应当认定为《刑法》第285条第3款规定的“专门用于侵入、非法控制计算机信息系统的程序、工具”：（一）具有避开或者突破计算机信息系统安全保护措施，未经授权或者超越授权获取计算机信息系统数据的功能的；（二）具有避开或者突破计算机信息系统安全保护措施，未经授权或者超越授权对计算机信息系统实施控制的功能的；（三）其他专门设计用于侵入、非法控制计算机信息系统、非法获取计算机信息系统数据的程序、工具。
[17] （2018）赣1021刑初13号。
[18] 《刑法》第253条之一，违反国家有关规定，向他人出售或者提供公民个人信息，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。违反国家有关规定，将在履行职责或者提供服务过程中获得的公民个人信息，出售或者提供给他人的，依照前款的规定从重处罚。窃取或者以其他方法非法获取公民个人信息的，依照第1款的规定处罚。单位犯前3款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照各该款的规定处罚。
[19] 《侵犯公民个人信息刑事案件解释》第5条第1款，非法获取、出售或者提供公民个人信息，具有下列情形之一的，应当认定为《刑法》第253条之一规定的“情节严重”：（一）出售或者提供行踪轨迹信息，被他人用于犯罪的；（二）知道或者应当知道他人利用公民个人信息实施犯罪，向其出售或者提供的；（三）非法获取、出售或者提供行踪轨迹信息、通信内容、征信信息、财产信息五十条以上的；（四）非法获取、出售或者提供住宿信息、通信记录、健康生理信息、交易信息等其他可能影响人身、财产安全的公民个人信息五百条以上的；（五）非法获取、出售或者提供第3项、第4项规定以外的公民个人信息五千条以上的；（六）数量未达到第3项至第5项规定标准，但是按相应比例合计达到有关数量标准的；（七）违法所得五千元以上的；（八）将在履行职责或者提供服务过程中获得的公民个人信息出售或者提供给他人，数量或者数额达到第3项至第7项规定标准一半以上的；（九）曾因侵犯公民个人信息受过刑事处罚或者二年内受过行政处罚，又非法获取、出售或者提供公民个人信息的；（十）其他情节严重的情形。
[20] 刘艳红：《网络爬虫行为的刑事规制研究——以侵犯公民个人信息犯罪为视角》，载《政治与法律》2019年第11期。
[21] （2018）沪0116刑初924号。
[22] 《刑法》第217条，以营利为目的，有下列侵犯著作权情形之一，违法所得数额较大或者有其他严重情节的，处三年以下有期徒刑或者拘役，并处或者单处罚金；违法所得数额巨大或者有其他特别严重情节的，处三年以上七年以下有期徒刑，并处罚金：（一）未经著作权人许可，复制发行其文字作品、音乐、电影、电视、录像作品、计算机软件及其他作品的；（二）出版他人享有专有出版权的图书的；（三）未经录音录像制作者许可，复制发行其制作的录音录像的；（四）制作、出售假冒他人署名的美术作品的。
[23] （2018）沪0110刑初150号。
[24] （2016）沪73民终242号。
[25] （2017）粤03民初822号。
[26] 《网络安全法》第63条，违反本法第27条规定，从事危害网络安全的活动，或者提供专门用于从事危害网络安全活动的程序、工具，或者为他人从事危害网络安全的活动提供技术支持、广告推广、支付结算等帮助，尚不构成犯罪的，由公安机关没收违法所得，处五日以下拘留，可以并处五万元以上五十万元以下罚款；情节较重的，处五日以上十五日以下拘留，可以并处十万元以上一百万元以下罚款。单位有前款行为的，由公安机关没收违法所得，处十万元以上一百万元以下罚款，并对直接负责的主管人员和其他直接责任人员依照前款规定处罚。违反本法第27条规定，受到治安管理处罚的人员，五年内不得从事网络安全管理和网络运营关键岗位的工作；受到刑事处罚的人员，终身不得从事网络安全管理和网络运营关键岗位的工作。
[27] 《网络爬虫的法律规制》，http：//www.cac.gov.cn/2019-06/16/c_1124630015.htm，最后访问时间：2020年3月10日。
[28] 《数据安全管理办法（征求意见稿）》第37条，网络运营者违反本办法规定的，由有关部门依照相关法律、行政法规的规定，根据情节给予公开曝光、没收违法所得、暂停相关业务、停业整顿、关闭网站、吊销相关业务许可证或吊销营业执照等处罚；构成犯罪的，依法追究刑事责任。
[29] （2014）一中民（知）终字第08599号。