爬虫相关法律责任梳理
恶意爬虫不当访问、干扰网站正常运营、非法获取数据等行为，理应受到法律的规制，行为人应当对其使用爬虫造成的危害后果承担相应的法律责任。当前，我国法律对于爬虫相关法律责任的规定集中于《刑法》《反不正当竞争法》以及《网络安全法》当中，笔者结合该等规定针对爬虫相关法律责任梳理如下：
（一）刑事责任
从《刑法》所追求的法益来看，刑法规范的是对目标网站造成严重影响并具有社会危害性的数据抓取行为。[9]《刑法》对于爬虫危害后果的规制集中于对计算机信息系统、公民个人信息、著作权等保护的相关条文上。比如，行为人如果违反《刑法》规定，通过爬虫非法获取被爬网站存储的数据，则可能构成非法获取计算机信息系统数据罪。如果非法获取的数据属于公民个人信息，还可能构成侵犯公民个人信息罪等。笔者将结合司法实践中的典型案例对部分爬虫可能构成的重点罪名及其刑事法律责任进行分析阐述。
1.非法获取计算机信息系统数据罪
我国《刑法》第285条第2款规定了“非法获取计算机信息系统数据罪”，[10]行为人违反国家规定，侵入除国家事务、国防建设、尖端科学技术领域以外的计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，达到情节严重标准的，构成“非法获取计算机信息系统数据罪”。本罪保护的法益为计算机信息系统安全和数据安全。[11]具体到爬虫应用上，行为人如果通过爬虫技术，绕开网站设置的身份验证、访问频率限制等防爬取措施，接入被爬网站的计算机信息系统，抓取被爬网站服务器中存储的非公开数据，即可能构成本罪。至于本罪入罪的“情节严重”标准，《最高人民法院最高人民检察院关于办理危害计算机信息系统安全刑事案件应用法律若干问题的解释》第1条规定，“情节严重”的情形包括：（1）获取支付结算、证券交易、期货交易等网络金融服务的身份认证信息十组以上的；（2）获取第1项以外的身份认证信息五百组以上的；（3）非法控制计算机信息系统二十台以上的；（4）违法所得五千元以上或者造成经济损失一万元以上的；以及（5）其他情节严重的情形。
典型案例：晟品公司、侯某强等非法获取计算机信息系统数据案[12]
本案中，被告人张某禹、宋某、侯某强经共谋，采用技术手段抓取被害单位字节跳动服务器中存储的视频数据，并由侯某强指使被告人郭某破解字节跳动的防抓取措施，使用“tt_spider”文件实施视频数据抓取行为，在数据抓取的过程中使用伪造device_id绕过服务器的身份校验，使用伪造UA及IP的访问频率限制。造成被害单位字节跳动损失技术服务费人民币2万元。法院认为，被告采用技术手段获取计算机信息系统中存储的数据，情节严重，已构成非法获取计算机信息系统数据罪。
2.非法侵入计算机信息系统罪
我国《刑法》第285条第1款规定，非法侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统的，构成“非法侵入计算机信息系统罪”。[13]在实践中，行为人通过爬虫技术获取诸如“中国裁判文书网”“国家企业信用信息公示系统”以及各地政府部门网站的数据信息十分常见。需要注意的是，该等网站在一定程度上均属于“国家事务”类网站，如果使用爬虫侵入该等网站获取了并非网站公开的信息或授权的信息，又或者对于该等网站的正常运行造成了不利影响，均可能构成本罪。
典型案例：李某环、王某、卢某燕等非法侵入计算机信息系统案[14]
本案中，被告人李某环等使用“爬虫”软件，大量爬取全国各地及凉山州公安局交警支队车管所公告的车牌放号信息，之后使用软件采用多线程提交、批量刷单、验证码自动识别等方式，突破系统安全保护措施，将爬取的车牌号提交至“交通安全服务管理平台”车辆报废查询系统，进行对比，并根据反馈情况自动记录未注册车牌号，建立全国未注册车牌号数据库。之后，李某环编写客户端查询软件，由李某环通过QQ、淘宝、微信等方式，以300-3000元每月的价格，分省、市贩卖该数据库查阅权限。法院认为，被告人违反国家规定，侵入国家事务领域的计算机信息系统，被告人的行为均已构成非法侵入计算机信息系统罪。
3.提供侵入、非法控制计算机信息系统的程序、工具罪
《刑法》第285条第3款规定了“提供侵入、非法控制计算机信息系统的程序、工具罪”。[15]关于何为“侵入、非法控制计算机系统的程序、工具”，《最高人民法院最高人民检察院关于办理危害计算机信息系统安全刑事案件应用法律若干问题的解释》中列举了“具有避开或者突破计算机信息系统安全保护措施，未经授权或者超越授权获取计算机信息系统数据的功能”等类型的程序、工具。[16]结合爬虫的功能及其应用场景，在实践中，行为人往往通过爬虫恶意绕开被爬网站设置的身份验证、频率限制等保护措施，非法获取被爬网站的数据信息。基于此，除直接使用爬虫的行为人外，其他特定行为人如果提供该等用来侵入计算机信息系统的爬虫程序，造成相应危害后果的，即可构成本罪。
典型案例：王甲、王乙提供侵入、非法控制计算机信息系统程序、工具案[17]
本案中，被告人王甲为谋取利益，利用计算机编程先后制作了“ANYR”“蓝鲸”等非法软件，该等非法软件专门针对58同城网页漏洞进行攻击，盗取58同城网站上的公民个人简历信息。王甲与王乙两人分工合作，由被告人王甲负责软件的运营和维护，由被告人王乙负责软件的推广与销售。法院认为，被告人王甲、王乙以非法牟利为目的，向他人提供专门用于侵入、非法控制计算机信息系统的程序、工具，情节严重，其行为均已构成提供侵入、非法控制计算机信息系统程序、工具罪。
4.侵犯公民个人信息罪
《刑法》第253条之一规定了“侵犯公民个人信息罪”，[18]本罪规制的行为包括向他人出售或者提供公民个人信息、窃取或者以其他方法非法获取公民个人信息，入罪需达到“情节严重”标准。在《侵犯公民个人信息刑事案件解释》中对如何认定情节严重进行了进一步的规定，具体包括“非法获取、出售或者提供行踪轨迹信息、通信内容、征信信息、财产信息五十条以上”“非法获取、出售或者提供住宿信息、通信记录、健康生理信息、交易信息等其他可能影响人身、财产安全的公民个人信息五百条以上”等情形。[19]
爬虫于本罪而言，最相近的行为是“窃取或者以其他方法非法获取公民个人信息”。对于爬虫行为是否构成侵犯公民个人信息罪，一则强调“非法性”的判断，如果行为人在授权范围内通过爬虫获取个人信息的，一般情况下，不宜以“侵犯公民个人信息罪”论处。二则需注意本罪从侵害对象或者法益看，行为对象必须是公民个人信息。如果行为人采取爬虫获取的并非个人信息，即使爬虫行为性质上非法，也不构成本罪。[20]
典型案例：马某侵犯公民个人信息案[21](https://www.daowen.com)
本案中，被告人马某为牟利，使用自己编写的爬虫程序窃取App及网站的用户信息，后使用微信聊天的方式出售给苏某某包括姓名、联系方式等内容的公民个人信息约20万条，非法获利共计人民币2.4万元。法院认为，被告人马某违反国家相关规定，窃取公民个人信息后向他人出售，情节特别严重，其行为已构成侵犯公民个人信息罪。
5.侵犯著作权罪
根据《刑法》第217条的规定，[22]如果行为人通过爬虫非法获取他人享有著作权的文字作品、音乐、电影、电视、录像作品、计算机软件及其他作品，并实施了通过信息网络向公众传播该等作品等行为，则可能构成侵犯著作权罪。
典型案例：金某某、潘某侵犯著作权案[23]
本案中，被告人金某某、潘某合伙成立冰豆公司，雇用员工开发“免费小说书城”手机APP软件，在该APP软件上提供各类网络小说的在线阅读服务。被告人潘某负责编写爬虫软件从互联网上抓取小说数据储存至其租用的阿里云服务器内。当用户在该手机APP软件上点击阅读某小说（仅有书名和目录）时，爬虫软件即从互联网上抓取用户所需的小说内容，发送并缓存至上述服务器内，供用户免费阅读。被告人金某某负责对该软件进行推广并联系广告商在该APP软件上登载广告，通过用户点击量谋取广告收益。经司法鉴定，该免费小说书城所关联的阿里云服务器内存储的部分文字作品侵犯了玄霆公司享有的作品信息网络传播权。法院认为，被告人金某某、潘某结伙，以营利为目的，未经玄霆公司许可，复制玄霆公司享有信息网络传播权的文字作品，并通过信息网络向公众传播，情节严重，其行为均已构成侵犯著作权罪。
除上述罪名外，根据《刑法》相关规定，如果通过爬虫对计算机信息系统实施了非法控制的，可能构成非法控制计算机信息系统罪；如果对计算机信息系统功能进行删除、修改、增加、干扰，造成计算机信息系统不能正常运行，则可能构成破坏计算机信息系统罪；如果爬取的数据信息属于被爬网站经营者的商业秘密，还可能构成侵犯商业秘密罪。在司法实践中，具体适用何种罪名，应当对比爬虫行为与特定罪名规制的犯罪行为，并结合该等爬虫行为所造成的危害后果加以判断。
（二）不正当竞争
恶意的爬虫使用可能构成不正当竞争行为。随着信息化社会的发展，数据的价值越发凸显。尤其是在互联网的商业模式背景下，经营者耗费了大量精力采集、挖掘、分析数据，经营者结合自身商业模式对于数据的合法利用能促使其产品、业务更加吸引用户，提高自身的商业竞争力。因此，在当前经济发展过程中，一方面既需要对经营者收集使用用户个人信息的行为加以规范，以保护用户的个人信息安全。另一方面也需要对经营者通过合法利用数据信息所产生的经济价值及其竞争优势加以保护，以促进数据的合法利用，促进互联网经济的健康发展。爬虫的价值在于更便利地获取数据，而如果行为人恶意使用爬虫抓取他人投入大量时间、精力收集、开发的数据并加以利用，换言之，也就是实施了我们通常所说的“搭便车”“不劳而获”等行为，会对经营者依赖数据所形成的竞争力造成损害，更进一步会破坏整个市场的合理竞争秩序，因此，有必要对基于爬虫的不正当竞争行为加以规制。
我国《反不正当竞争法》第2条对不正当竞争行为作出了规定：“经营者在生产经营活动中，应当遵循自愿、平等、公平、诚信的原则，遵守法律和商业道德。本法所称的不正当竞争行为，是指经营者在生产经营活动中，违反本法规定，扰乱市场竞争秩序，损害其他经营者或者消费者的合法权益的行为。本法所称的经营者，是指从事商品生产、经营或者提供服务（以下所称商品包括服务）的自然人、法人和非法人组织。”而如何认定爬虫使用相关行为是否构成不正当竞争、应否承担相应的法律责任？笔者选取了“百度公司与汉涛公司、杰图公司不正当竞争纠纷案（以下简称百度与大众点评案）”[24]“谷米公司与元光公司等不正当竞争纠纷案（以下简称谷米与元光公司案）”[25]，拟结合该等案例中法院对于不正当竞争行为的认定，从下述三个角度对爬虫使用是否构成不正当竞争加以分析。
1.经营者之间是否存在竞争关系
使用爬虫的经营者与被爬的经营者之间是否存在竞争关系是认定爬虫行为是否构成不正当竞争的前提。笔者将两个案例中法院对于双方是否存在竞争关系的分析概括总结如下：
从上述法院观点可以看出，在互联网环境下，经营者之间竞争的本质在于对网络用户的争夺，而不仅仅限于在同行业或相同业务领域之间的竞争。即使是不同行业、不同业务领域的经营者，只要双方之间存在对于相同网络用户（网络消费者）的争夺，即可能构成竞争关系。一方的不正当行为，吸引了更多网络用户的关注，导致他人经营的产品/业务对网络用户的吸引力降低，竞争优势受到损害，该等不正当行为即可能受到《反不正当竞争法》的规制。
2.是否存在不正当竞争行为
在经济发展过程中，正当的竞争行为可以实现优胜劣汰，促进经济发展，而不正当的竞争行为则会破坏市场经济秩序。因此，认定基于爬虫的特定行为是否构成不正当竞争行为，关键在于该等行为是否具备正当性。《反不正当竞争法》第2条对不正当竞争行为的概念界定为：经营者在生产经营活动中，违反本法规定，扰乱市场竞争秩序，损害其他经营者或者消费者的合法权益的行为。司法实践中通常依据是否违反诚实信用原则和公认的商业道德对特定行为是否具备正当性加以判断。
结合上述案例中法院的观点可以看出，他人通过投入大量时间精力获取数据并生产相关产品或提供相关服务，而其他经营者未付出自己的劳动创造，直接通过爬虫抓取他人数据并加以商业化利用，从而取得本不属于其的商业利益与竞争优势。而这种商业化利用又进一步削弱了被爬企业产品对用户的吸引力，或者更甚一步，对于被爬企业的产品产生了替代性，该等行为无疑对正常的市场竞争秩序造成了严重破坏。因此，通过恶意爬虫获取数据并加以利用的行为应当被认定为有违诚信原则和商业道德，具有不正当性。
3.被爬企业是否因不正当竞争行为导致其合法权益遭受损害
认定该问题，主要包括两个层次：一是被爬企业具备《反不正当竞争法》保护的合法权益，二是被爬企业的合法权益因爬虫企业的不正当行为遭受损害。
关于是否具备合法权益的认定，虽然我国法律当前数据的权利属性及其归属问题还没有明确的界定，但对于相关主体基于数据所享有的合法权益的保护已经形成一定的共识。经营者通过数据的采集加工等行为，并基于该等数据的商业化利用开发自身产品，形成自身的商业模式。该等数据的利用能够帮助经营者吸引用户，为经营者带来收入，或者为经营者带来潜在的交易机会，构成了经营者的竞争优势，其性质应当受到《反不正当竞争法》的保护，任何人都不能通过不正当行为侵害该等合法权益。在百度与大众点评案、谷米与元光公司案中，法院也对“合法权益”的认定进行了论述。
关于被爬企业的合法权益因爬虫企业的不正当行为遭受损害，并不限于被爬企业因此遭受了直接的经济损失。如前所述，互联网商业模式的实质在于对网络用户的争夺，在互联网经济背景下，损害的判断更多基于爬虫企业通过不正当行为所获取的竞争优势是否对被爬企业的产品/业务产生了实质性的替代。爬虫企业通过非法手段获取被爬企业的数据信息，并以此向用户推出自身的产品/服务，自然会导致使用被爬企业产品/服务的用户减少，造成被爬企业交易机会的流失以及竞争优势的削弱，对被爬企业享有的合法权益造成损害。在百度与大众点评案、谷米与元光公司案中，法院也持该等观点。
经营者之间是否具备竞争关系、是否实施了基于爬虫的不正当竞争行为、是否因此对被爬企业的合法权益造成了损害，这三个维度共同构成了认定爬虫行为是否构成不正当竞争、应否承担相应法律责任的要素。而根据《反不正当竞争法》的规定，行为人实施了不正当竞争行为，给他人造成损害的，应当依法承担民事责任，包括对受到损害的经营者的赔偿责任。同时，实施不正当竞争行为，还可能受到监管部门罚款等行政处罚。
（三）网络、数据安全
恶意爬虫对于网络与数据安全产生严重的威胁。行为人通过恶意爬虫绕开或者破坏网站的防护措施，实施非法侵入网站系统的行为，大量爬取网站系统存储的数据，严重干扰网站的正常运营。爬虫侵犯网络与数据安全的行为急需明确的法律规定予以惩治。如前文所述，我国《刑法》通过“非法获取计算机信息系统数据罪”“侵犯公民个人信息罪”等规定对爬虫使用达到犯罪标准的相关行为加以规制。但由于刑法本身的谦抑性，只有当爬虫行为产生严重危害后果时（如严重危害社会秩序），才有《刑法》的适用空间。对于爬虫侵害网络与数据安全的行为在未达到犯罪标准时，《刑法》则很难起到规制作用。因此，在《刑法》之外，仍然需要有关部门以行政手段，对爬虫相关危害行为通过施加行政责任进行惩戒，以保护网站运营者的合法权益，规范网络空间的良好秩序。
我国当前关于爬虫行为所应承担的行政责任集中于《网络安全法》的相关规定。其中《网络安全法》第27条明确了危害网络安全相关行为的禁止性规定：“任何个人和组织不得从事非法侵入他人网络、干扰他人网络正常功能、窃取网络数据等危害网络安全的活动；不得提供专门用于从事侵入网络、干扰网络正常功能及防护措施、窃取网络数据等危害网络安全活动的程序、工具；明知他人从事危害网络安全的活动的，不得为其提供技术支持、广告推广、支付结算等帮助。”《网络安全法》的该条规定在一定程度上与刑法第285条以及第286条关于“非法侵入计算机信息系统罪”“非法获取计算机信息系统数据、非法控制计算机信息系统罪”等规定相衔接。一旦行为人通过爬虫实施了“非法侵入”“干扰”“窃取”等行为或者向他人提供用于此类非法活动的程序、工具（包括爬虫程序），涉嫌违反《网络安全法》第27条的规定，则需承担一定的行政责任。同时，在《网络安全法》第63条，对违反该规定的行政处罚措施作出了具体规定。行为人实施第27条禁止的行为，尚不构成犯罪的，可能被处以“没收违法所得”“拘留”“罚款”等处罚。同时，对违反该条规定受到处罚的相关人员也作出了任职限制的规定：违反第27条规定，受到治安管理处罚的人员，五年内不得从事网络安全管理和网络运营关键岗位的工作；受到刑事处罚的人员，终身不得从事网络安全管理和网络运营关键岗位的工作。[26]
除《网络安全法》的相关规定外，网信办在2019年5月28日发布的《数据安全管理办法（征求意见稿）》第16条也对爬虫使用作出了限流规定：“网络运营者采取自动化手段访问收集网站数据，不得妨碍网站正常运行；此类行为严重影响网站运行，如自动化访问收集流量超过网站日均流量三分之一，网站要求停止自动化访问收集时，应当停止。”该条规定的必要性在于，从网站运营角度考虑，当有成千上万的爬虫机器人与同一网站进行交互时，网站将会失去对真实目标的判断，其很难确定哪些流量来自真实用户，哪些流量来自机器人。若网站运营者使用了掺杂虚假访问行为的缺陷数据，作出相关的营销决策，可能会导致大量时间和金钱的损失。[27]同时，《数据安全管理办法（征求意见稿）》第37条也规定了相应的行政处罚措施。网络运营者违反相关规定的，由有关部门给予公开曝光、没收违法所得、暂停相关业务、停业整顿、关闭网站、吊销相关业务许可证或吊销营业执照等处罚。[28]