法律咨询热线：13113669159
资料仅用于个人学习,如需引用,请注明出处.
——搜索引擎爬虫协议引发的思考
张 平
2013/5/23 9:01:19
【学科类别】反不正当竞争与反垄断法
【出处】《法律适用》2013年第3期
【写作时间】2013年
【中文关键字】反不正当竞争法；一般条款
【全文】
互联网的蓬勃发展给企业带来生机同时也产生了前所未有的激烈的市场竞争，相对于互联网发展的速度，立法相对滞后。考察我国目前对于互联网行业竞争行为的规制现状，可以发现，相关法律法规具有明显的反应性与被动型，并且存在不足。可以说，互联网的发展推动着立法的完善，技术的进步是互联网法律发展的动力。我国在1993年出台了《反不正当竞争法》，在2000年颁布了《中华人民共和国电信条例》和《互联网信息服务管理办法》，迫于360公司与腾讯公司之间“3Q”大战引发的压力，在2011年，工信部出台了《互联网信息服务市场秩序监督管理暂行办法（征求意见稿）》，2012年6月，国务院出台了 《互联网信息服务管理办法 （修订草案征求意见稿）》。2012年8月以来，随着百度与360公司关于搜索引擎爬虫行为争议引发的“3B”大战，又将互联网多年遵循的处于后台的行业惯例（即“爬虫协议”）的法律效力问题推到了前台，在无法寻找到直接的法律规范的情况下，能否在现有法律中如《反不正竞争法》寻找解决问题的途径成为讨论的热点。
《反不正当竞争法》由于颁布时间过早 ，对于之后的技术发展很难有预见性，其规定的具体不正当竞争行为很难适用于如今的互联网领域。因此，大家都将目光投向了《反不正当竞争法》的一般条款，试图通过适用一般条款，对互联网的竞争行为进行规制。
一、基于《反不正当竞争法》的法理分析
（一）《反不正当竞争法》对于商业道德的保护
对于何为不正当竞争行为，我国和大多数国家一样，采用了概括和列举相结合的立法技术来规定不正当竞争行为。[1]我国《反不正当竞争法》第2条第1款规定，“经营者在市场交易中，应当遵循自愿、平等、公平、诚实信用的原则，遵守公认的商业道德。”第2款规定，“本法所称不正当竞争行为，是指经营者违反本法规定，损害其他经营者的合法权益，扰乱社会经济秩序的行为”。在原则性的规定以外，《反不正当竞争法》 还在第二章列举了11种不正当竞争行为，包括仿冒、限制竞争、权力经营、商业贿赂、虚假广告、侵犯商业秘密、倾销、不正当附条件销售行为、不当有奖销售、损害商业以及串通投标。
但是这是否意味着我国《反不正当竞争法》就存在所谓的一般条款在学界仍有争论。目前主要有三派观点，即“一般条款说”、“法定主义说”以及“有限的一般条款说”。
“一般条款说”认为《反不正当竞争法》所调整不正当竞争行为应当不限于第2章所列举的11种行为，它还包括该法总则尤其是第2条第2款的规定所认定的行为。“法定主义说”则持相反意见，理由在于：第一，法条通过“违反本法规定”的表述限定了该条款乃至该法的适用范围；第二，从法律条文的一般关系看，通常确立“一般条款”的立法，都会在下文列举不正当竞争行为的类型时添加类似“其他不正当竞争行为”的兜底性条款，而我国并没有这样的规定。[2]“有限的一般条款说”认为，司法机关可以据此认定不正当竞争行为，但行政机关不能依据该条认定不正当竞争行为，该条只对司法机关有意义，对行政机关不具有意义。[3]
笔者赞同“有限的一般条款说”。我国《反不正当竞争法》已经颁布实施十几年，实际情况发生了极大的变化，采用“法定主义说”将会对《反不正当竞争法》的适用造成极大的限制，不符合现实情况。“一般条款说”过于灵活，如果不加限制地赋予执法机关根据个案随时认定不正当竞争行为的权力，会导致行政权力的滥用。同时，由于《反不正当竞争法》第4章所规定的法律责任与第2章相对应，第2条的规定很难适用。因此，《反不正当竞争法》的第2条是一个“有限的一般条款”。该条款对于不同的竞争行为具有不同的意义，有学者认为：第一，对于须予以行政处罚而《反不正当竞争法》又未列举的不正当竞争行为，按照一般条款将其确定为不正当竞争行为没有意义，除非行政法规、地方性法规另有规定。第二，对于受害人请求赔偿，而《反不正当竞争法》又未列举的不正当竞争行为，任何一级法院可以根据个案将其确认为不正当竞争行为，判令行为人承担民事责任。[4]依据以上观点的分析，我国《反不正当竞争法》第二章所列举的11种具体的不正当竞争行为中并不包括对违反一般商业道德行为的规制。因此，如果试图通过《反不正当竞争法》寻求对商业道德的保护，就必须适用其一般条款。
一般条款中对于商业道德的保护在反不正当竞争法中所扮演的角色十分重要。可以说，反不正当竞争法的精髓是维护商业伦理或者商业道德，这与维护竞争自由的反垄断法形成鲜明的对比。[5]我国《反不正当竞争法》的第1条对该法的立法目的作出了规定 ，即“保障社会主义市场经济健康发展，鼓励和保护公平竞争，制止不正当竞争行为，保护经营者和消费者的合法权益”是我国《反不正当竞争法》所要达到的目标。可以看出，该立法目的体现的是对于市场经济发展的维护、对经营者与消费者利益的保障，是一种对于商业道德的维护。这种对于商业道德维护的立法精神在第2条体现的更为明显，该法第2条第1款规定了“经营者在市场交易中，应当遵循自愿、平等、公平、诚实信用的原则，遵守公认的商业道德”的基本原则。该法第2条也被普遍认为是我国《反不正当竞争法》的一般条款，对于社会主义市场经济的健康发展具有重要意义。
如前所述，《反不正当竞争法》 的主要立法目的和基本原则就是维护商业伦理。《保护工业产权巴黎公约》第10条之二所规定的，不正当竞争是指“在工商业活动中违反诚实惯例的任何竞争行为”，“违反诚实惯例”是判断竞争行为是否正当的基本标准。[6]而在判断竞争行为时，这种“诚实惯例”的标准是一种道德标准。
因此，对于不正当竞争行为的考量，尤其涉及对于商业道德的保护，应该适用《反不正当竞争法》的一般条款，在适用一般条款是，我们需要注意一般条款的适用范围边界，防止对于法律的扩大适用。
（二）一般条款的定义及适用
1.一般条款的定义
通常所说的法律上的一般条款，主流观点比较认同由日本法学家我妻荣主编的《新法律学词典》对于一般条款的定义，“一般条款又称为概括性条款，大致在两种意义上使用。（1）把法律上的要件制定为抽象的、一般的规定。其具体适用听任法官，具有灵活性，在根据社会情况变化可追求妥当性这一点上，是有特点的。私法上多用于这一意义。（2）公法上，例如‘认为公益上有需要时’，指以不确定的概念为行政行为要件规定，也还有把与一定情形有关的情况统一整理为对象的规定。”对于《反不正当竞争法》所涉的一般条款，孔祥俊认为，反不正当竞争法上的一般条款即规定执法机关或者法院，在法律具体列举的不正当竞争行为以外认定其他不正当竞争行为的要件的抽象的或者概括的规范。[7]
2.一般条款的适用范围
（1）基本要求
对于《反不正当竞争法》一般条款的适用应满足以下基本要求：①贯彻《反不正当竞争法》的立法宗旨；②把握《反不正当竞争法》一般条款的核心原则；③进行利弊权衡。
《反不正当竞争法》的宗旨由该法的第1条予以规定，即“保障社会主义市场经济健康发展，鼓励和保护公平竞争，制止不正当竞争行为，保护经营者和消费者的合法权益”。因此，在适用一般条款时，应当考虑不正当行为是否有损于社会主义市场经济的健康发展，是否产生了不正当竞争，是否侵害了经营者和消费者的合法权益。
一般条款的核心原则包括诚实信用和遵守商业道德。二者是判断竞争行为是否正当的基础。当面临某一竞争行为是否构成《反不正当竞争法》意义上的不正当竞争行为时，应考量其是否违背了诚实信用原则或违背了基本的商业道德。对于诚实信用原则和商业道德的进一步解释将在下文进行论述。
进行利弊权衡是指法官应以《反不正当竞争法》的立法目的为主导，综合考虑竞争主体、消费者和社会公共利益，按一般条款规定的原则判断究竟应注重哪一方的利益。[8]进行利弊权衡的同时，需要强调的是必须以前两项基本要求为基础，否则容易导致一般条款的适用偏差。
（2）一般要件
如前所述，对我国《反不正当竞争法》应采取“有限的一般条款说”，其适用依赖于最高人民法院对于一般条款的解释。
最高人民法院在“山东省食品进出口公司、山东山孚集团有限公司、山东山孚日水有限公司与马达庆、青岛圣克达诚贸易有限公司不正当竞争纠纷案”[9]（以下简称“海带配额”案）中对我国《反不正当竞争法》一般条款的适用作出了解释，认为适用《反不正当竞争法》第2条应具备以下条件：①法律对该种竞争行为未作出特别规定；②使其他经营者的合法权益确因该竞争行为而受到了实际损害；③该种竞争行为因确属违反诚实信用原则和公认的商业道德而具有不正当性或者说可责性。
第一个要件要求竞争行为必须不属于 《反不正当竞争法》的二章列举的11种具体行为中的任何一种。否则，将直接适用第二章的具体规定，讨论一般条款的适用是没有意义的。
第二个要件实际包含三个方面。首先要求受侵害的对象为其他经营者，也就是说该种不正当竞争手段损害的是其他经营者的利益，不正当竞争之诉的请求权主体只能是经营者并非消费者。[10]其次，合法权益的损害与不正当竞争行为具有因果关系。这里强调合法权益的损害必须是由该不正当竞争行为导致的，如果损害是由于其他因素所引发，则不应适用一般条款。第三，必须造成了实际损害。这是对不正当竞争行为损害结果的要求，这种损害结果必须是实际的，防止了一般条款的滥用。
第三个要件是对诚实信用原则以及商业道德的要求。最高法院在“海带配额”案中对于反不正当竞争法意义上的诚实信用原则以及商业道德进行了具体的解释，最高法院认为，“在规范市场竞争秩序的反不正当竞争法意义上，诚实信用原则更多的是以公认的商业道德的形式体现出来的。商业道德要按照特定商业领域中市场交易参与者即经济人的伦理标准来加以评判，它既不同于个人品德，也不能等同于一般的社会公德，所体现的是一种商业伦理。反不正当竞争法所要求的商业道德必须是公认的商业道德，是指特定商业领域普遍认知和接受的行为标准，具有公认性和一般性。即使在同一商业领域，由于是市场交易活动中的道德准则，公认的商业道德也应当是交易参与者共同和普遍认可的行为标准。具体到个案中的公认的商业道德，应当结合案件具体情形来分析判定。”[11]
（三）一般条款的功能
通常情况下，一般条款在一部法律中都居于核心地位，因为其决定着该部法律的价值取向、基本内容和框架。一般条款通常有如下作用：第一，法具体化机能，即在制定法范围内，补充其规定之不备，使其适合制定法精神的具体化；第二，正义平衡机能，即制定法外之伦理依据，使行使权利合乎实质的正义平衡机能；第三，法修正机能，即为使制定法适合时代社会之进展需要而具有的制定法修正作用；第四，法创设机能，即为适应时代需要，而创设与制定法相反的法的机能与前述使制定法适合时代社会之进展需要，而修正制定法之机能不同。[12]
具体到我国《反不正当竞争法》中，可以将一般条款的功能概括为以下几个方面。
第一，一般条款可以弥补《反不正当竞争法》的不足，即法具体化之机能。成文法具有不周延性和滞后性的特点。限于文字表达的固有缺陷，很可能造成许多应该被纳入法律规定的内容被法条的具体规定所排除。为了减少这种固有的缺点，就需要为不正当竞争行为提供一个统一的一般规则，或者规定不正当竞争行为的具体条款，以增强不正当竞争行为的认定标准的客观性。[13]同时，社会是不断变化发展的，即使法律对现有的不正当竞争行为进行了详细的规定，也不能保证其能够适用于将来新出现的不正当竞争行为。一般条款的存在可以很好地解决这个问题。一般条款的规定一般比较抽象，司法机关可以对抽象的概念进行解释，将《反不正当竞争法》适用于将来出现的新的不正当竞争行为。
第二，一般条款可以增强反不正当竞争法的灵活性，即法修正机能。随着社会主义市场经济的发展，《反不正当竞争法》 所涉及的不正当竞争行为以及领域将会越来越广。如果没有一般条款，那么《反不正当竞争法》将会十分僵化，失去生命力。一般条款使《反不正当竞争法》可以根据社会经济的变化不断调整，增强了其灵活性与适用性，可以保持长久的生命力。
第三，一般条款可以为竞争行为提供基本的道德标准与价值判断，即正义平衡机能。一般条款所规定的道德标准是竞争者处于经营活动的特定时间、空间和领域的文化积累和价值判断，是竞争者参与竞争的基本准则。[14]一般条款中所规定的诚实信用原则、商业道德等相关规定，为竞争者提供了道德与价值判断的标准，要求人们的竞争行为符合公平与道德。在这一标准中，竞争中的义务来源和范围大大扩展了，不再要求只是法律所明确列举的行为才是法律禁止的，凡是违反这些道德观念和伦理标准的行为，不论它是否被列举条款所明确禁止，都是为《反不正当竞争法》所禁止的。[15]因此，《反不正当竞争法》的一般条款提供了行为人参与市场竞争的基本判断标准。
因此，《反不正当竞争法》 的一般条款能够克服法律的不完备性，增强法律的适用性与权威性，提供竞争行为的道德标准以及价值判断，具有十分重大的意义。
二、互联网行业基本准则与《反不正当竞争法》一般条款
在互联网发展的早期，互联网受政府和国家的干预很少，互联网的使用者发展了自己的非正式规则，可以被称为“网上礼节”，即一种非正式的、非文字的而又被普遍接受的特别有关于互联网上的行为的规则。[16]随着互联网的发展，政府与国家开始通过政策与法律干预互联网的发展，但是这些基本的“网上礼节”保留了下来，同时，随着互联网技术的不断发展，在很多新的领域，也形成了新的“网上礼节”。这些“礼节”就是互联网行业的一些基本行为准则。
根据《中国互联网行业自律公约》中对于互联网行业的定义，互联网行业是指从事互联网运行服务、应用服务、信息服务、网络产品和网络信息资源的开发、生产以及其他与互联网有关的科研、教育、服务等活动的行业的总称。[17]互联网行业的基本准则就是指上述定义中各个部门都普遍接受的规则。这种基本准则并非法律法规所强制规定的，是互联网行业各个部门参与者自愿遵守的。在整个互联网行业的各个部门内部，也有其部门特有的一些基本准则，同样，它们也是由具体部门中的参与者所自发地、共识地遵守的基本行为规范。
无论是整个互联网行业的基本准则还是具体到行业各个部门的基本行为规范，无疑都要求企业遵守诚实信用原则，遵守基本的商业道德。工信部发布的《规范互联网信息服务市场秩序若干规定》第4条规定，“互联网信息服务提供者应当遵守平等、自愿、公平、诚信的原则提供服务”。公平诚信是互联网信息服务提供者所应当遵守的底线，互联网行业应当遵守商业道德和行业规范。《规范互联网信息服务市场秩序若干规定》第5条列举了互联网信息服务提供者不得实施侵犯其他互联网信息服务提供者合法权益的行为，虽然其中并没有包括爬虫协议的遵守，但是在第5条第6款规定了“其他违反国家法律规定，侵犯其他互联网信息服务提供者合法权益的行为”。这里的“其他违反国家法律规定”的行为可以理解为违反《反不正当竞争法》一般条款的行为，也是一种对于互联网行业商业道德的规定。
同时，根据最高人民法院在“海带配额”案中的解释，商业道德是指特定商业领域普遍认知和接受的行为标准，具有公认性和一般性。可见，互联网行业的基本准则作为互联网行业领域普遍认知和接受的行为标准，实际上就是互联网行业的商业道德，对于互联网行业基本准则的违反就是对互联网行业商业道德的践踏。
前文已述，对于一般条款中所规定的不正当竞争行为的判断应当以是否违反了诚实信用原则以及公认的商业道德作为判断的标准。互联网行业的基本准则属于互联网行业的商业道德，对于基本准则的违反也就意味着对于商业道德的违反，那么违反互联网行业基本准则的行为就很可能构成《反不正当竞争法》一般条款所规定的不正当竞争行为，就会受到《反不正当竞争法》的规制。实际上，对于《反不正当竞争法》一般条款对于互联网规制的所起到的作用，最高人民法院法官孔祥俊已经作出过十分准确的论断，他认为《反不正当竞争法》具有兜底性，在调整网上不正当竞争行为中具有特殊作用。[18]
三、爬虫协议与《反不正当竞争法》的一般条款
违反爬虫协议的行为在业界最受谴责，也最容易引起相关法律争议。
爬虫协议的概念，源自于英文的“robots.txt”，即网络机器人协议。robots协议官方网站（http：//www.robotstxt.org）对网络机器人（robots）所下的定义为：网络机器人（也叫网络游客、爬虫程序、蜘蛛程序），是一种自动爬行网络的程序。搜索引擎比如Google利用这一程序对网站内容建立索引，垃圾邮件商也利用网络机器人程序扫描邮件地址，网络机器人程序还有其他的用途。而爬虫协议即robots协议是指网站所有者利用robots文本文件指导他们的网站如何应对网络机器人，也叫做拒绝网络机器人协议。
爬虫协议的工作原理是：一个机器人程序想要访问一个网站url，如：http：//www.example.com/welcome.html，它会首先检查这个地址：http：//www.example.com/robots.txt，如果它检查后发现：User-agent：*或Disallow：/，“User-a-gent：*” 指这个部分适用于所有的机器人程序 ，“Disal-low：/” 则告诉机器人程序不应该访问这个网站的所有网页。[19]
（一）爬虫协议与商业道德
从行业内的基本实践以及法院的相关判决中我们可以看出，遵守爬虫协议已经成为互联网行业的基本行业规范，此次360搜索违反的爬虫协议实际上是搜索引擎行业所公认的行业规范。
从互联网行业的基本实践角度考察，1994年6月30日，在经过搜索引擎人员以及被搜索引擎抓取的网站站长共同讨论后，正式发布了一份行业规范，即robots.txt协议。[20]在此之前，相关人员一直在起草这份文档，并在世界互联网技术邮件组发布后，这一协议被几乎所有的搜索引擎采用，包括最早的altavista，infoseek，后来的google，bing，以及中国的百度、搜搜、搜狗等公司也相继采用并严格遵循。在中国国内互联网行业，大型网站也基本都将爬虫协议当作一项行业基本准则。
从法院判例角度考察，在Copiepresse诉Google案中，Copiepresse （比利时一家报业集团 ） 认为Google提供的“Google News Belgium”服务，是由计算机生成分类的每日新闻评论，Google在未经版权人许可的情况下复制并向公众提供其版权作品，侵犯了其著作权和报业特有的数据库。Google抗辩称，Copiepresse并未采取爬虫协议来告知其访问政策，构成对搜索引擎抓取其内容的默示许可。[21]最终比利时高级法院判定Google败诉，法官认为，版权属于排他性权利，未使用爬虫协议并不代表默示许可。换句话说，如果存在爬虫协议，那么搜索引擎就应当遵守。
另一起与爬虫协议相关的国外判例是eBay诉Bidder,sEdge案，eBay是电子交易网站，而Bidder,s Edge（下称BE）是一个提供一站式拍卖搜索服务的网络服务提供商，其数据库搜集包括eBay在内的电子交易网站大量的拍卖信息。本案中，eBay的用户协议明确规定了使用爬虫访问其网站必须经过其书面同意，并且通过爬虫协议向各爬虫程序说明其网站访问政策。在当事人双方未达成书面协议的情况下，BE却通过爬虫收集eBay网站的拍卖信息。法官认为，BE在没有获得eBay授权的情况下，对eBay的网站进行反复地查询抓取，构成侵权。[22]因此，根据本案法官所得出的结论，在对方设置了爬虫协议的情况下，搜索引擎如果不遵守该协议，会涉及侵权。
对于爬虫协议的相关判例，除了国外法院的判决之外，国内也存在一些具有指导借鉴意义的相关判例，其中法院对爬虫协议的效力都进行了相应的确认。在一起有关百度搜索侵犯隐私权的案例中，原告向万网公司发送了附有其个人信息的电子邮件，但是通过百度搜索，可以搜索到万网公司电子邮箱中关于原告的个人信息，因此，原告起诉两家公司，要求其就对其隐私权的侵害赔礼道歉并赔偿损失。北京市一中院认为，万网公司已按行业惯例在根目录下安装了禁止链接的robots协议，即采取了安全防范措施。百度搜索引擎在进行抓取和收集互联网信息时，除非有证据证明其恶意获取相关信息，否则其行为并无不当。[23]因此，对于搜索引擎来说，只要其在进行信息收集及抓取的过程中遵守了爬虫协议，就不会构成侵权。
北京市一中院在另一起浙江泛亚电子商务有限公司诉百度著作权侵权的案件中，再一次确认了爬虫协议的相关效力。原告泛亚公司称在百度搜索其享有著作权的3首歌曲时，百度会提供可以进行免费下载该歌曲网站的链接，侵犯了其著作权。法院在判决中认为，权利人在针对搜索引擎的维权行为中，可以选择明示禁止收录的措施，比如网站可以创建robots.txt文件，以告知搜索引擎哪些内容可以收录，搜索引擎可以合法地收录未被禁止链接的网站。从这份判决可以看出，搜索引擎在提供搜索服务时，应当遵守爬虫协议。[24]
通过以上4个案例可以看出，虽然在国内外的各个案例中，法院对于爬虫协议的性质以及法律地位的认定并不完全相同，但是都认同互联网企业应当遵守爬虫协议，在eBay诉Bidder,s Edge案中，法官认为，如果违反爬虫协议，可能构成侵权。因此，遵守爬虫协议已经成为互联网行业内部的行业基本规范与准则。根据“我国海带配额”案中最高法院对于商业道德的解读，爬虫协议是互联网领域普遍认知和接受的行为标准，具有公认性和一般性，属于公认的商业道德，对这一行业基本准则的违反属于违反互联网行业的商业道德。
（二）爬虫协议与《反不正当竞争法》一般条款
《反不正当竞争法》的一般条款要求经营者在市场交易中，应当遵循自愿、平等、公平、诚实信用的原则，遵守公认的商业道德。根据上文的分析，构成适用《反不正当竞争法》 一般条款的构成要件是：1.法律对该种竞争行为未作出特别规定；2.其他经营者的合法权益确因该竞争行为而受到了实际损害；3.该种竞争行为因确属违反诚实信用原则和公认的商业道德而具有不正当性或者说可责性。在“3B”大战中，违反爬虫协议的行为并不属于我国《反不正当竞争法》第二章中规定的11种具体的不正当竞争行为，该行为擅自抓取其他网站上的信息和可能造成著作权、隐私权侵权，以及设置爬虫协议网站其他商业利益的损失，同时违反作为行业基本准则的爬虫协议，构成了对互联网领域内基本商业道德的违反。因此，违反爬虫协议的行为符合适用反不正当竞争法一般条款的三个要件，可能构成不正当竞争。
四、思考：技术标准与行业惯例
在技术快速进步的时代，规制技术前沿领域是十分困难的，多变的互联网一夜之间就会产生出许多新的商业模式，技术开发者以技术先进性为追求目标，商人以最大盈利为目标，他们在推出新的商业模式和新技术时不会太多考虑法律的存在，于是在互联网领域，技术的快速发展与法律的严重滞后这一矛盾就更加突出。面对这一矛盾，法律的原则性条款在解决新问题方面有着得天独厚的优势，学者与司法实践人员都越来越注重原则条款在反不正当竞争领域内的作用。同时在法律缺位时，互联网也依靠她自身强大的调节作用、依靠行业自律规则和技术标准保持她的良好运转。我们能够看到如下两种作用。
（一）依靠技术规范管理——技术标准的作用
现代互联网是依据技术协议构建秩序的，经由各种组织和工程师们的多种汇集产生的基础协议TCP/IP协议最具有代表性，它是被用作连接计算机和网络的上百个协议的基础，它构建了信息传输的一整套技术标准，在这些技术标准中，尽管充满着创新的结晶——专利技术，但他们都被无偿的奉献给了互联网的基础设施。这些协议规范着信息高速公路上的通行者，没有警察但是有红绿灯，这是严格的技术规范世界。
合同、合意和工程协议提供了互联网管理的基础，也创建了反映在互联网用户的法律关系中的框架。理解互联网协议在未来制定法律时非常有帮助，正是因为互联网协议本身性质而非违法行为决定了：对网上的不法行为强加第三方责任特别是版权侵权责任的必要性，也是由于协议的性质使得要在网络空间中衡量管辖权。
新的技术标准也可能会影响预料之中和预料之外的网络法律关系。云技术介入互联网，物联网的开始都是技术标准先行。工程师们继续发展新的协议去扩展互联网的容量和效率。随着新的标准的采纳，技术将继续推动法律产生变化，从这个意义上看，掌控了互联网新的技术标准也就掌控了未来法律的方向。
（二）非正式规则与惯例——行业惯例与自律规则
千百年来习惯法确立的是：惯例和习俗能确定什么是合理的。在缺乏强制性规则和技术标准的互联网领域，惯例和习俗形成的规律是：最初时大家各自采用不同的做法，随后某个人或某些人提出一种倡议的规范，慢慢地开始有人遵循使用，随着使用的人越来越多，逐渐演变成行业通用的惯例，大家都遵照使用，但规范本身并未被法律或行业组织确定为具有强制性，例如超文本传输协议（Http协议）[25]、记录网民访问记录的Cookie[26]，以及前文涉及的爬虫协议等。
这些规范对于调节互联网参与各方的行为发挥着重大的作用。互联网没有国界，如果某一国家的互联网从业者不遵守国际通用的规范，将导致国际互联网行业的排挤，使整个国家的互联网行业无法融入世界。
因此，如果是国际通用的技术标准或行业惯例，法院应当将其确立为具有法律效力的商业习惯法，在发生违约或者侵权案件时，在法律缺位的情况下，自愿性的规范应当被倡导，而基于商业道德和行业惯例的自律规则更应当得到法律的支持。
【作者简介】
张平，单位为北京大学法学院。
【注释】
[1]参见种明钊主编：《竞争法》，法律出版社2008版，第112页。
[2]同上注。
[3]参见孔祥俊：《反不正当竞争法的适用与完善》，法律出版社1998年版，第53-57页。
[4]同上注，第54页。
[5]孔祥俊：《反不正当竞争法新论》，人民法院出版社2001年版，第5页。
[6]同上注，第89页。
[7]同注[5]，第180页。
[8]参见徐广丽：《我国〈反不正当竞争法〉中的一般条款及适用》，中国期刊网博士、硕士论文全文数据库。
[9]参见最高人民法院（2009）民申字第1065号民事裁定书。
[10]参见刘维：“反不正当竞争法一般条款的适用边界”，载《湖北社会科学》2011年第12期。
[11]参见最高人民法院（2009）民申字第1065号民事裁定书。
[12]参见林诚二：《民法理论与问题研究》，中国政法大学出版社2000年版，第8-9页。
[13]同注[5]，第181-182页。
[14]同注[8]。
[15]参见谢晓尧：《竟争秩序的道德解读：反不正当竞争研究》，法律出版社2005年版，第37一39页。
[16]同注[5]，第218页。
[17]参见中国互联网行业协会官方网站：“中国互联网行业自律公约”，载http：//www.isc.org.cn/hyzl/hyzl/listinfo-15599.html ，2013年1月12日访问。
[18]同注[5]，第223页。
[19]参见http：//www.robotstxt.org，2012年12月8日访问。
[20]参见http：//www.robotstxt.org/orig.html，2013年1月12日访问。
[21]See the Decision of the Court of First Instance in Brusselson Copiepresse v. Google.
[22]See EBAY，INC. vs. BIDDER'S EDGE，INC.，100 F. Supp. 2d 1058.
[23]参见北京市第一中级人民法院民事判决书，（2008）一中民终字第5715号。
[24]北京市第一中级人民法院民事判决书，（2006）一中民初字第6273号。
[25]参见“维基百科”，载http：//zh.wikipedia.org/wiki/%E8%B6%85%E6%96%87%E6%9C%AC%E4%BC%A0%E8%BE%93%E5%8D%8F%E8%AE%AE，2013年1月12日访问。但这种业界普遍使用的“协议”（Protocol）与法律意义上的 “协议”的含义并不完全一致，难以直接用合同法来规范参与各方的权利义务。
[26]参见“维基百科”，载http：//zh.wikipedia.org/wiki/Cookie，2013年1月12日访问。