近日，360公司和搜索巨头公司关于搜索引擎爬虫行为争议再度引发业界关注。分析人士认为，Robots协议不是行业法规或标准，不存在违反与不违反的问题，更不应该成为用于搜索市场竞争的武器。
据了解，Robots协议由荷兰籍网络工程师Martijn Koster于1994年首次提出，是一个被放置在网站中的.TXT文件，为搜索引擎爬虫做出提示，设置允许与不允许两种语句，网络爬虫据此“自觉地”抓取或者不抓取该网页内容。但Robots并不是一个规范，而只是一个约定俗成的协议。Robots协议创始人明确提出Robots协议是一个未经标准组织备案的非官方标准，不属于任何商业组织。
事实上，国际上从来没有任何组织或专家把Robots协议当成规范，甚至主动拒绝。欧美电信专家认为，由于Robots协议包含排斥性条款，搜索巨头可能会利用Robots协议的条款，迫使某些热门网站与其签署排他性协议，从而将后起竞争者挡在门外，维护垄断。业内专家认为，随着360搜索的份额提升，以及腾讯入股搜狗可能对搜索格局带来的影响，互联网市场尤其是搜索行业的竞争力被激活，能够促进创新，让网民受益。而对于Robots协议，不能生搬硬套，更不应成为搜索巨头滥用市场支配地位、阻击新公司入局的不正当竞争工具
|
