相关文章

沈阳网站制作让您理解robots协议

来源网址:http://www.syfcwl.com/

robots协议也就是robots.txt。网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。Robots协议是网站国际互联网界通行的道德规范,其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令,故需要搜索引擎自觉遵守。一些缺乏操守的搜索引擎或恶意软件(malware)经常通过忽略robots协议的方式,抓取网站拥有者不希望且通过robots.txt明确禁止抓取的信息,以达到自己的目的。

robots协议二大原则

1、搜索技术应服务于人类,同时尊重信息提供者的意愿,并维护其隐私权;

2、网站有义务保护其使用者的个人信息和隐私不被侵犯。

百度、360、搜狗等12家搜索引擎服务企业在北京签署了《互联网搜索引擎服务自律公约》,公约规定,对于本公约公布前违反robots协议抓取的内容,在收到权利人符合法律规定的通知后,及时删除、断开侵权链接。

在互联网高速度发展的时代,搜索引擎服务企业给整个互联网带来了70%-80%的流量,也带来了很多商机,而做为流量最为重要的搜索引擎服务。它的行业就有一种robots协议,这也是搜索引擎抓取网站信息的一把钥匙。而如今很多网站进行的网络营销就直接跟这个协议有关,也是搜索引擎过滤不正规网站的一个把门关。所以,在今天互联网越来越发达的今天,这个协议又现得尤为重要。