搜索引擎robots.txt用法

2017-03-25 文章来源: ：瑞诺国际 | 关键词：搜索引擎营销

　　想必每一位站长优化人员都知道搜索引擎蜘蛛，但有关蜘蛛爬寻协议，却很少有人谈起，其实利用好robots文件是很容易让网站提高权重的，下面就由搜索引擎营销小编为大家分享

　　第一，用robots屏蔽网站重复页

　　目前很多网站提供一个内容页多种浏览版本，这样做对用户来说当然好，但是对于蜘蛛爬行来说相当的困难，因为它是无法自己分主次的，一旦让它认为你在恶意重复，那你的网站就危险了。

　　User-agent： *

　　Disallow： /sitemap/ 《禁止蜘蛛抓取文本网页》

　　第二，用robots保护网站安全

　　很多人搞不明白，怎么robots就跟网站安全挂上勾了?其实两者关系很大，一些技术低级的黑客就是通过搜索默认后台登陆，以达到入侵网站的目标

　　User-agent： *

　　Disallow： /admin/ 《禁止蜘蛛抓取admin目录下所有文件》

　　第三，防止盗链

　　User-agent： *

　　Disallow： .jpg$

　　第四，提交网站地图

　　现在大多优化者都会在网站上做网站地图，但是又没几个人知道怎么提交，绝大多数人是干脆在网页上加个链接，其实robots是支持这个功能的

　　Sitemap：

　　第五，禁止某二级域名的抓取

　　一些网站对用户提供了一些服务，但是又不想让搜索引擎抓取

　　User-agent： *

　　Disallow： /

　　以上五点足够让你对搜索引擎蜘蛛掌控能力提升不少，就像百度说的：我们和搜索引擎应该是朋友，增加一些沟通，才能消除一些隔膜。