禁止搜索蜘蛛爬行抓取和收录之Noindex,Nofollow和Noarchive区别

由于某些原因我们不愿让搜索引擎抓取和收录我们的网站,这几天就有客户找到我,自己辛苦写的文章是有版权的,不希望被转载和引用,不希望被谷歌抓取和收录,虽然在robots里

禁止搜索蜘蛛爬行抓取和收录之Noindex,Nofollow和Noarchive区别

2018-01-03 11:29       北京电脑家教网

由于某些原因我们不愿让搜索引擎抓取和收录我们的网站,这几天就有客户找到我,自己辛苦写的文章是有版权的,不希望被转载和引用,不希望被谷歌抓取和收录,虽然在robots里加了限制,但是还是能检索和被别的网站引用。

关于限制禁止搜索蜘蛛爬行抓取和收录的方法网上有很多这样的文章,不再展开,今天特别说一下Noindex,Nofollow和Noarchive的区别。

一、先来认识一下各种主流搜索引蜘蛛的英文单词

robots:所有的搜索引蜘蛛

Baiduspider:百度蜘蛛

Googlebot:谷歌蜘蛛

360Spider:360蜘蛛

Sogou News Spider:搜狗蜘蛛

bingbot:必应蜘蛛

二、7个常用的基本命令

index:告诉搜索引擎抓取这个页面;

noindex:告诉搜索引擎不允许抓取这个页面

follow:告诉搜索引擎可以从这个页面上找到链接,然后继续访问抓取下去。

nofollow:告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。

noarchive:阻止搜索引擎在搜索结果中显示该页面的缓存版本,就是快照。

nosnippet:告诉Google不要在搜索结果页的列表里显示含此标签的网站的描述语句,并且不要在列表里显示快照链接。

noimageindex:禁止搜索引擎索引本页面上的图片,本页面上的图片不会显示在搜索结果中。

根据以上的命令,我们可以进行几种组合

1、不许抓取本页,但是可以顺着本页抓取索引别的链接

2、可以抓取本页,但是不许顺着本页抓取索引别的链接

3、不许抓取本页,也不许顺着本页抓取索引别的链接。

4、不允许抓取本文某一个链接。

meta标签慢慢被越来越多的搜索引擎所应用,了解meta标签,大家可以对自己的博客或网站可以进行简单的SEO配置。微信号:itjiajao,QQ:422355929;欢迎相互学习,共同交流进步!