Posted on

通过site命令判断淘宝是否屏蔽或禁止百度收录

qq群有人问“淘宝是否屏蔽百度收录”?我觉得这个问题有点意思,所以拿来学习一下

有三种方法检查:

1.找出淘宝相关的新闻或者百度相关新闻,确认官方已经说明禁止百度收录或者淘宝屏蔽百度

https://www.google.com.hk/#hl=zh-CN&newwindow=1&safe=strict&q=%E6%B7%98%E5%AE%9D+%E7%99%BE%E5%BA%A6+%E6%94%B6%E5%BD%95&oq=%E6%B7%98%E5%AE%9D+%E7%99%BE%E5%BA%A6+%E6%94%B6%E5%BD%95&gs_l=serp.3..0i8i30l3.145678.150482.10.150823.19.19.0.0.0.3.153.1574.15j3.18.0…0.0…1c.1j4.PdTAqNlmlQk&bav=on.2,or.r_gc.r_pw.&fp=968d90fd3022926a&biw=1366&bih=652

从结果看,已经知道淘宝已经屏蔽百度了

 

2.检查robots.txt文件配置

http://www.taobao.com/robots.txt

User-agent: Baiduspider
Disallow: /

User-agent: baiduspider
Disallow: /
----这里写的很明白,禁止百度蜘蛛仔爬网,淘宝是不愿意被收录的,但这里只是简单的屏蔽哦
 
3.搜索淘宝域名检查是否已经没有收录

分别在百度和google搜索:site:taobao.com (注意,不要带www,很多网站二级链接都没有带www,带上会漏掉很多网页哦。)

baidu 找到相关结果数2,820,000个。
google 找到约 43,400,000 条结果 (用时 0.09 秒)

image

从内容可以看出2个问题

1.百度还是继续索引taobao的内容,但只是部分索引,没有全部(还是产品内容只给自己的“百度有阿”查看??不公开?)

2.百度索引比google索引的内容少一个数量级,google平时索引网页的数量也是比百度大的,今天依然是那么大,呵呵

 

所以我们这个问题的答案是:部分收录,没有完全屏蔽,这个是自愿还是被QJ还是大家默认了这种方式就只有当时人知道了:)