昨天看了看3B(360VS百度)大战的八卦
百度有说360违反robots.txt准则抓取百度知道的页面
听说淘宝不让百度抓取，我就测试了一下
显然百度也不是好鸟，哈哈。
图的上面部分中，在天猫的robots.txt中明确禁止百度蜘蛛爬取的
下面是从百度搜索到的天猫的内容，而且有快照。
转载于:https://www.cnblogs.com/tanxstar/p/3433893.html
