最近在分析我的一个网站，发现百度蜘蛛比谷歌、搜狗的蜘蛛反应速度慢多了。
以图为证：
上面这个图就反应了，百度、谷歌和搜狗蜘蛛抓取的目录和抓取量。
很明显地可以看到百度和搜狗、谷歌的蜘蛛抓取目录不同
上面这个图上就显示的是南京首屏科技公司网站上的robots.txt上的设置。
这个robots.txt上的配置是早一周前的配置，但是现在百度蜘蛛居然还在抓取index.php这个目录，令人匪夷所思啊！
