搜索引擎的蜘蛛是不是爬得越多越好

搜索引擎的蜘蛛，是不是爬得越多越好? 

　　当然不是!不论什么搜索引擎的爬虫，来抓取你网站的页面的时候，肯定在消耗你的网站资源，例如网站的连接数、网络带宽资源(空间流量)、服务器的负载、甚至还有盗链等。不是所有的搜索引擎蜘蛛都是有用的。另外，搜索引擎的爬虫来抓取你的页面数据后，它也不一定收用数据。只代表它“到此一游”留下痕迹而已，有的搜索引擎室故意过来找它想要的资源，甚至还有很多是开发人员的蜘蛛测试。

　　对于一个原创内容丰富，url结构合理易于爬取的网站来说，简直就是各种爬虫的盘中大餐，很多网站的访问流量构成当中，爬虫带来的流量要远远超过真实用户访问流量，甚至爬虫流量要高出真实流量一个数量级。像提高网站有效利用率虽然设置了相当严格的反爬虫策略，但是网站处理的动态请求数量仍然是真实用户访问流量的2倍。可以肯定的说，当今互联网的网络流量至少有2/3的流量是爬虫带来的。因此反搜索引擎爬虫是一个值得网站长期探索和解决的问题。