有效指引搜索引擎对应的措施

有效指引搜索引擎对应的措施，及解决方法：

　　1.依据空间流量实际情况，就保留几个常用的屏蔽掉其它蜘蛛以节省流量。以暂时空间流量还足够使用，先保证正常浏览器优先。

　　2.从服务器防火墙iptable直接屏蔽蜘蛛ip段、详细的ip。这是Zui直接、有效的屏蔽方法。

　　3.www服务器层面做限制。例如nginx，squid，lighttpd，直接通过“http_user_agent”屏蔽搜索引擎爬虫。

　　4.Zui后robots.txt文件做限制。搜索引擎国际规则还是要遵循规则的。