说说robots

    robots.txt

• 告诉搜索引擎网站哪些页面可以被收录，哪些不能

    检查某些网站的robots.txt：

       http://zhanzhang.baidu.com/robots/analysis

   如何做robots.txt：

     http://zhanzhang.baidu.com/robots/generator