东莞SEO > 秦剑SEO笔记 > robots.txt的生成以及优化小谈

robots.txt的生成以及优化小谈

2008年10月7日 发表评论 阅读评论

robots.txt这个文件很重要，可以控制搜索引擎对你的站点的收录。
下面讲一下一些简单的优化：
大家看我的博客的sitemap

User-agent:*
Disallow:/wp-admin/
Sitemap:http://www.pcliver.cn/sitemap.xml

user-agent:*  这里robots.txt文件的设置为*代表允许所有的搜索引擎的蜘蛛爬站
disallow: 这里的robots.txt设置为禁止收录的目录
sitemap: 这里的robots.txt设置了之后可以引导搜索引擎蜘蛛爬站

有时候会有一些小错误，我们只需要用google站长管理就可以检查了：
https://www.google.com/webmasters/ 这里登陆，然后点击-工具-分析robots.txt
还可以利用生成robots.txt文件生成robots.txt文件

分类: 秦剑SEO笔记 标签: ,
  1. zhuzhu
    2008年10月7日20:55 | #1
    回复 | 引用

    路过看看，对了你那小新是怎么弄上去的，还有上面的版权声明！

    • admin
      2008年10月7日21:30 | #2
      回复 | 引用

      在single.php里面修改，小新是抓虾哪里的代码

  2. mylaner
    2008年10月8日00:57 | #3
    回复 | 引用

    自己写没必要吧，一般没有不要搜索引擎搜索的。

  3. simpleseo
    2008年10月8日14:44 | #4
    回复 | 引用

    一般能用到的，就这些了。

  4. gowers
    2008年10月8日17:44 | #5
    回复 | 引用

    难道又是一个SEO主题的站点？SEO的东西不少啊

    • admin
      2008年10月8日18:16 | #6
      回复 | 引用

      非也，我只是把学习的心得发上来而已，至于发什么东西都是未定的，呵呵

  5. 双色球
    2009年10月23日19:50 | #7
    回复 | 引用

    难道又是一个SEO主题的站点？SEO的东西不少啊

  1. 本文目前尚无任何 trackbacks 和 pingbacks.