最近没事上seowhy论坛看了下，看到一个会员提问说robots.txt禁止百度收录网站应该怎么写。
user-agent:*
disallow:
这样看好像没问题，其实这样的意思是允许访问所有，只有加了 “/”才可以禁止访问所有。
假设你要禁止百度访问，那么应该这样写
User-agent：baiduspider
Disallow：/或者是
User-agent：baiduspider
Allow：
温馨提醒：如果是伪静态或者纯静态的网站，建议加上
Disallow: /?*
因为http://www.baidu.com/?sfsdfdsfsdfg 这类网页百度也是会抓取而且可能会影响权重的，因为带?号的url如果页面不存在，返回的是首页的内容。
这几天感觉自己陷入了SEO的瓶颈，虽然开始着手建立（深圳SEO：http://www.deepsem.com）开始新方向的学习，但是对自己的SEO技术还不算满意，我觉得一个合格的SEOer，出了外链，还需要把时间花在站内结构优化之上。虽然说外链是不可能取消的，但是如果外链配合内容优化，那样应该就有事倍功半的效果。
在排名过程中，最重要的两点为：内容相关性，与内容推荐度。
内容相关性即内容是否与用户搜索的关键词匹配，换种说法就是网页是否为用户搜索的关键词想获得的内容。理所当然的，网页内容好，内容优秀，排名固然会比较好。那百度是如何识别一篇文章是否优秀的呢？下面我们就这个问题展开我们的SEO探讨。
1、 关键词，网页内包含关键词，说明内容跟关键词具备相关性，为了防止作弊，通过判断关键词重复（除去部分特殊可重复的词）、上下句词义语义、关键词密度计算、标点符号上下词辨别，都可以进行判断进行减分。
2、 内容严谨、丰富，文章有段落、文章分页、有作者、文章出处，有扩展阅读（内连接锚文本，外连接锚文本）。
3、 文章评论，文章回复多，说明网页收关注的程度高，同时用户参与度也高。
4、 外部链接，直接URL的形式或者锚文本多，说明文字被引用或转载推荐的次数多。
5、 其他因素：网页包含的内容丰富，图片、视频、文档、下载文件等。
大概就这么多啦，还有很多需要值得思考的。欢迎大家关注我的新网站东莞公司注册（www.dgiac.com）SEO或许就是这样，只要认为是对排名有好处的，都应该加入选择之列，尽最大努力提高排名。以上纯属谣言，请勿轻信。
水帖，今天随便搜索了一些东西，都是百度的东西，啥百度百科啊，百度知道啊，百度贴吧啊，百度图片啊。
无奈，自己孩子谁不疼，也不能怨天尤人，谁叫百度不是我们开的呢！
有些事情无法改变，不如想办法走其他路！