东莞SEO

最近没事上seowhy论坛看了下，看到一个会员提问说robots.txt禁止百度收录网站应该怎么写。

user-agent:*

disallow:

这样看好像没问题，其实这样的意思是允许访问所有，只有加了 “/”才可以禁止访问所有。

假设你要禁止百度访问，那么应该这样写

User-agent：baiduspider
Disallow：/

或者是

User-agent：baiduspider
Allow：

温馨提醒：如果是伪静态或者纯静态的网站，建议加上

Disallow: /?*

因为http://www.baidu.com/?sfsdfdsfsdfg  这类网页百度也是会抓取而且可能会影响权重的，因为带?号的url如果页面不存在，返回的是首页的内容。