织梦DEDECMS本身自带的robots.txt文件设置很简单,并不能完全满足网站的优化要求,如何才能结合自己网站的情况,做好robots.txt优化呢?下面是我自己的一点想法,仅供参考,适用于未伪静态的DEDECMS网站。
基本设置就是这样,下面着重讲下后台管理目录和栏目页的设置:
1.dede目录,为了网站安全考虑需要改名。然而改名之后,大家不免疑惑:改了名,在robots.txt文件里怎么设置呢?直接禁止抓取,还是泄露了后台目录,等于改名无效。那么该如何解决这个问题呢?我们可以通过下面的设置解决这个问题,如后台目录为dedecms:
Disallow: /d*ms
这样我们就能即禁止了搜索引擎的抓取,又不会泄露了后台目录名称。
2.栏目页。有些人会注意到,如果网站不做伪静态优化的话,栏目分页后会有两个链接指向栏目首页,如*/web/和*/web/list_1_1.html,为了网站优化,建议先将栏目分页优化以下(具体做法大家可以在网上找),把首页和第一页的链接改为*/web/的形式,然后在robots.txt文件里做以下设置:
Disallow: /*1.html$
以上就是DEDECMS robots.txt文件的设置,大家可以根据自己网站的情况具体设置。
注意事项:
(责任编辑:最模板) |