从搜索引擎规范角度看,我们的网站在使用CMS程序之后是需要配置robots.txt文件的。比如WordPress程序目前会自动生成内置的robots.txt文件,但是在使用ZBLOG PHP程序的时候是没有自动生成的,我们需要手动添加到网站根目录。
严格意义上讲,robots.txt文件还是比较有用的,但是对于国内来说用途好像不是特别的大,既然我们需要加上,这里就整理一个通用的文档。我们先看看ZBLOG PHP的固定的目录是有哪些。
这里我们看到ZBLOG PHP目录。如果我们在安装完毕程序之后,zb_install目录是可以删除的。然后我们需要屏蔽掉zb_system和zb_users目录不要被抓取,其他可以留着。但是对于主题、图片库是需要留着的。
User-agent: *
Disallow: /zb_system/
Disallow: search.php
Disallow: /zb_users/data/
Disallow: /zb_users/language/
Disallow: /zb_users/logs/
Sitemap:https://www.itbulu.com/sitemap.xml
这我们需要保存为robots.txt文件,然后需要注意地图文件需要用到对应的插件实现。