现在的位置: 首页WordPress>正文
谷歌 Googlebot 无法访问 robots.txt 文件怎么办?
2013年10月31日 | WordPress | 浏览 14,348 | 暂无评论

意外收到电子邮件说,谷歌 Googlebot 无法访问我的网站 (http://hykloud.com/),并说过去的24小时内,谷歌在试图访问你的 robots.txt 文件时遇到23个错误。(Over the last 24 hours, Googlebot encountered 23 errors while attempting to access your robots.txt. )。

根据网上别人的经验,一两年内偶然收到一两封这样的邮件没什么大不了的,不必忙乱,如果你连续几天都收到这种邮件的话,才需要采取行动。

WordPress 网站中的 robots.txt 是一个虚拟文件,在根目录下你看不到这个文件,它是动态产生的。当然,如果你在根目录下手动创建一个 robots.txt 文件,它将取代动态产生的此文件。

有人喜欢手动创建 robots.txt 文件,因为它加载快,易于修改。当然,如果你喜欢虚拟文件并想修改它也是可以的,在 includes 文件夹内打开 functions.php 文件,找到(大该在1720行):

function do_robots() {

编辑下面这段代码即可:

do_action( 'do_robotstxt' );

if ( '0' == get_option( 'blog_public' ) ) {
echo "User-agent: *\n";
echo "Disallow: /\n";
} else {
echo "User-agent: Googlebot-Image\n";
echo "Disallow: /\n";
echo "\n";
echo "\n";
echo "User-agent: *\n";
echo "Disallow: /*.js$\n";
echo "Disallow: /*.css$\n";
echo "Disallow: /cgi-local/\n";
echo "Disallow: /wp-admin/\n";
echo "Disallow: /wp-includes/\n";
echo "\n";
echo "Sitemap: http://mydomain.com/sitemap.xml.gz\n";
}

关于 robots.txt 文件内容的规则及测试,可参看谷歌站长工具的帮助文件:使用 robots.txt 文件拦截或删除网页。这里给出一个实际例子

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*

欢迎留言

定制个性头像