如何修复“Googlebot无法访问您的网站”问题？

提问于 2024-05-03T23:08:55+08:00

浏览次

8

我只是不断收到消息

“在过去的24小时内，Googlebot在尝试访问您的robots.txt时遇到了1个错误 . 为了确保我们没有抓取该文件中列出的任何网页，我们推迟了抓取 . 您的网站的整体robots.txt错误率为100.0 ％ . 您可以在网站站长工具中查看有关这些错误的更多详细信息 . “

我搜索了它并告诉我在我的网站上添加robots.txt

当我在Google网站管理员工具上测试robots.txt时，无法获取robots.txt .
enter image description here

我想也许robots.txt被我的网站阻止了，但是当我测试它时说GWT允许 .

enter image description here

'http://momentcamofficial.com/robots.txt'以下是robots.txt的内容：User-agent：* Disallow：

那么为什么robots.txt无法被Google获取？我错过了什么......有人能帮助我吗???

3 回答

1

在Googlebot抓取您的网站之前，它会访问您的robots.txt文件，以确定您的网站是否阻止Google抓取任何网页或网址 . 如果您的robots.txt文件存在但无法访问（换句话说，如果它不返回200或404 HTTP状态代码），我们将推迟我们的抓取，而不是冒险抓取您不想抓取的网址 . 发生这种情况时，Googlebot会在我们成功访问您的robots.txt文件后立即返回您的网站并对其进行抓取 .

如您所知，robots.txt是可选的，因此您无需制作，只需确保您的主机仅发送200或404 http状态 .

回复于 2024-05-03T23:08:55+08:00
1
我有一个Google Bot没有提取的情况但我可以在浏览器中看到有效的robots.txt .

问题是我将我的整个网站（包括robots.txt）重定向到https，谷歌似乎并不喜欢这样 . 所以我从重定向中排除了robots.txt .
```
RewriteEngine On
RewriteCond %{HTTPS} off
RewriteCond %{REQUEST_FILENAME} !robots\.txt
RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]
```
关于我的更多信息blog
回复于 2024-05-03T23:08:55+08:00
0
您的robots.txt文件中的内容错误，请将其更改为：
```
User-agent: *
Allow: /
```
并确保每个人都有权读取文件 .
回复于 2024-05-03T23:08:55+08:00

相关问题