抓取谷歌无法调用api-Java 学习之路

我有一个反应应用程序 . 对于SEO我正在预览谷歌如何看到我们的反应应用程序 . 在我们的应用中，如果API失败，我们会在页面上显示错误消息 . 因此，当我们以谷歌的方式进行抓取时，我们会看到同样的错误 . 这意味着API失败，但在浏览器中，它工作正常 . 我无法找到Google在获取api时出错的原因 .

我们已对部分API响应和错误消息进行了相应的分类 . 所以错误我们得到的意思..错误代码是 between 300 - 400 and anything above 403

是由于CORS吗？还是有反应的东西？有什么建议？

1 回答

1

您不允许在robots.txt文件中请求API网址 . 这将阻止Google执行您的JavaScript代码，因为API“无法访问” .

请参阅help center article that is linked from the "Fetch as Google"页面：

Google收到了您网站的回复并提取了该网址，但无法访问该网页引用的所有资源，因为它们被robots.txt文件阻止 . 如果这只是一个提取，请进行提取和渲染 . 检查呈现的页面以查看是否有任何重要资源被阻止，这可能会阻止Google正确分析页面的含义 . 如果阻止了大量资源，请取消阻止您拥有的robots.txt文件上的资源 . 对于您不拥有的robots.txt文件阻止的资源，请与资源网站所有者联系，并要求他们取消阻止这些资源到Googlebot .

您还可以看到这些页面仅被“部分”获取，详细信息页面将准确地告诉您哪些URL被阻止以及原因 .

回复于 2024-05-03T14:28:57+08:00

抓取谷歌无法调用api

1 回答

相关问题