-
1 votesanswersviews
为什么我的robots.txt会阻止Google抓取网页？
我对Google抓取的网页数量有一个“双重”问题，这可能与可能重复内容（或没有）的关系以及对SEO的影响有关 . Facts on my number of pages and pages crawled by Google 我两个月前推出了一个新网站 . 今天，它有近150页（它每天都在增加） . 无论如何，这是我的站点 Map 中的页数 . 如果我在Google网站管理员中查看"Cr... -
0 votesanswersviews
如何从Google搜索结果页面获取完整的HTML内容
我是网络爬行的新手，感谢您的帮助 . 我需要执行的任务是从谷歌搜索中获取完整返回的HTTP响应 . 在浏览器中使用搜索关键字在Google上进行搜索时，在返回的页面中有以下部分： 与XXXX相关的搜索（其中XXXX是搜索到的单词） 我需要提取网页的这一部分 . 根据我的研究，目前谷歌抓取的大部分软件包都无法提取这部分信息 . 我尝试使用urllib2，代码如下： import urllib2 ur... -
0 votesanswersviews
添加sitemap.xml后谷歌没有抓取我的angularjs网站
在阅读了关于angularjs和SEO（包括谷歌文档）的多个来源之后，我明白了让谷歌抓取我网站的两个主要选项是： 将hashbang（＃！）添加到我的URL，并且在爬行引擎的请求到达我的服务器后（在请求中，＃！被escape_fragment替换）我应该使用外部服务（如prerender）呈现和响应html快照 . io）或实施自己 . 2.将hashbang（＃！）添加到我的URL中 - ... -
0 votesanswersviews
Google没有抓取子网页
在我的网站上修复了“noindex”问题后，我的所有子网页都未被Google抓取，我使用Google网站管理员重新索引网站（无需等待） . 但它只适用于主页，但我也要求重新抓取任何直接链接的页面 . 子页面示例： http://www.trophit.com/index.php/what-is-trophit/ 如果我手动告诉GW抓取每个页面的URL，那么它会这样做，但这是不可接受的 . 有些东... -
1 votesanswersviews
抓取谷歌无法调用api
我有一个反应应用程序 . 对于SEO我正在预览谷歌如何看到我们的反应应用程序 . 在我们的应用中，如果API失败，我们会在页面上显示错误消息 . 因此，当我们以谷歌的方式进行抓取时，我们会看到同样的错误 . 这意味着API失败，但在浏览器中，它工作正常 . 我无法找到Google在获取api时出错的原因 . 我们已对部分API响应和错误消息进行了相应的分类 . 所以错误我们得到的意思..错误代码是...