使用Scrapy响应，XPath元素不存在，尽管Google Chrome Inspect Element显示它确实存在-Java 学习之路

我遇到一个问题，根据Scrapy响应，我尝试使用他们的XPath选择的元素不存在 . 但是，当我在Google Chrome上检查同一页面时，该元素已存在 .

在使用LinkedIn高级搜索并进入结果页面后，LinkedIn问题正在发生 . 我想在结果容器中刮取链接 .

例如：在搜索“John”的结果页面上，根据Google Chrome上的Inspect Element，应该有一个id =“results-container”的div元素 . 当我使用Scrapy response.xpath（'// div [@ id =“results-container]'）时，没有返回选择器 .

结果页面的网址：https://www.linkedin.com/vsearch/p?firstName=John&openAdvancedForm=true&locationType=Y&rsid=4319659841436374935558&orig=ADVS

1 回答

0

您是否尝试查找在浏览器的私人会话窗口中提供的URL（有时称为隐身模式）？

如果您这样做，您会看到您获得LinkedIn的注册表 .

正如alecxe在他的评论中建议尝试使用LinkedIn API（它是REST），您可以获得XML响应，您可以解析它以收集所需的信息 .

或者，您可以尝试使用Scrapy登录并存储身份验证凭据并重复您的请求（但无论如何我都会使用API） .

回复于 2024-05-04T04:16:51+08:00

使用Scrapy响应，XPath元素不存在，尽管Google Chrome Inspect Element显示它确实存在

1 回答

相关问题