-
1 votesanswersviews
如何使用Splash（JS渲染服务）与代理
它在Scrapy中自动配置，但不在Curl或普通请求中配置 . 在curl中，我们可以在没有任何代理的情况下执 http://<server_ip>:8050/render.html?url=http://www.example.com/?timeout=10&wait=0.5 怎么用代理呢？ 我试过这个： http://<server_ip>:8050/rend... -
1 votesanswersviews
Splash不会呈现页面的所有内容
我正在使用Splash v2.3.2并且我正在尝试渲染page但它不会渲染所有内容 . 它不会呈现图像或动态加载的内容 . 我正在使用我的http://localhost:8050/脚本： function main(splash) local url = splash.args.url assert(splash:go(url)) assert(splash:wait(10)) ... -
0 votesanswersviews
Splash Private模式每次都需要登录
我正在尝试在初次访问时登录网站，然后检查 Remember Me 按钮 . 这种方式在未来的访问中可以通过不必再次登录来节省一些时间 . 我已经使用 --disable-private-mode 启动了docker并将 splash.private_mode_enabled = false 设置在 main 函数的顶部，但是我仍然需要在后续访问该网站时登录 . 我也看到https://splash... -
0 votesanswersviews
Scrapy Splash向端口6800报告连接错误
我根据docs安装并设置了scrapy-splash . 我的蜘蛛看起来像这样： import scrapy from testencode.items import TestencodeItem from scrapy_splash import SplashRequest class Test1Spider(scrapy.Spider): name = 'test1' all... -
0 votesanswersviews
如何使用Splash处理新的标签页？
我正在抓取一个非常恼人的链接网站（ <a> HTML标签） - 它会在点击时打开小弹出窗体，提交后，打开新的浏览器标签（并将焦点切换到它），并带有我需要的URL，以及还将旧标签重定向到另一个页面 . 成功提交弹出窗口很容易，但我不知道如何获取此新选项卡的URL . 正如文档所说，Splash只能使用一个标签，所以不可能这样做吗？