问题标签 [splash-js-render]

我正在编写一个在 Lambda 上运行的抓取应用程序。我想将 Scrapy 与 Splash 结合使用，但我不确定 Splash 是否可以在 lambda 上运行。

我想用 Scrapy Splash 渲染以下网站。

https://m.mobilebet.com/en/sports/football/england-premier-league/

不幸的是，Splash 总是卡在加载屏幕上：

我已经尝试过使用很长的等待时间（最多 60 秒）但没有结果。我的 Splash 版本是 3.3.1，并且服从 robots.txt 已设置为 false。

谢谢！

我正在尝试伪造用户代理并在 Python 中旋转它们。
我在网上找到了一个关于如何使用scrapy-useragents包使用 Scrapy 执行此操作的教程。
我抓取网页https://www.whatsmyua.info/，以检查我的用户代理以查看它是否与我的不同以及它是否旋转。它与我的实际用户代理是否不同，但它不会旋转它每次都返回相同的用户代理，我无法弄清楚出了什么问题。

设置.py

我的 spider.py 文件是这样的：

我的解析定义如下：

当我运行我的蜘蛛时，下面的行被打印为标题：

如您所见，这没有我添加到 Scrapy 请求的自定义标头。

任何人都可以帮我为此请求添加自定义标头值吗？

提前致谢。

我正在尝试部署最新的 scrapinghub/splash

我在win10上使用git-bash。我将回购分叉到https://github.com/kc1/splash/blob/master

我一直在尝试在 Heroku 上使用 docker, scrapy splash来修改 docker 文件

使用 linux 行尾克隆 repo 后，使用：

我能够使用 heroku 命令行推送整个 repo：

做之后：

我得到了截图。日志显示：

我怎样才能解决这个问题？

编辑：

我对 docker 了解不多，但日志中有一行：

在使用 docker, scrapy splash on Heroku中，答案之一包含：

所以也许我需要更新 docker 文件（https://github.com/kc1/splash/blob/master/Dockerfile）

我正在写一个scrapy-splash程序，我需要点击网页上的显示按钮，如下图所示，为了显示数据，第10版，所以我可以抓取它。我有我在下面尝试过的代码，但它不起作用。只有单击显示按钮才能访问我需要的信息。 更新：仍在为此苦苦挣扎，我必须相信有办法做到这一点。我不想抓取 JSON，因为这对网站所有者来说可能是一个危险信号。

我正在使用 scrapy 1.6 和 splash 3.2 我有：

问题是，当我尝试在浏览器中打开响应时，我却在记事本中打开它。

查看https://splash.readthedocs.io/en/stable/scripting-response-object.html。如何激活 response.body 以便可以在浏览器中打开响应（然后我希望能够使用浏览器开发工具获取 xpath）？

我正在尝试单击网站上的显示按钮，但没有成功，我真的不知道该怎么做，但我遇到了一些可能有用的东西，splash:mouse_press。这是否适用于scrapy-splash，如果可以，我该如何实施？

我在 scrapinghub 上收到了 splash 的订阅，我想从本地机器上运行的脚本中使用它。到目前为止，我找到的指令是：

1) 编辑设置文件：

从那我有一个问题，当我尝试在浏览器上打开垃圾邮件服务器时，它要求我输入用户名，我看不到在 scrapy 上设置它的位置。

2）蜘蛛文件：

我没有收到错误，但我不确定splash是否也能正常工作，除了服务器ip，抓取提供了一个密码，我不知道在哪里使用这个脚本。

使用 splashrequest 并添加 API 密钥后，这是我得到的回溯，网站的内容仍然没有加载。

编辑：

这是我得到的完整日志；

1个月前我问了以下问题，这里的人对回答问题不感兴趣，但是他们可以花几个小时和拖钓谁提出问题，以增加他们所谓的声誉，也许这可以称为坏声誉。所以现在我只回答这个问题，但这些（坏）知名的拖钓者可能不会批准这个帖子。------------------------问题是------------ 在这个findViewById在 webview 类中调用了示例onPageFinished，但是当我尝试这样做时，它给出了错误：

错误：找不到方法findViewByID

源代码：

答案如下声明
public ImageView logo = (ImageView) findViewById(R.id.imageView1); 在主要活动中。

然后在 onPageFinished 中将 imageview 的可见性设置为不可见，如下所示 @Override public void onPageFinished(WebView view, String url) { logo.setVisibility(0); }