问题标签 [pyppeteer]

I want to scrape a website and I'm having difficulties with the Recaptcha. I've already figured out a way to solve it but before that method starts I have to make sure Recaptcha is fully loaded, which is what I'm stuck at. I've tried page.waitForSelector('#captchaFormPart > td:nth-child(2) > script:nth-child(1)', options={'visible': True}), I got the selector from inspecting the Recaptcha's box, and it didn't work.

如何在 Puppeteer 中禁用图像/CSS？我看过这个教程https://www.scrapehero.com/how-to-increase-web-scraping-speed-using-puppeteer/ 但我不知道如何将它翻译成 Python

我正在尝试使用 pyppeteer(python 模块) 截屏，它工作正常。但在某些情况下，我们需要设置 cookie 来访问给定的 URL。

代码：

如何使用 pyppeteer 将多个 cookie 传递到网站？

注意：它适用于单个 cookie（JSON 对象）。只有当 cookie 是对象数组时才会出现问题

环境 ：

操作系统：ubuntu18.04

pyppeteer 版本：0.0.25

语言：python3.6

下面的代码启动浏览器和该站点的 URL

加载页面后，我需要单击同一页面上的超链接才能转到下一页

我应该使用哪种方法以及如何使用？

1. await page.click('selector') 2.xpath 3.query 选择器

在 python 中，使用pyppeteer打开网页并在其控制台中运行 JS 脚本，并尝试在变量 e 中捕获结果，但出现以下错误。

以下是python代码：-

有人可以建议如何解决这个问题吗？

我对 cookie 几乎一无所知，但我需要设置它们以使我的程序正常工作。假设我有这些 cookie：

我必须用 pyppeteer ( https://miyakogi.github.io/pyppeteer/reference.html#page-class ) 设置它们，现在我已经用 SimpleCookie 拆分了 cookie，并将 cookie 转换为字典。

我的问题是：在所有这些字段（名称和值）中应该包含哪些内容，哪些是名称，哪些是值？我有多个 cookie，那么如何设置它们？

提前谢谢你<3

Hello good day stackoverflow pips,

Issue: stack and data was never scraped in a russian retailer which is in this case www.vseinstrumenti.ru

code:

It just stacked and get ERROR: Navigation Timeout Exceeded: 1000000 ms exceeded. What part of the code should I change? Is it scrape-able on your side? Kindly let me know how to improve my code using asnycio. Thanks!

我正在尝试构建一个 Github Action，它将截取 Github Pages 网站（使用 Jekyll 构建）的屏幕截图，并允许用户将其作为工件上传。为方便起见，并且由于安装 Pyppeteer 并非易事，我将其包装在 Docker 中。以下是编写问题时该操作的源代码：

https://github.com/hakierspejs/jekyll-screenshot-github-action/tree/8569f1370c5decf5ecfb4bc17a977cad5aa3d2aa

问题在于访问 Github Pages 网站的源代码。我注意到 Github Actions 将几个目录映射为一个卷，但 /github/workflow 和 /github/workspace 似乎都不包含源代码。有没有我可以安装以某种方式访问​​它的路径？

我正在抓取类似网页的列表，有时会出错（见最后）。

我使用的代码：

大多数页面不会导致错误，但少数页面会导致错误。错误出现在resp = session.get(link)或上resp.html.render()。这里是：

我无法理解，也没有自己弄清楚。你能告诉我，这是怎么回事吗？

我正在尝试在 Pyppeteer 中使用page.evaluate并捕获js 脚本响应，但我无法捕获它。在下面的代码中，我试图在尺寸变量中捕获 js 脚本返回的结果，但它的捕获为None

注意：- 在任何网站中打开控制台并运行 js 脚本，然后返回一个对象/字典。

请建议解决此问题的方法。