我目前正在使用Apify的网络刮板
演员,
我正在尝试刮掉一个加载时间很长的页面。我已经遇到过这种情况,并且使用下面的代码总是有效的。
async function pageFunction(context) {...
await context.waitFor(...);
...}
但是这次页面加载速度确实很慢,并且达到了[await context.waitFor(...)]
20 秒的功能超时。有没有办法将此持续时间增加到默认值以上?
我目前正在使用Apify的网络刮板
演员,
我正在尝试刮掉一个加载时间很长的页面。我已经遇到过这种情况,并且使用下面的代码总是有效的。
async function pageFunction(context) {...
await context.waitFor(...);
...}
但是这次页面加载速度确实很慢,并且达到了[await context.waitFor(...)]
20 秒的功能超时。有没有办法将此持续时间增加到默认值以上?
还有第二个参数options
,你可以在其中设置超时时间。
async function pageFunction(context) {
await context.waitFor('selector', { timeoutMillis: 60000 });
}
我必须在web-scraper 的 GitHub 存储库中搜索此参数。我将在自述文件中创建一个问题来记录这一点。