3

我正在尝试使用 Puppeteer Cluster，但我只是不明白如何正确使用排队。它只能用于不等待响应的呼叫吗？我正在使用 Artillery 同时触发一堆请求，但是当我直接执行命令时它们都失败了，而只有一些失败了。

我直接从示例中获取代码并替换execute为queue我期望工作的代码，除了代码不等待结果。有没有办法实现这一目标？

所以这有效：

const screen = await cluster.execute(req.query.url);

但这打破了：

const screen = await cluster.queue(req.query.url);

这是完整的示例queue：

const express = require('express');
const app = express();
const { Cluster } = require('puppeteer-cluster');

(async () => {
    const cluster = await Cluster.launch({
        concurrency: Cluster.CONCURRENCY_CONTEXT,
        maxConcurrency: 2,
    });
    await cluster.task(async ({ page, data: url }) => {
        // make a screenshot
        await page.goto('http://' + url);
        const screen = await page.screenshot();
        return screen;
    });

    // setup server
    app.get('/', async function (req, res) {
        if (!req.query.url) {
            return res.end('Please specify url like this: ?url=example.com');
        }
        try {
            const screen = await cluster.queue(req.query.url);

            // respond with image
            res.writeHead(200, {
                'Content-Type': 'image/jpg',
                'Content-Length': screen.length //variable is undefined here
            });
            res.end(screen);
        } catch (err) {
            // catch error
            res.end('Error: ' + err.message);
        }
    });

    app.listen(3000, function () {
        console.log('Screenshot server listening on port 3000.');
    });
})();

我在这里做错了什么？我真的很想使用排队，因为没有它，每个传入的请求似乎都会减慢所有其他请求的速度。

4

1 回答 1

10

puppeteer-cluster的作者在这里。

从文档中引用：

cluster.queue(..): [...] 请注意，出于向后兼容性的原因，此函数仅返回 Promise。该函数不会异步运行，会立即返回。

cluster.execute(...): [...] 像 一样工作Cluster.queue，只是这个函数返回一个 Promise，它将在任务执行后解决。如果在执行过程中发生错误，该函数将拒绝 Promise 并抛出错误。不会触发“taskerror”事件。

何时使用哪个功能：

  • cluster.queue如果您想对大量作业（例如 URL 列表）进行排队，请使用此选项。任务功能需要通过将结果打印到控制台或将它们存储到数据库来处理存储结果。
  • cluster.execute如果您的任务函数返回结果，请使用。这仍然会将作业排队，所以这就像queue在等待作业完成之外调用。在这种情况下，通常会出现一个“空闲集群”，当请求到达服务器时会使用它（就像在您的示例代码中一样）。

所以，你肯定要使用cluster.execute作为你要等待任务结果的函数。没有看到任何错误的原因是（如上所述）cluster.queue函数的错误是通过taskerror事件发出的。直接抛出错误（cluster.executePromise 被拒绝）。最有可能的是，在这两种情况下，你的工作都会失败，但它只对cluster.execute

于 2019-08-05T16:12:38.333 回答