2

NodeJS，PhantomJS，使用 Cheerio 进行内容解析

需要解析包含动态加载的 div(hint) 的网页。该事件可以在许多表 td 上，这是一个示例

在此处输入图像描述

当我在特定 td 上“鼠标悬停”时，我看到这个带有数据的橙色块，它是动态加载的函数，就像这样

onmouseover="page.hist(this,'P-0.00-0-0','355svxv498x0x0',417,event,0,1)"

我只能在页面加载后查看此信息。需要到特定的行，只有 Marathonbet。

当函数运行时，文本被加载到另一个 div (id='tooltip') 并显示给用户。

我使用幻像来解析这个页面的内容，静态值一切正常，但是我如何才能将这个动态生成的块接收到节点路由器内的渲染网页？我看到了两种方式：

  1. 在这个坐标上模拟鼠标移动以显示所需的文本，但是有一个问题，我怎么知道它的坐标？

  2. 加载页面后模拟函数开始并且我知道它们的代码（'355svxv498x0x0'，417），但是我如何从节点运行这个函数，从幻象？

    这是一些代码，在我的路由器中接收静态页面内容

```

phantom.create(config.phantomParams).then(ph => {
    _ph = ph;
    return _ph.createPage();
}).then(page => {
    _page = page;
    return _page.on('onConsoleMessage', function (msg) {
        console.log(msg);
    });
}).then(() => {
    return _page.on('viewportSize', {width: 1920, height: 1080});
}).then(() => {
    return _page.on('dpi', 130)
}).then(() => {
    _page.setting('userAgent', config.userAgent);
    return _page.open(matchLink);
}).then(() => {
    return _page.property('content');
}).then(content => {
    let $ = cheerio.load(content);

    // working with content and get needed elements

    console.log($.html());
}).then(() => {
    _page.close();
    _ph.exit();
});

``` 我应该使用 Casper/Spooky，还是任何人都可以解释在这种情况下如何使用它？

UPD。尝试使用 puppeteer，代码

```

let matchLink = 'http://www.oddsportal.com/soccer/world/club-friendly/san-carlos-guadalupe-xnsUg7zB/';

(async () => {
    const browser = await puppeteer.launch({
        args: [
            '--proxy-server=46.101.167.43:80',
        ]});
    const page = await browser.newPage();
    await browser.userAgent(config.userAgent);
    await page.setViewport({width: 1440, height: 960});
    await page.goto(matchLink);
    await page.evaluate(() => page.hist(this,'P-0.00-0-0','355svxv464x0x7omg7',381,event,0,1));

    let bodyHTML = await page.evaluate(() => document.body.innerHTML);

    console.log(bodyHTML);
    await page.screenshot({path: 'example.png'});

    await browser.close();
})();

```

获取```

(node:8591) UnhandledPromiseRejectionWarning: Error: Evaluation failed: TypeError: Cannot read property 'stopPropagation' of undefined
    at toolTip (http://www.oddsportal.com/res/x/global-180713073352.js:1:145511)
    at TableSet.historyTooltip (http://www.oddsportal.com/res/x/global-180713073352.js:1:631115)
    at PageEvent.PagePrototype.hist (http://www.oddsportal.com/res/x/global-180713073352.js:1:487314)
    at __puppeteer_evaluation_script__:1:13
    at ExecutionContext.evaluateHandle (/home/gil/Projects/oddsbot/node_modules/puppeteer/lib/ExecutionContext.js:97:13)
    at <anonymous>
    at process._tickCallback (internal/process/next_tick.js:188:7)

```

目标 JS 文件中的错误，可能与请求有关..

4

1 回答 1

3

由于您愿意接受建议，我建议puppeteer它是一个原生 node.js 模块，可以在最新的 Chromium 中打开页面（特别有用，因为 PhantomJS 非常过时）并且在做 thinkgs 方面接近 PhantomJS。

如果您还使用 node.js 8.x，async/await 语法可用于处理 Promise，它使使用 puppeteer 进行抓取变得轻而易举。

因此，要在 puppeteer 中运行该功能，您将运行

await page.evaluate(() => page.hist(this,'P-0.00-0-0','355svxv498x0x0',417,event,0,1) );

更新

Puppeteer 有很多方便的助手，其中之一是page.hover，它实际上会将指针悬停在元素上：

await page.hover('td.some_selector');

但是如果你想继续使用 Phantomjs 和优秀的phantom模块，你可以：

_page.evaluate(function() {
    page.hist(this,'P-0.00-0-0','355svxv498x0x0',417,event,0,1)
})

文档page.evaluate： http: //phantomjs.org/api/webpage/method/evaluate.html

于 2018-07-13T09:02:30.050 回答