我使用 PhantomJS 和 webdriver 编写了一个简单的抓取程序,它基本上包括以下步骤:
导航到一个页面 通过 xpath 从页面收集许多链接 (30) 对于每个链接,导航到该 url 并收集页面上的一堆文本元素
我不是在 JavaScript 中调用它,我使用的是用 C# 编写的 webdriver。
我的问题是 PhantomJS.exe 进程的内存使用量超过 800 MB,我不明白为什么会这样。我的 .net exe 的内存使用量(称为 PhantomJS.exe)始终保持在 12 MB 左右。我只使用一个实例,并以串行方式运行所有处理,因此据我所知,有效地是一个窗口或“选项卡”。
有没有人使用 PhantomJS 遇到过类似的问题,有什么理由应该有这种行为吗?