0

我有一个持续运行的爬网(使用 Perl LWP),我使用 HTML::TreeBuilder 对爬网的网页进行提取。我孜孜不倦地删除了我创建的每个 HTML::TreeBuilder 实例,但是爬虫的内存占用量缓慢而稳定地上升(我看到它每爬到一个页面就会增加 10 到 30 个字节(我正在使用 Valgrind测量堆使用情况)。

现在流程是这样的:

  • 抓取页面
  • 创建新的树构建器对象
  • 解析页面
  • 删除树构建器对象

有没有人暗示 LWP 或 TreeBuilder 中是否存在内存泄漏?我已经阅读了一堆关于 LWP 存在内存泄漏的报告,但我还没有看到对此问题的回应。

我正在运行 Perl v5.10.1

谢谢!

4

1 回答 1

0

我想 HTML::TreeBuilder 的问题。

您能否检查以下链接:

1) HTML::TreeBuilder 中的 Stackoverflow 内存泄漏

2) Perlmonks 内存泄漏?我一无所知。

我希望这些链接对您有所帮助。

于 2012-02-15T09:46:24.513 回答