java - 程序化浏览性能问题

Question

我正在使用Selenium（在 Java 中）进行程序化浏览（Firefox），并且为了加快页面加载速度，我正在通过在同一应用程序（Browsermob）中运行的程序化 Java 代理来防止加载外部内容（广告等），因为我只需要网站的托管内容。

该应用程序正在浏览数十万页，但不幸的是，几个小时后，速度显着降低（从 ~5s/page 到 ~30s/page）。

它可能与浏览器缓存大小有关吗？代理缓存？如何检查？任何指针或提示都会受到欢迎！

非常感谢，汤姆

Answer 1

嗨，我会将您的用户代理更改为 Chrome 之类的东西，以检查 Firefox 是否存在问题，或者它是否归结为您的应用程序中的内存管理。

您是否在多次查看后关闭浏览器？请记住，浏览器会缓存并开始占用大量内存。在您的应用程序中使用基于文本的浏览器 (Lynx) 可能会更好，如果您只是想要获取文本内容，这会消除很多开销。

Id 经常杀死进程，因为内存泄漏会导致进程随着时间的推移而变慢。