perl - 高流量网站中的 WWW::Mechanize::Firefox

Question

我有一个网站，我希望用户输入搜索词，然后抓取另外两个网站并向用户显示一些解析结果。

由于两个网站都使用大量的 JavaScript 来返回数据，所以我想到了使用WWW::Mechanize::Firefox.

是否可以同时运行多个脚本实例来使用WWW::Mechanize::Firefox?

Answer 1

是的，可以按照您的描述进行；但互联网不是数据库。

您是否已征得您希望使用的网站所有者的许可？我当然不会同意第三方无限制地使用我的带宽和我网站的内容。

它会更加负责（并且更容易实施）一个系统，通过协议，您可以收集您需要的信息，例如每天一次，并将其存储在数据库中。此后，您可以显示您自己的用户直接从您自己的资源中请求的信息。