最近的一篇文章促使我选择了一个我已经从事了一段时间的项目。我想为多个站点创建一个 Web 服务前端,以允许从结果和站点的其他区域自动完成表单和数据检索。我已经使用Selenium和自定义代码取得了一定程度的成功,但是我希望将其扩展到添加其他站点是一项微不足道的任务的阶段(甚至可能不需要开发人员)。
Kapow 网络数据服务器看起来可以实现很多这样的功能,但我听说它非常昂贵(目前正在等待报价)。有没有人有这方面的经验,或者可以提出任何替代方案(理想情况下是开源的)?
免责声明:我意识到从第三方网站自动检索数据的潜在合法性问题 - 该工具旨在用于价格比较系统,所有与之集成的网站都将在所有者的明确许可下完成。如果网站提供 API,这显然是最受欢迎的方法。
谢谢