java - 如何以编程方式使用 java 中的查询检索网页

Question

我需要的是向搜索引擎提交查询并检索前 100 个网页以稍后处理其内容。将查询提交给搜索引擎并处理搜索引擎产生的网页应该在程序内完成。我应该使用搜索引擎 api，例如 google-api 或 bing-api 还是有其他方法？

Answer 1

总结评论中所说的话：是的，搜索引擎 API 是最好的方法。

将结果作为网页检索然后对其进行解析是可以想象的最糟糕的方法（如果您没有任何使使用 API 无法忍受的特定需求）。