php - 如何在 PHP 中构建搜索引擎来搜索多个站点的实时内容？

Question

我是一个相对新手的程序员，对 PHP 有很好的理解，但更多的是阅读、理解和复制我需要的部分，而不是从头开始开发。

我有一个超过 1000 个要搜索的 URL 的列表。我想根据需要在这些页面中搜索内容，并仅返回包含我提供的文本查询的结果。我将 Google 自定义搜索引擎视为一个简单的选择，它运行良好，但限制了我可以添加的页面数量。

我已经研究了 cURL，但似乎没有提供我正在寻找的东西，除非我错过了什么？

还是有其他免费且易于使用的选项，例如 Google CSE？

Answer 1

您可以为需要的页面编写爬虫，并使用 Sphinx 引擎（http://sphinxsearch.com/）在页面中进行搜索。在我看来，应该写一个带有 HTTP 扩展的爬虫比纯 cURL lib 更好。