search-engine - 想做一个搜索引擎

Question

我想制作一个 torrent 搜索引擎，它将提供到其他 torrent 网站的链接。所以我需要来自其他站点的数据来在数据库中索引它们。那么，为此目的抓取网站是否合法，或者是否有其他方法可以做到这一点。

Answer 1

根据网站的不同，未经许可是不合法的。

您可能希望调查Common Crawl，这是一个已经抓取了整个网络的网站。查看他们的 ToU 部分以检查这一切的合法性。