php - 如何使用 PHP 提取/获取数据并将数据（来自其他电子商务网站）显示到我的网站

Question

我已经看到许多电子商务门户网站显示来自世界各地的另一个更大的电子商务网站的产品列表。

我认为通过在 php 中使用 file_get_contents 或 CURL，获取不是一个大问题，但问题是，

他们是否提供一些 api 以允许其他人获取他们的数据/产品信息？

我们是否需要获得他们的权限才能从他们的网站获取数据。

是否有一些优雅而具体的方法/方式来获取数据以显示在我们的网站上（而不是 CURL 和 file_get_contents）？

Answer 1

以下是有关该主题的一些一般准则。

• 您应该检查他们是否有一个robot.txt 文件拒绝抓取网站某些区域的权限。
• 尽管复制内容存在版权问题，但搜索引擎一直在发布网站内容的摘录。因此，在某种程度上，复制内容是合法的。
• API 有时是可用的，但搜索引擎总是在没有任何许可的情况下抓取网站（可能除了 robots.text 文件）。
• 尊重网站所有者对其带宽的意愿。写得不好的机器人代码会浪费地占用服务器资源。
• 如果你能得到许可，那就更好了。

我使用 cURL 和DomDocument 类。在优雅方面，我不知道您还想要什么。

Answer 2

一些网站提供他们的 API 来访问数据。有些是花钱的，有些可能是免费的。无论如何，是的，您需要许可。

但是您可以随时在未经许可的情况下抓取他们的网站。

Answer 3

1. 编写一个爬虫来从这些网站获取你想要的所有数据。
2. 如果提供，请使用 API。但通常成本很高。
3. 使用第三方软件创建您自己的 API。