scrapy - 如何使用 Portia/Scrapy Spider 从一页中提取多个项目

Question

我有一个要抓取的网站。它包含我希望在每个页面上提取的多个项目。

它非常类似于在线黄页。它包含每个项目的标题、电话号码和类别...由于这显然不足以将整个页面单独显示出来，因此这些项目都在列表中。有些页面包含 3 个项目，有些页面包含 10 个左右。

--Edit 1-- 我已经成功地抓取了许多网站，但他们都可以访问一个只包含一个项目的页面。这在这里是不可能的，并且由于需要不同的模板，它会将多个项目作为一个项目返回，或者只是一个随机位。

Answer 1

Portia 还不支持每页提取多个项目。它有一个问题，并且有足够的兴趣很快就会完成。

同时，一个技巧是将项目嵌套在父项目中（使用“变体”），然后在后处理步骤中将它们拆分为单独的项目。