3

我是 Django / Scrapy 的新手，并且对一般编程很熟悉。我正在尝试制作一个 Django 站点来帮助我学习。

我想要做的是从不同的站点抓取产品信息，并使用来自 Scrapy 的 DjangoItem 将它们存储在我的 postgres 数据库中。

我已经阅读了 Scrapy 和 Django 的所有文档。我已经在这里和其他网站搜索了几天，只是找不到我正在寻找的让灯泡熄灭的确切内容。

无论如何，我的问题是，将 Scrapy 和 Django 一起部署的标准是什么。理想情况下，我想抓取 5-10 个不同的站点并将它们的信息存储在我的数据库中。

Scrapy 的文档中关于实现 DjangoItem 的最佳方式的信息有点少。
1) Scrapy 项目应该在我的 Django 应用程序内部，在我的 Django 项目的根级别，还是一起在外部。2) 除了将 DjangoItem 设置为我的 Django 模型之外，我还需要更改任何其他设置吗？

谢谢布赖恩

4

1 回答 1

2

我通常将我的 scrapy 项目放在我的 Django 项目根文件夹中的某个位置。请记住，您需要确保两个项目都在 python 路径中。如果您正确使用 virtualenv，这很容易做到。

除此之外，只要您可以从 Scrapy 导入您的 Django 模型，我认为 Scrapy 文档中的其他所有内容都非常清楚。当你导入你的 Django 模型时，Django 设置会在此时设置，这意味着你的数据库连接等应该都可以正常工作，只要它们已经在 Django 中工作。

唯一真正的技巧是正确设置 python 路径（这可能是另一个问题的主题）。

于 2013-05-26T03:00:02.987 回答