问题标签 [django-dynamic-scraper]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
django - 使用 scrapy-splash 配置 DDS。错误：没有基础对象
LS,
我已经安装了 Django-Dynamic-Scraper。我想通过 Splash 渲染 Javascript。因此，我安装了 scrapy-splash 并安装了 docker splash 图像。下图显示可以到达 docker 容器。
然而，当我通过 DDS 对其进行测试时，它返回以下错误：
执行时：
我已配置 DDS 管理页面并选中复选框以呈现 javascript：
我遵循了scrapy-splash的配置：
我假设正确配置了 DDS/scrapy-splash，它会将所需的参数发送到 splash docker 容器进行渲染，是这样吗？
我错过了什么？我需要用启动脚本调整蜘蛛吗？
python-2.7 - django-dynamic-scraper：没有名为 django.core.management 的模块
我对 django-dynamic-scraper 的经验有限，我尝试用我的 MAC 安装 django-dynamic-scraper，但是当我完成所有操作时，我得到了这个错误：
请我需要你的帮助和思考。
python - Django、Django Dynamic Scraper、Djcelery 和 Scrapyd - 不在生产中发送任务
我正在使用 Django Dynamic Scraper 构建一个基本的网络爬虫。我已经完成了 99% 的工作。它与 Celery 和 Scrapyd 一起在开发中完美运行。任务被完美地发送和完成。
至于生产，我很确定我的设置正确：我正在使用 Supervisor 在我的 VPS 上运行 Scrapyd 和 Celery。他们都指向正确的virtualenv安装等......
以下是我如何知道它们都为项目设置得很好：当我通过 SSH 连接到我的服务器并使用 manage.py shell 执行 celery 任务时，它会返回一个 Async 任务，然后执行该任务。结果出现在数据库中，我的 scrapyd 和 celery 日志都显示了正在处理的任务。
问题是我的计划任务没有被自动触发 - 尽管在开发中完美地工作。
我的主管配置：
芹菜配置：
Scrapyd 配置：
我尽可能地关注文档并使用推荐的部署工具（例如scrapyd-deploy 等......）。此外，当我在服务器上手动运行 celery 和 scrapyd 时（就像在开发中那样），一切正常。只是当两者使用主管运行时。
我可能缺少某些设置或其他设置，这些设置会阻止存储在 SQLite DB 中的 celery 任务在生产时被 celery/scrapyd 自动拾取和运行。
python - Django1.10 错误：django.contrib.contenttypes.models.ContentType 未声明显式 app_label 且不在 INSTALLED_APPS 中的应用程序中
我正在使用 Django 1.10，并尝试按照教程使用django-dynamic-scraper包：http: //django-dynamic-scraper.readthedocs.io/en/latest/getting_started.html
我在调用“python manage.py makemigrations”时遇到了这个问题：RuntimeError：模型类 django.contrib.contenttypes.models.ContentType 没有声明显式的 app_label 并且不在 INSTALLED_APPS 中的应用程序中。
完整版是：
但我安装的应用程序包含django.contrib.contenttypes：
我的模型.py：
我的 admin.py ：
urls.py 文件：
文件夹结构如下所示：
我很困惑我的代码有什么问题......
python - 使用不同的 python 3 版本制作虚拟环境
我在 Windows 上安装 django 动态刮刀时遇到了问题（枕头安装导致问题..），但发现它在 python 3.5.3 上运行良好。由于我目前使用的是 python 3.7，我认为在使用 python 3.5.3 的虚拟环境中使用 django 动态刮刀是一个好主意。
我安装了两个版本的 python（3.7 和 3.5.3）并设置了环境变量。但是，当我尝试使用以下方法创建新的虚拟环境时：
我收到此错误：
我也试过这个：
但得到：
The path python3.5.3 (from --python=python3.5.3) does not exist
将不胜感激有关如何解决此问题的任何建议。
python-3.x - Python 请求在 Django 上返回状态码 400 但没有 django 它工作正常
我正在制作 Amazon Scraper 并面临某种问题。这是我的代码
当我在 Django 框架中使用时，它返回状态码 400，但是当我在没有 Django 的情况下独立运行时，相同的代码会响应 200 状态码。
django-dynamic-scraper - Django Dynamic Scraper：自动大规模抓取大量 url #143
我目前正在从事一个项目，其目标是以动态方式创建抓取工具，然后能够大规模处理大量 url。
例如，我在 DDS 中有两个网站：www.xxx.it与 Scraper IT 相关联，www.xxx.ca与 Scraper CA 相关联。
我想向 DDS 发送无限数量的 url，我希望 xxx.it/* 形式的所有 url 都被 Scraper IT 抓取，所有 xxx.ca/* 形式的 url 都被 Scraper 抓取加利福尼亚州。我希望这由 DDS 自动推断和完成。
有没有办法通过当前的实现来实现这一点？