python - 使用多种配置启动 Scrapyd

Question

我正在尝试根据我的环境（例如开发、生产）使用多种配置来开发我的 Scrapy 应用程序。我的问题是有些设置我不知道如何设置它们。例如，如果我必须设置我的数据库，那么在开发中应该是"localhost"，而在生产中必须是另一个。

我在做的时候如何指定这些设置scrapy deploy？我可以在命令行中使用变量设置它们吗？

Answer 1

您应该在您的 scrapy.cfg 文件中设置部署选项。例如：

[deploy:dev]
url = http://dev_url/

[deploy:production]
url = http://production_url/

有了它，你可以这样做：

scrapyd-deploy def

或者

scrapyd-deploy production

Answer 2

您可以参考以下链接中的答案：

https://alanbuxton.wordpress.com/2018/10/09/using-local-settings-in-a-scrapy-project/

我在这里复制以供快速参考：

编辑settings.py文件，使其可以根据 SCRAPY_ENV 环境变量从其他设置文件中读取

将所有设置文件移动到单独的配置目录（并更改 scrapy.cfg 以便它知道在哪里查找

神奇发生在settings.py的最后：</p>

from importlib import import_module
from scrapy.utils.log import configure_logging
import logging
import os

SCRAPY_ENV=os.environ.get('SCRAPY_ENV',None)
if SCRAPY_ENV == None:
    raise ValueError("Must set SCRAPY_ENV environment var")
logger = logging.getLogger(__name__)
configure_logging({'LOG_FORMAT': '%(levelname)s: %(message)s'})

# Load if file exists; incorporate any names started with an
# uppercase letter into globals()
def load_extra_settings(fname):
    if not os.path.isfile("config/%s.py" % fname):
        logger.warning("Couldn't find %s, skipping" % fname)
        return
    mdl=import_module("config.%s" % fname)
    names = [x for x in mdl.__dict__ if x[0].isupper()]
    globals().update({k: getattr(mdl,k) for k in names})

load_extra_settings("secrets")
load_extra_settings("secrets_%s" % SCRAPY_ENV)
load_extra_settings("settings_%s" % SCRAPY_ENV)  

然后在想要获取设置中定义的变量的python文件中，使用如下代码

from scrapy.utils.project import get_project_settings
settings = get_project_settings()
env_variable = settings.get('ENV_VARIABLE')