在他们的文档中 http://doc.scrapy.org/en/latest/topics/downloader-middleware.html#cookies-mw
他们告诉启用 cookie 中间,但我无法找到如何执行此操作以及为此编辑哪个文件。谁能告诉我我该怎么做
在他们的文档中 http://doc.scrapy.org/en/latest/topics/downloader-middleware.html#cookies-mw
他们告诉启用 cookie 中间,但我无法找到如何执行此操作以及为此编辑哪个文件。谁能告诉我我该怎么做
更新它会显示cookie默认在中间件中,所以COOKIES_ENABLED = True
应该足够了。如果中间件不是默认值的一部分,则仅需要以下内容...
从我可以从 doc.scrapy.org/en/latest/topics/downloader-middleware.html 中得知,您可以
'scrapy.contrib.downloadermiddleware.cookies.CookiesMiddleware'
使用相关的顺序添加到 DOWNLOADER_MIDDLEWARE:
要激活下载器中间件组件,请将其添加到 DOWNLOADER_MIDDLEWARES 设置中,该设置是一个字典,其键是中间件类路径,它们的值是中间件顺序。
DOWNLOADER_MIDDLEWARES = {
'myproject.middlewares.CustomDownloaderMiddleware': 543,
'scrapy.contrib.downloadermiddleware.cookies.CookiesMiddleware': 700 # <-
}
700 来自http://doc.scrapy.org/en/latest/topics/downloader-middleware.html#built-in-downloader-middleware-referenceDOWNLOADER_MIDDLEWARES_BASE
的默认值
然后将(和可选)与您的其余设置一起放置.COOKIES_ENABLED = True
COOKIES_DEBUG = True
只是说:
COOKIES_DEBUG = True
在my-project/my-spider/spiders/settings.py