python - 等到网页在 Scrapy 中加载

Question

我正在使用scrapy脚本使用“yield”加载URL。

MyUrl = "www.example.com"
request = Request(MyUrl, callback=self.mydetail)
yield request
def mydetail(self, response):
    item['Description'] = response.xpath(".//table[@class='list']//text()").extract()
    return item

该 URL 似乎至少需要 5 秒才能加载。所以我希望 Scrapy 等待一段时间来加载 item['Description'] 中的整个文本。我在 settings.py 中尝试了“DOWNLOAD_DELAY”，但没有用。

Answer 1

简要介绍 firebug 或其他工具以捕获由 javascript 代码生成的 Ajax 请求响应。您可以做出一系列响应来捕获页面上传后出现的那些 ajax 请求。有几个相关的问题：解析 ajax 内容、 检索最终页面、 解析动态内容。