我正在尝试从外部 API 下载数据。会有很多下载,所以我想使用管道来简化并行化。API 的设置方式,我可以请求开始下载作业,并在该请求中传递一个回发 URL。下载作业完成后,他们的 API 会向给定的 url 发送一个 POST。我想做以下事情:
class DownloadPipeline(pipeline.Pipeline):
async = True
public_callbacks = True
def run(self, filename):
postback = self.get_callback_url()
# make API request with postback as a param
def callback(self):
# Read data from the POST
但是,我在网上阅读的所有文档都只有回调 url 上的 GET 请求示例,其中数据通过 URL 上的查询字符串传递。有没有办法改为读取 POST 数据?