apify - 我如何将 apify 演员输出保存到 s3 或谷歌存储桶

Question

我创建了 apify 演员，它将输出保存在 apify 云中，但我想将输出保存在我的 s3 帐户或谷歌存储桶中。感谢您的帮助

Answer 1

您可以创建一个 webhook/serverless 函数gcp/aws并将端点设置为 apify 任务 webhook

传入的 webhook 主体看起来像

{
  "userId": {{userId}},
  "createdAt": {{createdAt}},
  "eventType": {{eventType}},
  "eventData": {{eventData}},
  "resource": {{resource}}
}

资源将如下所示SUCCESS

{
  "id": {{id}},
  "actId": {{actId}},
  "userId": {{userId}},
  "startedAt": "2020-03-29T04:12:07.434Z",
  "finishedAt": "2020-03-29T04:12:13.415Z",
  "status": "SUCCEEDED",
  "meta": {
    "origin": "DEVELOPMENT",
    "userAgent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36"
  },
  "stats": {
    ...
    ...
    ...
  },
  "options": {
    ...
    ...
    ...
  },
  "buildId": {{buildId}},
  "exitCode": 0,
  "defaultKeyValueStoreId": {{defaultKeyValueStoreId}},
  "defaultDatasetId": {{defaultDatasetId}},
  "defaultRequestQueueId": {{defaultRequestQueueId}},
  "buildNumber": "0.0.9",
  "containerUrl": {{containerUrl}}
}

然后您可以使用以下 URL 下载/保存到存储桶或 s3 数据集：以https://api.apify.com/v2/datasets/{{defaultDatasetId}}/items 编程方式

我希望这有帮助！