0

在 Apache Beam (Google Cloud Dataflow 2.0) 作业结束后，我们会在日志末尾获得一个现成的命令，该命令bq show -j --format=prettyjson --project_id=<My_Project_Id> 00005d2469488547749b5129ce3_0ca7fde2f9d59ad7182953e94de8aa83_00001-0可以从 Google Cloud SDK 命令提示符运行。

基本上它显示了所有信息，如作业开始时间、结束时间、不良记录数、插入记录数等。

我可以在 Cloud SDK 控制台上看到这些信息，但是这些信息存储在哪里？我检查了堆栈驱动程序日志，它有直到前一天的数据甚至不是 Cloud SDK 控制台上显示的完整信息。

如果我想导出这些信息并加载到 BigQuery 中，我在哪里可以得到它。

更新：这是可能的，我resource.type="bigquery_resource"在 Stackdriver 日志查看器中添加过滤器时找到了信息，但它显示时间戳信息，如 CreateTime、StartTime 和 EndTime1970-01-01T00:00:00Z

4

1 回答 1

0

您可以将这些日志导出到谷歌云存储桶中。从堆栈驱动程序单击创建导出，然后创建接收器，提供接收器名称和接收器目标，这显然是存储桶路径。现在下次工作开始时，所有日志都会被导出，您可以进一步使用这些日志。

于 2017-07-14T14:00:12.253 回答