0

我正在尝试使用以下方法将 SCollection 写入 Big Query 中的分区:

import java.time.LocalDate
import java.time.format.DateTimeFormatter
val date = LocateDate.parse("2017-06-21")
val col = sCollection.typedBigQuery[Blah](query)

col.saveAsTypedBigQuery(
      tableSpec = "test.test$" + date.format(DateTimeFormatter.ISO_LOCAL_DATE),
      writeDisposition = WriteDisposition.WRITE_EMPTY,
      createDisposition = CreateDisposition.CREATE_IF_NEEDED)

我得到的错误是 表 ID 必须是字母数字(加上下划线),并且必须最多 1024 个字符长。此外,不能使用表装饰器。”

如何写入分区?我没有看到任何通过 saveAsTypedBigQuery 方法指定分区的选项,所以我尝试了 Legacy SQL 表装饰器。

4

1 回答 1

2

请参阅:BigqueryIO 无法写入日期分区表。您需要手动创建表。BQ IO 无法创建表并对其进行分区。

此外,没有桌子装饰器是一个完整的诡计。这是我缺少的字母数字部分。

col.saveAsTypedBigQuery(
      tableSpec = "test.test$" + date.format(DateTimeFormatter.BASIC_ISO_DATE),
      writeDisposition = WriteDisposition.WRITE_APPEND,
      createDisposition = CreateDisposition.CREATE_NEVER)
于 2018-06-18T21:02:27.580 回答