google-bigquery - 在 beam.io.writetobigquery 中使用模式更新选项

Question

我正在使用 apache 光束数据流将一堆日志文件加载到 BigQuery 中。通过向文件添加新列，文件格式可以在一段时间内发生变化。我看到了 Schema Update Option ALLOW_FILED_ADDITION。

有谁知道如何使用它？这是我的WriteToBQ步骤的样子：

| 'write to bigquery' >> beam.io.WriteToBigQuery('project:datasetId.tableId', ,write_disposition=beam.io.BigQueryDisposition.WRITE_APPEND)

Answer 1

我实际上还没有尝试过，但深入研究文档，似乎您可以使用additional_bq_parameters. 在这种情况下，它可能看起来像：

| 'write to bigquery' >> beam.io.WriteToBigQuery(
    'project:datasetId.tableId',
    write_disposition=beam.io.BigQueryDisposition.WRITE_APPEND,
    additional_bq_parameters={
        'schemaUpdateOptions': [
            'ALLOW_FIELD_ADDITION',
            'ALLOW_FIELD_RELAXATION',
        ]
    }
)

奇怪的是，这实际上是在 Java SDK 中，但似乎没有进入 Python SDK。