google-cloud-data-fusion - 如果我使用 BigQuery 插件，BigQuery 视图无法正常工作

Question

我一直在源类别下使用 bigquery 插件。当我使用 bigquery View 时，Pipeline 通过不允许 View 的错误。此外，如果我使用了其中存在可重复列的永久表，那么它在检索其架构时也会通过不支持的模式“重复”的错误。有人有这方面的信息吗？

Answer 1

BigQuery 源将表中的数据导出到临时 GCS 存储桶中，然后在管道中读取。由于无法导出 BigQuery VIEW（请参阅此处的限制 - https://cloud.google.com/bigquery/docs/views），管道失败。

此外，目前 BigQuery 源不支持可重复列。这项工作目前正在进行中 - https://issues.cask.co/browse/CDAP-15256。这是你想要的？