我有由针对 BigQuery 表运行的多个 SQL 查询组成的数据管道,我想在 Google Cloud Fusion 中构建这些,但我没有看到使用自定义 SQL 进行转换/选择的选项。
这是可用的,还是我误解了这个工具的用例?
我有由针对 BigQuery 表运行的多个 SQL 查询组成的数据管道,我想在 Google Cloud Fusion 中构建这些,但我没有看到使用自定义 SQL 进行转换/选择的选项。
这是可用的,还是我误解了这个工具的用例?
正在添加一个新的 Action 插件,允许您指定要在 BQ 中运行的 SQL。预计连接器将在 5 月中旬在 Hub 中可用。
尼丁
现在有一个原生 BigQuery Execute 操作,允许 SQL 查询作为数据融合管道的一部分运行。
这项工作是一项行动,请参阅以下官方文档:
操作插件定义了计划在工作流期间发生但不直接操作工作流中的数据的自定义操作。例如,使用数据库自定义操作,您可以在管道结束时运行任意数据库命令。或者,您可以触发操作以在 Cloud Storage 中移动文件。