jdbc - 将数据从 KNIME 上传到 Bigquery / GCS

Question

我将 KNIME 的数据库连接和数据库编写器与 Simba 的 JDBC 驱动程序结合使用，以尝试将数据集上传为 BigQuery 表。

但是，我没有得到它的工作。例如，我不知道在哪里指定 BiqQuery 数据集。我必须将它添加到数据库连接节点的连接 URL 中吗？如果是这样，我需要一个新参数吗？

是否有人有将数据从 KNIME 上传到 BigQuery 的经验或知道解决方法，例如使用 GCS？

Answer 1

当您下载 SIMBA 驱动程序时，您会在名为Simba JDBC Driver for Google BigQuery Install and Configuration Guide的文件夹 pdf 文件中找到。在那里您会发现连接 URL 取决于您使用的身份验证类型。您将看到您未在数据库连接节点中指定数据集，而仅指定 ProjectId。在 Database Writer 节点中，您将指定数据集和表。

在这里您可以找到有关在 BigQuery 中加载数据的更多信息： https ://cloud.google.com/bigquery/docs/loading-data

根据我的经验，无论如何，将数据加载到 BigQuery 中并不容易。