google-bigquery - BigQuery 表的架构与配方不匹配

Question

我目前正在研究从 bigquery 流向 Tableau 的 BI 堆栈。我正在尝试使用 Dataprep 删除不必要的列并加入 bigquery 中的表以创建一个“主”表，然后输入 Tableau。bigquery 中的表大约每 8 小时更新一次，我正在尝试在 dataprep 中为主表创建一个类似的计划。

运行作业或什至尝试从连接的表中获取样本会不断产生此错误。

java.lang.IllegalStateException：BigQuery 表的架构与配方不匹配。

不知道我应该如何解决这个问题。我比较了错误中的两列（预期与实际列），发现它期望多一列。为什么会发生这种情况？

作为比较，我有一个与相同数据并行运行的 postgres 数据库，并且能够毫无问题地进行相同的连接。

此外，这里是整体流程在 dataprep 中的外观。

任何帮助表示赞赏。

谢谢，

艺术

Answer 1

有时数据源可能会更改列（添加或删除列）。重新导入数据解决了这个问题。

Answer 2

Dataprep 使用 ML 算法来帮助您，但大多数情况下会自动解释类型，并且当您执行新配方时，列的类型会更改。因此，您必须做的最后一个方法是“更改类型”，以确保 dataprep 列与 BigQuery 列具有相同的类型。