2

我正在尝试将数据从 Dataproc - Spark 插入到 Big Query 表中。我正在使用以下代码:

df.write \
  .format("bigquery") \
  .option("temporaryGcsBucket","bucket/temp") \
  .save("project.datasource.table1")

错误:

pyspark.sql.utils.IllegalArgumentException: 'SaveMode 设置为 ErrorIfExists 并且表 project.datasource.table1 已经存在。您是否想通过将 SaveMode 设置为 Append 来将数据添加到表中?示例:df.write.format.options.mode(SaveMode.Append).save()'

我插入了“.mode(SaveMode.Append)”,但它没有用。

4

1 回答 1

1

那会做:

df.write \
  .format("bigquery") \
  .option("temporaryGcsBucket","bucket/temp") \
  .mode("append") \
  .save("gcp-bankier.sof.table1")
于 2021-10-29T14:27:04.400 回答