0

我有一个流数据传入,我使用以下代码将其保存为 deltalake 表:

cast_dataframe.writeStream.format("delta").outputMode("append")
.option("checkpointLocation",checkpointLocation)
.table(databasename+"."+tablename)

这里 database 是数据库的名称,tablename 是用于创建表的表的名称。

当我使用show create table来显示表的架构时,位置字段指向一个随机位置,例如 abfs://storageaccount@storageaccount.dfs.core.net/default/db_name/table_name。但是,我想将该位置指向我指定的位置。我怎样才能做到这一点 ?

我尝试了以下方法,但没有奏效。

 cast_dataframe.writeStream.format("delta").outputMode("append")
 .option("checkpointLocation",checkpointLocation)
 .table(databasename+"."+tablename)
  .save(my_specified_location)

但是上面的方法不起作用。请帮我解决这个问题。

4

1 回答 1

0

.table.save是动作,根本不能同时使用。这实际上与增量数据源无关。


Delta Lake table as a sink的官方文档中,您可以找到以下内容:

.start("/delta/events") // as a path

这似乎完全符合您的“但是我想将该位置指向我指定的位置”。

于 2019-06-28T19:00:52.203 回答