我正在尝试使用beamsql-shell来使用beamsql 创建管道。目前,我创建了一个只读的自定义元存储,其中包含许多我想在查询中使用的表。只是为了一些细节,这些表查询 pubsub,因此目的是将查询作为流式管道执行。
在管道中,我可以选择 tableProvider 并在执行SqlTransform
类似操作时传递元存储:
// read only metastore which contains all the tables I want to query
MetaStore metaStore = new MyCustomMetastore();
PCollectionTuple.empty(pipeline)
.apply(
"SQL Transform",
SqlTransform.query("select * from ...").withTableProvider("gabito", metaStore))
我的问题:有没有办法在运行时加载这个元存储beamsql-shell
?