0

我想知道 Apache Beam 是否支持 windows azure storage blob files(wasb) IO。现在还有支持吗？

我之所以问是因为我已经部署了一个 apache Beam 应用程序来在 Azure Spark 集群上运行一项作业，并且基本上不可能从关联的存储容器与该 spark 集群 IO wasb 文件。有没有替代的解决方案？

上下文：我正在尝试在我的 Azure Spark 集群上运行WordCount 示例。已经按照此处所述设置了一些组件，相信这会对我有所帮助。下面是我设置 hadoop 配置的代码部分：

final SparkPipelineOptions options = PipelineOptionsFactory.create().as(SparkPipelineOptions.class);

options.setAppName("WordCountExample");
options.setRunner(SparkRunner.class);
options.setSparkMaster("yarn");
JavaSparkContext context = new JavaSparkContext();
Configuration conf = context.hadoopConfiguration();
conf.set("fs.azure", "org.apache.hadoop.fs.azure.NativeAzureFileSystem");
conf.set("fs.azure.account.key.<storage-account>.blob.core.windows.net",
         "<key>");
options.setProvidedSparkContext(context);
Pipeline pipeline = Pipeline.create(options);

但不幸的是，我一直以以下错误结束：

java.lang.IllegalStateException: Failed to validate wasb://<storage-container>@<storage-account>.blob.core.windows.net/user/spark/kinglear.txt
at org.apache.beam.sdk.io.TextIO$Read$Bound.apply(TextIO.java:288)
at org.apache.beam.sdk.io.TextIO$Read$Bound.apply(TextIO.java:195)
at org.apache.beam.sdk.runners.PipelineRunner.apply(PipelineRunner.java:76)
at org.apache.beam.runners.spark.SparkRunner.apply(SparkRunner.java:129)
at org.apache.beam.sdk.Pipeline.applyInternal(Pipeline.java:400)
at org.apache.beam.sdk.Pipeline.applyTransform(Pipeline.java:323)
at org.apache.beam.sdk.values.PBegin.apply(PBegin.java:58)
at org.apache.beam.sdk.Pipeline.apply(Pipeline.java:173)
at spark.example.WordCount.main(WordCount.java:47)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:627)
Caused by: java.io.IOException: Unable to find handler for  wasb://<storage-container>@<storage-account>.blob.core.windows.net/user/spark/kinglear.txt
at org.apache.beam.sdk.util.IOChannelUtils.getFactory(IOChannelUtils.java:187)
at org.apache.beam.sdk.io.TextIO$Read$Bound.apply(TextIO.java:283)
... 13 more

我正在考虑在这种情况下为 Azure 存储 Blob 实现自定义 IO，如果将其作为解决方案，我想与社区核实这是否是替代解决方案。

4

1 回答 1

2

Apache Beam 目前没有用于 Windows Azure Storage Blob (WASB) 的内置连接器。

Apache Beam 项目正在积极努力添加对HadoopFileSystem. 我相信 WASBHadoopFileSystem在hadoop-azure模块中有一个连接器。这将使 WASB 可以间接地与 Beam 一起使用——这可能是最简单的前进道路，并且应该很快就会准备好。

现在，如果能在 Beam 中原生支持 WASB，那就太好了。它可能会实现另一个级别的性能，并且应该相对简单地实施。据我所知，没有人积极致力于它，但这将是对该项目的一个了不起的贡献！（如果您个人有兴趣贡献，请联系！）

于 2016-12-31T02:23:59.443 回答