1

我发现在 apache beam 2.5.0 之后,可以通过 beam 的 python sdk 识别 hdfs 路径。但是在“/python2.7/site-packages/apache_beam/io/hadoopfilesystem.py”中,支持的架构只有“hdfs”。当我加载 viewfs 路径时,出现此错误:

ValueError: Unable to get the Filesystem for path viewfs://hadoop-meituan/ghnn01/user/hadoop-poistar/huangshangzhi/sentiment_analysis/data/train_example.txt

谁能给我一些关于使用 tf.transform 读取 viewfs 文件系统中的文件的建议,我真的很感激。谢谢!

4

0 回答 0