0

我正在尝试将数据源的负载用作 S3 存储桶。

load s3n://hourly-logprocessing/{2013090100,2013100501}/??????_0.gz' using some loader()

不起作用。

load s3n://hourly-logprocessing/{201309????}/??????_0.gz using some loader()

不起作用。

我得到了这个例外。

原因：java.lang.IllegalArgumentException：无法从 org.apache.hadoop.fs.Path.checkPathArg(Path.java:91) at org.apache.hadoop.fs.Path.(Path) 的空字符串创建路径.java:99) 在 org.apache.hadoop.fs.Path.(Path.java:58) 在 org.apache.hadoop.fs.s3native.NativeS3FileSystem.listStatus(NativeS3FileSystem.java:498) 在 org.apache.hadoop .fs.FileSystem.listStatus(FileSystem.java:1341) 在 org.apache.hadoop.fs.FileSystem.listStatus(FileSystem.java:1418) 在 org.apache.hadoop.fs.FileSystem.globPathsLevel(FileSystem.java:1602 ) 在 org.apache.hadoop.fs.FileSystem.globStatusInternal(FileSystem.java:1539)

它仅在我使用单个文件夹时有效。

load s3n://some-folder/2013090100/??????_0.gz

猪是怎么膨胀的。任何帮助，将不胜感激。

4

1 回答 1

0

  • 首先，我没有尝试您的示例，我懒惰，但这适用于我的“加载”语句：'s3n://SOME_BUCKET/20[0-9][0-9]-[0-9] [0-9]-[0-9][0-9]-23-*.mystuff_v14*'

  • 不要忘记加载命令后的单引号（您的示例中缺少该引号）

于 2013-11-05T09:55:38.040 回答