0

我在 emr 上运行 zeppelin 以使用 pyspark 处理一些日志文件。

我收到此“java.lang.NoClassDefFoundError:com/amazonaws/services/s3/AmazonS3”错误。

不知道如何解决它。我查看了各种资源。帮助表示赞赏。

--- 错误日志---

Py4JJavaError:调用 o188.partitions 时出错。: java.lang.NoClassDefFoundError: com/amazonaws/services/s3/AmazonS3 在 com.amazon.ws.emr.hadoop.fs.EmrFileSystem.initialize(EmrFileSystem.java:99) 在 org.apache.hadoop.fs.FileSystem。 createFileSystem(FileSystem.java:2644) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:90) at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2678) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2660) 在 org.apache.hadoop.fs.FileSystem.get(FileSystem.java:374) 在 org.apache.hadoop.fs.Path。 getFileSystem(Path.java:296) at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:228) at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:200) at org.apache .

4

1 回答 1

0

带来不便敬请谅解!这是由于 emr-4.2.0 中引入的更改意外从有效的 Zeppelin 类路径中删除了 AWS Java SDK 库。过去几天已将修复推送到大多数地区,并将在本周末推送到所有其他地区,因此现在应该在 emr-4.2.0 中再次工作。

于 2015-12-04T00:39:45.657 回答