我在 emr 上运行 zeppelin 以使用 pyspark 处理一些日志文件。
我收到此“java.lang.NoClassDefFoundError:com/amazonaws/services/s3/AmazonS3”错误。
不知道如何解决它。我查看了各种资源。帮助表示赞赏。
--- 错误日志---
Py4JJavaError:调用 o188.partitions 时出错。: java.lang.NoClassDefFoundError: com/amazonaws/services/s3/AmazonS3 在 com.amazon.ws.emr.hadoop.fs.EmrFileSystem.initialize(EmrFileSystem.java:99) 在 org.apache.hadoop.fs.FileSystem。 createFileSystem(FileSystem.java:2644) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:90) at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2678) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2660) 在 org.apache.hadoop.fs.FileSystem.get(FileSystem.java:374) 在 org.apache.hadoop.fs.Path。 getFileSystem(Path.java:296) at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:228) at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:200) at org.apache .