我正在尝试使用 pyspark 从 Amazon S3 存储桶中读取 csv 文件,但出现以下错误消息:
: java.lang.SecurityException: 类“com.amazonaws.auth.EnvironmentVariableCredentialsProvider”的签名者信息与同一包中其他类的签名者信息不匹配
我试图在 Internet 上查找,但没有发现重要的东西。
我试过的:
- 只需使用环境变量作为凭据
- 只需使用 .aws/credentials 作为凭据
- 只需使用 spark-defaults.conf 凭据
但这些都不起作用。
我使用 Spark 3.1.1 和 Pycharm 作为 IDE。
有没有人遇到过这种类型的问题?