我有写入 s3 存储桶的 pyspark 代码,如下所示:
df.write.mode('overwrite').parquet([S3_BUCKET_PATH])
我正在测试通过存储桶的访问点写入存储桶。AWS 文档有一个使用 CLI 写入访问点的示例,如下所示:
aws s3api put-object --bucket arn:aws:s3:us-west-2:123456789012:accesspoint/prod --key my-image.jpg --body my-image.jpg
我试过这样做:
df.write.mode('overwrite').parquet("arn:aws:s3:us-west-2:123456789012:accesspoint/prod")
但是,我收到此错误:
绝对 URI 中的相对路径
是否可以使用 pyspark 写入 S3 接入点?