amazon-web-services - 如何使用 pyspark 写入 S3 接入点

Question

我有写入 s3 存储桶的 pyspark 代码，如下所示：

df.write.mode('overwrite').parquet([S3_BUCKET_PATH])

我正在测试通过存储桶的访问点写入存储桶。AWS 文档有一个使用 CLI 写入访问点的示例，如下所示：

aws s3api put-object --bucket arn:aws:s3:us-west-2:123456789012:accesspoint/prod --key my-image.jpg --body my-image.jpg

我试过这样做：

df.write.mode('overwrite').parquet("arn:aws:s3:us-west-2:123456789012:accesspoint/prod")

但是，我收到此错误：

绝对 URI 中的相对路径

是否可以使用 pyspark 写入 S3 接入点？