0

我正在使用 odo 库将pandas 数据帧传输到 S3。但是我收到以下错误：

import pandas as pd
df = pd.DataFrame([[1, 2], [3, 4], [5, 6], [7, 8]], columns=["A", "B"])
odo(df,'s3://path_to_s3_folder')
S3ResponseError: S3ResponseError: 403 Forbidden
<?xml version="1.0" encoding="UTF-8"?>
<Error><Code>AccessDenied</Code><Message>Anonymous access is forbidden for this operation</Message><RequestId>F5958774D56AD29E</RequestId><HostId>zOH8JOxpSgB5Scgc/YrtHO1+e9lXoKAF89IhRSeAiSoGHAJxyjXKBVFIYETeO4gSLZOUgXmwKLM=</HostId></Error>

现在我已经正确设置了 AWS 凭证，正如我在~/.aws/credentials文件中看到的那样

cat credentials
[default]
aws_access_key_id = XXXXX
aws_secret_access_key = XXXXXXXXXX

aws cli 对我来说可以正常工作，我可以正确运行aws ls和cp命令（我想这意味着我确实拥有所需的权限）。

aws s3 ls s3://path_to_s3

也boto3能够访问 s3 资源并且不会出错。

import boto3
s3 = boto3.resource('s3')
for bucket in s3.buckets.all():
    print(bucket.name)

配置中可能出现什么错误/缺失？

4

2 回答 2

1

请安装博托。

快速查看pandas odo源码后，代码只使用了boto模块，不支持boto3。

于 2017-07-25T15:28:12.273 回答
1

正如@mootmoot 所指出的，odo使用boto而不是boto3.

boto3可以从此处~/.aws/credentials所述获取 aws 凭据。但是，您需要设置 env 变量，如此处所述boto

只需添加，

$ export AWS_ACCESS_KEY_ID=XXXXX
$ export AWS_SECRET_ACCESS_KEY=XXXXXXXXXX
于 2017-07-25T15:29:32.213 回答