amazon-s3 - Amazon EMR over s3 上的 TezTask 顶点故障

Question

我在 EMR 上创建了 Hive 表，看起来像

create external table tests3(
transaction_id String,
order_id String,
user_id String,
amount String,
subscriber_number String,
product_type String,
provider String,
region String,
status String,
created_time String,
last_updated_time BIGINT,

)
row format 
    serde 'org.openx.data.jsonserde.JsonSerDe'
location 's3://locationtobucket';

当我从 tests3 中选择 * 时，我得到了记录。但是运行任何 tez 任务都会给我以下错误。

Query : select count(*) from tests3;

Vertex failed, vertexName=Map 1, vertexId=vertex_1513582536692_0022_1_00
, diagnostics=[Vertex vertex_1513582536692_0022_1_00 [Map 1] killed/failed due to:ROOT_INPUT_INIT_FAILURE, Vertex Input: tests3 initializer fail
ed, vertex=vertex_1513582536692_0022_1_00 [Map 1], com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: Bad Req
uest (Service: Amazon S3; Status Code: 400; Error Code: 400 Bad Request; Request ID: DEBA2E241B9DE8C3),

Answer 1

只需将 hive 执行引擎更改为 MR 即可开始正常工作。

Answer 2

请检查您的帐户是否对 S3 和您尝试访问的存储桶具有适当的权限。此外，检查 S3 存储桶 url 是否正确，例如 s3://locationtobucket/missingfile

标准的第一步是：尝试使用具有相同凭证的 AWS 命令​​行工具，通过以下命令：

hdfs fs -ls s3a://locationtobucket/