0

我正在尝试使用 AWS DATA Pipeline 插入位于 S3 目录中的几个 csv 但是,我遇到了这个错误。

MapTypeAdapterFactory$Adapter.read(MapTypeAdapterFactory.java:145) at com.google.gson.Gson.fromJson(Gson.java:803) ... 15 更多线程“主”java.io 中的异常。errorStackTrace amazonaws.datapipeline.taskrunner.TaskExecutionException:无法完成 EMR 转换。在 amazonaws.datapipeline.activity.EmrActivity.runActivity(EmrActivity.java:67) 在 amazonaws.datapipeline.objects.AbstractActivity.run(AbstractActivity.java:16) 在 amazonaws.datapipeline.taskrunner.TaskPoller.executeRemoteRunner(TaskPoller.java:136 ) 在 amazonaws.datapipeline.taskrunner.TaskPoller.executeTask(TaskPoller.java:105) 在 amazonaws.datapipeline.taskrunner.TaskPoller$1.run(TaskPoller.java:81) 在 private.com.amazonaws.services.datapipeline.poller.PollWorker .executeWork(PollWorker.java:76) 在 private.com.amazonaws.services.datapipeline.poller.PollWorker。40) 在 com.google.gson.internal.bind.MapTypeAdapterFactory$Adapter.read(MapTypeAdapterFactory.java:187) 在 com.google.gson.internal.bind.MapTypeAdapterFactory$Adapter.read(MapTypeAdapterFactory.java:145) 在 com .google.gson.Gson.fromJson(Gson.java:803) ... 线程“主”java.io.IOException 中还有 15 个异常:作业失败!在 org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:873) 在 org.apache.hadoop.dynamodb.tools.DynamoDBImport.run(DynamoDBImport.java:81) 在 org.apache.hadoop.util.ToolRunner .run(ToolRunner.java:76) at org.apache.hadoop.dynamodb.tools.DynamoDBImport.main(DynamoDBImport.java:43) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java。

4

1 回答 1

1

这解决了我的问题。

AWS DATA Pipeline 使用的格式。

{"Name": {"S":"Amazon push"},"Category": {"S":"Amazon Web Services"}}
{"Name": {"S":"Amazon S3"},"Category": {"S":"Amazon Web Services"}}```

References:

https://calorious.wordpress.com/2016/03/18/episode-4-importing-json-into-dynamodb/

https://medium.com/@ashleywnj/appsync-s3-data-pipeline-dynamodb-854f99d70b41
于 2020-04-23T17:34:22.217 回答