2

我有一个数据管道卡住并进入挂起模式，每次“等待依赖项”。

这里我使用的是“Hive Activity”，它需要输入和输出。就我而言，我所有的数据都在 hadoop 基础架构中，因此我真的不需要 S3 输入和 S3 输出。但是，由于数据管道错误，无法删除它们。此外，尽管有 S3 节点“存在”的先决条件，管道仍会在此时卡住。每次我运行这个管道时，我都必须手动“markfinish”S3node，然后事情就开始了。

{
   Name:
   @S3node1_2014-08-01T13:59:50
   [View instance fields]
   Description:
   Status: WAITING_ON_DEPENDENCIES
   Waiting on:
   @RunExpertCategories_2014-08-01T13:59:50
}

任何见解都会有所帮助。AWS Datapipeline 文档没有详细介绍。

4

1 回答 1

0

如果"stage": "false"在HiveActivity上设置，则不需要输入和输出节点。

于 2016-12-13T03:31:01.843 回答