0

我在大数据领域以及 CDAP 环境中都是非常陌生的。我目前正在完成关于电池分析数据管道的最后论文,其中还包括其分析。我正在使用 CDAP,因为我的主管说这很容易。如果我的一些问题在 CDAP 的文档中可用,我很抱歉。

以下是我提出和实施的数据管道(请仔细检查,因为它会被进一步询问):

数据管道策略 下面是它在 CDAP 上的实现:

在此处输入图像描述 *我每分钟使用 cron,最大并发数为 5。

到目前为止,唯一缺少的是 Python 程序。

但是,当我部署此管道时,出现了一个特殊问题:

  • 它有时会以“必要的服务遇到间歇性问题”的消息停止,然后是自我修复协议。然而,在我的记录中没有表明自我修复确实有效。所以,我必须在 CLI 上重新启动我的 CDAP。

上述错误主要是由于我的计算机上有活动,尤其是在 CDAP 的环境中。我的问题是,是否有任何解决方案可以防止这些错误。也许在 CLI 上部署数据管道?

我想问的另一个问题是,有没有办法在 CDAP 的环境中部署 Python 程序(ANN 程序)?据我所知,CDAP 上只有一个 Python 插件可用,这是我认为不适合我用例的转换插件。

至于现在,我必须同时运行 Python 程序和 CDAP 的使用 Cron 程序,我相信这种方法容易失败和错误。

TLDR;

  1. 我的系统一直卡在“必要的服务遇到间歇性问题”消息并且无法自我修复并且必须手动重新启动。有什么解决办法吗?
  2. 是否可以通过 CLI 运行 CDAP?
  3. 是否可以使用嵌入在 CDAP 管道中的 ANN 来部署 Python 代码来预测从管道下载的数据?

PS:我标记了 Cloud Data Fusion,因为它基于 CDAP 的基础架构

这就是我想问的。谢谢你。

4

0 回答 0