问题标签 [apache-apex]

从 users@apex.incubator.apache.org 转发

什么时候调用运算符的构造函数？文档说在操作员的生命周期中只有一次，但我想知道“生命周期”的定义是否跨越顶点应用程序的启动/停止/崩溃（由于编码错误）？

从 users@apex.incubator.apache.org 转发

Apex 利用缓冲服务器来提供背压。缓冲服务器如何在应用程序崩溃后幸存下来？如果缓冲服务器本身死了怎么办？Apex 能否保证在缓冲服务器恢复后，下游运营商最终会赶上上游运营商？

我是否正确假设我们重命名应用程序时，Kafka 运算符的语义将完全改变，并可能最终通过应用程序代码从“initialOffset”中读取？

如何维护“应用程序名称”定义的语义？

应用程序代码的每次部署都会产生一个新的应用程序，还是只是使用 @ApplicationAnnotation(name="") 实例来定义这个含义？

我正在尝试 Datatorrent 沙盒，但收到此错误....

HDFS 未就绪 HDFS 可能仍在启动，或者您的 hadoop 服务可能存在其他配置问题。

控制台每 10 秒检查一次这些服务的状态变化，但您也可以手动触发刷新。

添加环境细节：

操作系统：Ubuntu 14.04

虚拟盒子：virtualbox-5.0_5.0.18-106667

数据洪流：数据洪流-沙盒-3.2.0

我已经实现了一个运算符来从 avro byte[] 反序列化为 Object。之后，我将对象发送到 ConsoleOutputOperator。

但是，我得到了这个错误。

我认为它不支持“ArrayList”。

如何修复此错误？

当我的操作员被杀时，我偶尔会从 Web UI 中看到以下日志。有什么方法可以控制在协商容器时用于与 YARN 通信的内存设置？

容器堆和最大内存的典型 YARN 设置与 Apex 内存分配模型有何关系。

我在 Web UI 中看到的信息消息如下：

用例：从 DB2 中一次性提取事务数据（例如行 = 10,000）并将它们插入到 Vertica 数据库中。

问题：我应该从数据库中获取单行还是批量 10k 行，处理然后插入目标数据库？是否有从一个数据库读取并写入另一个数据库的示例代码？

Apache Apex应用程序在应用程序运行时给出的指标很少，例如“总处理量”和“总发射量”。这些数字到底是什么意思？它们是到目前为止由相应操作员处理/发出的记录数吗？

如果上述假设是正确的，那么，在输入运算符恢复的情况下，当失败的输入运算符在新容器中重新启动时，输入运算符的数字、“总处理”和“总发出”不完全匹配与馈入输入运算符的元组数。除了实际的数据元组之外，框架是否会发送一些额外的元组，以防操作员恢复？

是否可以在 Apex 程序中检索 Apex 应用程序 ID：egapplication_1463594017097_0024？例如来自 DAG 对象或其他对象？

有人可以帮我理解，Apache APEX CLI 命令中的 Shutdown-app 和 kill-app 有什么区别？