问题标签 [apache-apex]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
stream-processing - 如何重新启动 Apache Apex 应用程序？
从apex 文档中可以清楚地看出，使用 apache apex 启动的应用程序可以分别使用以下命令被杀死或关闭：kill-app& shutdown-app。
但是，当应用程序关闭（关闭/杀死）时，如何从以前的状态重新启动它？
hadoop - Apache Apex - 自定义编写的 Kafka 偏移管理器
如果我为 kafka 输入运算符编写自己的 OffsetManager 实现，
我应该如何配置 kafka 输入运算符以使用我的自定义构建偏移管理器？我知道“OffsetManager”属性，但是有人可以分享一些如何设置偏移管理器的工作示例吗？
非常感谢。
java - 如何将参数传递给 Apache Apex 中的 application.java 类？
如何将参数传递给Application.javaclass ？就像我们如何(String[] args)在 java 中传递 main 方法一样？
找不到任何参考资料。有人可以分享这方面的知识吗？
非常感谢。
maven - DataTorrent：JDBC 运算符不工作
我正在替换 WordCountDemo 中的控制台运算符，但它在 STRAM 事件中给了我一个 operatorError。当我单击它时，它会显示空指针错误。我对数据流非常陌生。
这是完整的错误消息：
hadoop - 除了在hadoop集群中设置的时间之外，如何为长时间运行的应用程序更新委托令牌
我有一个在我的 Hadoop 环境中运行的 Apache Apex 应用程序。
我对应用程序没有任何问题，除了它在 7 天后失败。而且，我意识到这是因为任何应用程序的集群级别设置。
有什么办法，我可以定期更新委托令牌以确保作业连续运行而不会失败！
我可以在网上找到有关如何更新 hdfs 委托令牌的任何资源！！有人可以分享你的知识吗？
java - DataTorrent/ Apache Apex 与 sbt
已经在 DataTorrent/Apex 上工作了一段时间。SBT 可用于创建 DataTorrent (Java) 应用程序吗？在DataTorrent Applicationsbt clean assembly的目录中执行时遇到了Build Success。但是只创建了.jar文件，没有创建.apa文件。root
以下是 build.sbt
和 plugin.sbt：
这是 DT 中的错误还是我错过了什么？同样的事情适用于 Maven。当我看到以下帖子时遇到了这个问题：SBTWithDT
apache-spark - 如何在 kappa 架构中使用 datatorrent？
我读了很多关于 lambda 和 kappa 架构的文章，在这些架构中我们需要使用 Apache Spark 或 Apache Storm。我刚刚发现了一个名为 DataTorrent 的新工具，它可以进行批处理和实时处理。我想知道 DataTorrent 是否可以同时执行 lambda（或 kappa）架构的批处理和速度层？
干杯，
hdfs - AbstractFileOutputWriter 生成重复的 tmp 文件
我有一个使用 Kafka 日志并将其写入 HDFS 的 Apache Apex 应用程序。
DAG 非常简单，有一个 Kafka 消费者（20 个 2 GB 内存的分区用于操作员）通过流连接到“MyWriter extends AbstractFileOutputOperator”。
问题： 1.我看到Writer多次重复写入相同大小和相同数据的.tmp文件。我已经尝试增加写入操作符的内存，增加写入器的分区数量等。这个问题仍然存在。
我尝试向 MyWriter 添加/删除 requestFinalize。还是同样的问题。
这是我的 properties.xml 的一个子集
这是我能够从 dt.log 为操作员获取的堆栈跟踪：操作员可能在不同的容器中重新部署，抛出此异常并继续写入重复文件。
apache-apex - 无法获取正在运行的应用程序的应用程序概览页面
大多数时候，我无法转到我的应用程序的应用程序监视器页面的应用程序概述。有时当我去的时候，页面上的所有统计信息，例如：逻辑计划、物理计划选项卡根本不存在，并且没有任何统计信息显示。但是，在应用程序被杀死后，我没有问题可以转到应用程序概述。
这是 dtgateway.log 上的堆栈跟踪，每当我无法进入应用程序概览页面时：
protocol-buffers - Apache Apex CLI 启动错误 - protobuf
我正在尝试在运行 2.7.4-SNAPSHOT 和 Protobuf v2.6.1 的 Hadoop 集群上从 Apache Apex CLI（版本 3.4）启动 apa 文件，但出现以下错误：
java.lang.NoSuchMethodError: com.google.protobuf.LazyStringList.getUnmodifiableView()Lcom/google/protobuf/LazyStringList; 在 org.apache.hadoop.yarn.proto.YarnServiceProtos$GetApplicationsRequestProto$Builder.buildPartial(YarnServiceProtos.java:17322) 在 org.apache.hadoop.yarn.proto.YarnServiceProtos$GetApplicationsRequestProto$Builder.build(YarnServiceProtos.java:17310)在 org.apache.hadoop.yarn.api.protocolrecords.impl.pb.GetApplicationsRequestPBImpl.mergeLocalToProto(GetApplicationsRequestPBImpl.java:79) 在 org.apache.hadoop.yarn.api.protocolrecords.impl.pb.GetApplicationsRequestPBImpl.getProto(GetApplicationsRequestPBImpl. java:69) 在 org.apache.hadoop.yarn.api.impl.pb.client.ApplicationClientProtocolPBClientImpl.getApplications(ApplicationClientProtocolPBClientImpl.java:249)
有什么想法有什么问题或我该如何调试？非常感谢。