问题标签 [heron]

我正在尝试使用 IntelliJ IDEA 启动一个苍鹭项目（或移植现有的风暴项目），但不幸的是我无法让它工作。

我已经测试了Heron Docs中所有建议的指令以从风暴升级，但是在POM.xml根据文档更改文件后，我cannot find symbol从基本的苍鹭类和方法中得到了一堆，同时使用 maven 编译并添加库 Jars 无济于事（就像以前一样风暴）。

我还尝试使用setup-intellij.sh脚本制作一个 intellij 项目，但不幸的是它因错误而停止：

我想知道使用 IntelliJ IDEA 创建工作项目的最简单方法是什么。

我是否必须向 intelliJ 添加风暴库和苍鹭库？如何附加所需的库以便正确编译？

任何建议将不胜感激。

比较 Flink vs Spark Streaming、Flink vs Storm 和 Storm vs Heron 有很多问题。

这个问题的起源是因为 Apache Flink 和 Twitter Heron 都是真正的流处理框架（不是微批处理，如 Spark Streaming）。Storm 已于去年被 Twitter 停用，他们改用 Heron（这基本上是 Storm 的重新设计）。

Slim Baltagi 有关于 Flink 和 Flink vs Spark 的精彩演讲： https ://www.youtube.com/watch?v=G77m6Ou_kFA

Ilya Ganelin 对各种流媒体框架进行了很好的研究： https ://www.youtube.com/watch?v=KkjhyBLupvs

关于 Flink 与 Storm 的非常有趣的想法： Flink 和 Storm 之间的主要区别是什么？

但我还没有看到任何新的 Storm/Heron 与 Apache Flink 的比较。

这两个项目都很年轻，都支持使用以前编写的 Storm 应用程序和许多其他东西。Flink 更适合 Hadoop 生态系统，Heron 更适合基于 Twitter 的生态系统堆栈。

有什么想法吗？

Twitter 声称，与 apachestorm 相比，apache heron 的最大优势之一debug-ability是通过将每个 spout/bolt 任务移动到一个 Heron 实例（一个 JVM 进程）而不是将多个任务捆绑到一个 JMV 来实现（storm 过去是如何做的）它）。

这种方法确实有助于调试拓扑。但我的问题是，如何尝试调试 heron 的核心部分，如调度程序或资源管理部分。除了记录/打印输出之外，还有其他方法吗？因为这是一个真正耗费时间和精力的过程。有没有办法使用像 IDE（例如 IntelliJ）这样的工具来设置一些检查点并调试 heron 中调度任务的整个过程？

提前致谢。

我目前正在研究 Heron 和 Apache Storm 进行一些资源管理和调度研究。

我注意到在向 Heron 提交拓扑后，它们开始运行并占用资源，但在停用它们后，它们似乎仍在后台运行并占用 100% 的 CPU 和 RAM！我错过了什么吗？我理解它的方式并基于苍鹭文档，停用拓扑应该停止它们并阻止它们处理新的元组，

停用拓扑。停用后，拓扑将停止处理，但仍会在集群中运行。

但是当我在停用后检查 heron-ui 时，它仍在处理新的元组，因为发射计数不断变化！但是当我杀死他们时，一切都会恢复正常！正常吗？如果没有，有什么问题？

我想为 apache heron 编写一些自定义调度程序，并且我正在深入研究源代码。我注意到在苍鹭源代码中有几个具有相似类的包。例如backtype.storm&中的大多数类org.apache.storm都是相似的（完全相似，因此内部代码相同）。这两个包之间也有一些相似的类com.twitter.heron（例如com.twitter.heron.api.tuple.Fields），但其中一些在内部有不同的代码（例如 Fields 类）。我知道在编写拓扑时，我们可以导入我们想要的每个包，我们可以在其中任何一个之间进行选择，但我很好奇它们之间的差异以及它们为什么将所有这些包放在一起。并没有合并它们？如果风暴类是编写拓扑的唯一选择，那么什么是类com.twitter.heron包好用吗？

我知道 heron 被设计为与storm完全向后兼容，这可能是因为向后兼容问题，但我不得不承认这让我很困惑，因为我需要在这些类中编写自己的代码，而我不知道如何选择哪一个，哪个是开发人员不断开发和维护的，我应该选择它们作为修改的候选者。

提前致谢。

我一直在尝试使用 Heron 运行风暴拓扑，我认为这是一个相对简单的过程。但是，Heron 网站上似乎不支持 windows。我可以在 Windows 上手动构建 Heron 还是仅在 linux 和 OS X 上支持？

我正在尝试将项目从 apache-storm 迁移到 twitter-heron。经过一番挣扎，我能够摆脱大部分错误，例如使用className: "org.apache.storm.kafka.ZkHosts"而不是className: "storm.kafka.ZkHosts". 但是，我被困在提交拓扑中。我使用 Flux 将拓扑提交给storm。

在 ZkState 中创建 CuratorFramework 对象时，我收到 NullPointerException。在进一步挖掘中，我在 github中发现了一个问题，它说，如果未设置有关 zookeeper 的配置，则会导致此问题。

进一步调试我发现问题是因为我缺少ZkState.java:46中所需的以下配置。

虽然我已经设法确定了这个问题，但是，我不确定在我的配置中添加到哪里。有人可以帮我在哪里添加上述配置。谢谢你。

我的通量配置

我正在尝试编译一个 bazle 项目，Twitter Heron。在我的国家/地区的终端中有一个我无法访问的 maven_server：

错误：/home/xxx/heron/heron/healthmgr/src/java/BUILD:56:1：没有这样的包'@org_apache_thrift_libthrift//jar'：无法获取 Maven 依赖项：无法传输工件 org.apache.thrift： libthrift:jar:0.5.0-1 from/to org_apache_thrift_libthrift ( http://maven.twttr.com ): 连接到 maven.twttr.com:80 超时并由 '//heron/healthmgr/src/java: healthmgr-unshaded'。错误：目标 '//scripts/packages:binpkgs' 的分析失败；构建中止。信息：经过时间：10.867 秒

所以我从站点手动下载所需的jar，将它放在我的本地maven存储库中，并将WORKSPACE中的maven_server更改为中央maven存储库。但随后它尝试从中央 maven 存储库中找到仅在特定远程存储库中可用的 jar。我明白了：

错误：/home/xxx/heron/heron/healthmgr/src/java/BUILD:56:1：没有这样的包'@org_apache_thrift_libthrift//jar'：无法获取 Maven 依赖项：找不到工件 org.apache.thrift： org_apache_thrift_libthrift ( http://central.maven.org/maven2 ) 中的 libthrift:jar:0.5.0-1 并由“//heron/healthmgr/src/java:healthmgr-unshaded”引用。错误：目标 '//scripts/packages:binpkgs' 的分析失败；构建中止。信息：经过时间：1.083s

bazel 可以在我的本地 maven 存储库中找到依赖项吗？还是我把罐子放在了错误的路径上？或者还有其他什么问题吗？

我正在从事物联网项目，我在 CoAP 协议中接收数据流。我想通过对其进行一些转换来处理 Heron 中的数据。是否可以将 CoAP 协议对象集成到苍鹭？