问题标签 [streamparse]

I'm using the Python Storm library streamparse (which utilizes pystorm underneath). I've had problems calling a Spouts fail() method in the boilerplate wordcount project. According to the pystorm quickstart docs and numerous things I've read, calling fail(tuple) in a Bolt should elicit a failure in the originating Spout. However, even with the few modifications I've made, I always get a Spout ack() right when it leaves the Spout. Is this the correct behavior, or do I need to change a setting/instance variable?

I'm on streamparse 3.4.0 and storm 1.0.2.

My logs show the Spout ack() coming before the Bolt logging.

word.py

wordcount.py

To reiterate, from what I know, I would expect the Bolt's failing to elicit a fail in the Spout and I would also not expect an ack so early. Am I wrong in thinking?

我是apache风暴的新手。我正在尝试在windows 10 中运行 apachestorm + stream parse 。
所以我只是试着在下面做。（http://streamparse.readthedocs.io/en/master/quickstart.html）

然后，在cmd中，

没关系。但

然后在cmd中有一个登录。

所以我将 sparse.py 第 71 行修改为“if not os.getenv('LEIN_ROOT'):”

这是一个日志。

所以我在 tmp.yaml 中用“wordcount”更改了拓扑名称。

我怎样才能解决这个问题？谁能帮我？
感谢您提前提供任何提示！

我正在尝试使用 streamparse 开发拓扑并将其提交到风暴集群。

由于 streamparse 有它的默认字数拓扑来帮助用户测试集群，我可以在网上找到的大多数教程都是关于将这个默认字数示例提交到风暴集群。

我的问题是如何提交我自己的拓扑？例如，我有一个名为“mytopology”的拓扑。根据streamparse的文档，我试过了

我的配置文件是

然而，日志显示

已创建并提交给 Nimbus。

是不是

应该找到 mytopology.py 并构建类似 mytopology.jar 的东西并提交吗？

然后我检查了project.clj文件，最上面一行是

现在很混乱。我还应该配置这个文件吗？当我做

它是否执行与此文件相关的操作？请帮忙...

我正在尝试在带有 docker 容器的本地集群上使用 streamparse

这是我的 docker-compose.yml

version: '3' services: zookeeper: image: zookeeper container_name: zookeeper nimbus: image: storm:1.0.2 container_name: nimbus command: storm nimbus depends_on: - zookeeper supervisor: image: simsimy/docker-storm-supervisor-with-streamparse container_name: supervisor command: storm supervisor depends_on: - nimbus - zookeeper storm-ui: image: storm:1.0.2 container_name: storm-ui command: storm ui depends_on: - nimbus - zookeeper - supervisor

streamparse 示例开箱即用（使用“sparse quickstart wordcount”命令创建）

我只是在 wordcount 快速入门示例中更改了一些参数以匹配我的风暴版本 1.0.2（在 project.clj 文件中）

顺便说一句，如果你有其他风暴版本的解决方案，我可以改变我的

这是我的 config.json ：

{ "serializer": "json", "topology_specs": "topologies/", "virtualenv_specs": "virtualenvs/", "envs": { "prod": { "user": "", "ssh_password": "", "nimbus": "localhost", "workers": ["localhost"], "log": { "path": "", "max_bytes": 1000000, "backup_count": 10, "level": "info" }, "use_virtualenv": true, "virtualenv_root": "/home/myhome/virtualenvs" } } }

./wordcount/virtualenvs/wordcount.txt 仅包含“steamparse”（开箱即用的配置文件）

当我运行稀疏提交时，拓扑失败并显示以下消息：

java.io.IOException: Cannot run program "/home/myhome/virtualenvs/wordcount/bin/streamparse_run" (in directory "/data/supervisor/stormdist/wordcount-10-1529168923/resources")

我检查了 /data/supervisor/stormdist/wordcount-10-1529168923/resources 目录，它只包含 spouts 和 bolts...

拓扑仅在我设置“use_virtualenv”时才有效：false

这是依赖项收集的日志文件： https ://pastebin.com/Tf48kpBb

任何帮助将不胜感激

谢谢

我有一个Streamparse最初是使用Python 2. 我现在正在尝试将其升级为Python 3使用该2to3工具。我也升级Streamparse到3.15.1（不确定拓扑最初是针对哪个版本开发的）。当我尝试使用运行拓扑时sparse run -d，出现以下错误：

我想这是因为ShellBoltSpec班级已经从 改为Python 2，Python 3但我不知道如何解决这个问题。有人有什么建议吗？

我在 Apache Storm 1.1.1 上运行了一个 python 代码（通过 streamparse），最近注意到 Storm 工作人员不断崩溃。以下是我从工作日志中找到的内容。我想不出什么是罪魁祸首，因为日志没有给我足够的线索。拓扑以前工作得很好。知道我还能从哪里开始研究吗？