问题标签 [apache-storm]

我有以下问题：

我目前正在处理多个并行线程，它们同时应该通过 mysql 查询从同一个数据库中获取数据（我为此使用 Java - 更准确地说，使用 Java 进行风暴）。但是不是并行执行，而是按顺序执行，因此，整个过程所需的时间或多或少是来自每个线程的每个查询的总时间。

有没有办法实际并行执行这些线程（以及来自同一数据库的查询）？我真的需要加快这个过程很多。

不幸的是，有太多的代码行无法向您展示一些有用的摘录......

我希望你仍然可以帮助我解决这个问题。

谢谢1

我在玩 Storm，我想知道 Storm 在哪里指定（如果可能的话）聚合时的（翻滚/滑动）窗口大小。例如，如果我们想在 Twitter 上查找前一小时的热门话题。我们如何指定一个螺栓应该每小时返回一次结果？这是在每个螺栓内以编程方式完成的吗？还是以某种方式指定“窗口”？

对于我们每天必须处理至少“2-3 TB”数据的业务用例，我正在对“Hadoop & Storm”进行分析。

毋庸置疑，“Storm”看起来令人印象深刻，因为它在处理传入的大数据方面的效率很高，但我不确定“Storm”是否有能力处理“TB”的数据，同时为我提供实时结果或不是 ？

谁能解释一下？

谢谢， 加金德拉

我是 maven 的新手，我试图运行 strom kafka TestTopology spout，但是在storm-kafka spout 下的storm-kafka contrib 中没有提供pom 文件。我使用了 Lein，它也不起作用。我还尝试使用 lein pom 自己制作一个 pom（并对其进行修改），但它也不起作用。我正在从上到下构建项目：我在storm-conrib-master 中运行mvn，它成功构建了更高级别，但是我如何使用storm starter 中的m2-pom 运行TestTopology.java { 稍作更改} 我使用这个：

我还使用了 project.clj 设置和 lein，它也不起作用，但 lein 不是我的菜。这是 Maven 设置：

Apache Maven 3.0.4 Maven 主页：/usr/share/maven Java 版本：

1.6.0_33，供应商：Sun Microsystems Inc.

编码：UTF-8 操作系统名称：“linux”，版本：“3.2.0-32-generic”，arch：“amd64”，家族：“unix”

我应该如何运行 TestTopology.java？

我收到编译错误：

[错误] 无法执行目标 org.apache.maven.plugins:maven-compiler-plugin:2.0.2:compile (default-compile) on projectstorm-kafka: 编译失败：编译失败：[错误] Desktop/storm- contrib-master/storm-kafka/src/jvm/storm/kafka/trident/StaticBrokerReader.java:[13,7] -source 1.3 [错误] 不支持泛型（使用 -source 5 或更高版本来启用泛型）[错误] 地图代理 = new HashMap(); [错误]

大家好，我有一个基本的 Storm 应用程序设置，它接收推文流并将它们存储在 MySQL 数据库中。该应用程序在前约 23 小时左右运行良好，然后开始出现以下错误：

在它这样做几次之后，它就死了。我正在使用标准 JBDC 连接器从 Java 连接到数据库。存储和建立数据库连接的函数代码如下：

在很明显它由于 08003 错误而崩溃后，我决定如果它抛出该错误，它应该重试连接设置，但这也无济于事。谁能指出我解决这个问题的正确方向？

我有一个问题。我理解麻烦，但我没有找到解决方案。集群没有关闭，抛出 IOException。I/O 方法不起作用，因为 Windows 不允许临时文件夹。我的意思是这条路径；

C:\Users\Mert\AppData\Local\Temp\8bbdc8e5-a753-40f3-afe0-0c2fcc1c25a0\version-2\log.1

Storm 能够删除日志文件以进行关机。

我尝试了 Eclipse.exe 和 javaw.exe 的管理员模式，但它不起作用。我该怎么办？

IO 异常堆栈跟踪：

exception.detailMessage -> java.io.IOException：无法删除文件：C:\Users\Mert\AppData\Local\Temp\c3c9b21b-7817-4b63-92ae-555a49743d9d\version-2\log.1

exception.stackTrace -> StackTraceElement[0] (id=130)

运行后控制台输出：

我正在运行一个使用 log4j 进行日志记录的 Storm 集群。除了标准的基于文件的日志记录之外，我还想添加一个 kafka appender。

我的 log4j 配置文件如下所示：

一切正常，除了 kafka appender 不使用定义的 ConversionPattern，即使该定义与文件 appender 中的定义完全相同，它按预期工作。我必须如何更改配置才能使 kafka appender 工作？

我想尝试安装Storm。

Storm 是否有像Hadoop（cloudera、mapr 等）这样的发行版？还是我应该自己安装（ZEROMQ、GZMQ 等）

版本呢？我在哪里可以找到要使用的版本？我看到 Storm 有 0.8.1。ZeroMq 已经是 3.2.2 版本。

我有 2 个简单的类映射现有数据库：

我只想能够找到所有File具有非空File.filedownloads集的对象。这可以在 python 中通过查询所有File对象并手动过滤File.filedownloads字段来完成，但我认为有一种更简洁的方法可以做到这一点（这不起作用:)）：

我知道第一个适用于 SQLAlchemy：

我们正在评估部署 Storm，但我有点担心。我们目前运行 Hadoop MapReduce，并且希望将我们的一些处理从 MapReduce 转换到 Storm 进程。请注意，这是一些，但不是全部。我们仍然会有一些 MapReduce 功能。

我找到了 Mesos，它可以（可能）允许我们在同一硬件上维护 Storm 和 Hadoop 部署，但还有一些其他问题：

• 我设想理想的情况是能够在 Storm 和 Hadoop 之间任意“借用”插槽。前任。两者都将根据需要使用相同的资源。不幸的是，这是一个固定部署，而不是像 EC2 之类的“基于云”。

• 我想避免 Storm 环境中的瓶颈。一个理想的情况是根据需要“旋转”（或相反）更多 Bolts 实例。这可能/现实吗？

• “重新启动”拓扑似乎是一项相当昂贵的操作，我不确定这是否真的是一种选择。理想情况下，我希望它尽可能无缝。

我们是否正确地处理了这个问题？本质上，Storm 拓扑会“提供”一个 MapReduce 批处理作业。我们的一些处理可以流式处理，作为 Storm 拓扑会更好，而其中一些需要批处理。

欢迎任何一般性反馈，即使它没有解决我的具体问题。在这一点上，这更像是一个探索阶段，我可能完全走错了路。