2

我第一次使用 Storm（从 Storm 入门中学习），我的项目在运行时失败并出现 ClassNotFoundException：

[WARNING]
java.lang.ClassNotFoundException: TopologyMain
    at java.net.URLClassLoader$1.run(Unknown Source)
    at java.net.URLClassLoader$1.run(Unknown Source)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(Unknown Source)
    at java.lang.ClassLoader.loadClass(Unknown Source)
    at java.lang.ClassLoader.loadClass(Unknown Source)
    at org.codehaus.mojo.exec.ExecJavaMojo$1.run(ExecJavaMojo.java:285)
    at java.lang.Thread.run(Unknown Source)

这些是 TopologyMain 和 pom 文件：

import spouts.WordReader;
import backtype.storm.Config;
import backtype.storm.LocalCluster;
import backtype.storm.topology.TopologyBuilder;
import backtype.storm.tuple.Fields;
import bolts.WordCounter;
import bolts.WordNormalizer;


public class TopologyMain {
public static void main(String[] args) throws InterruptedException {

    //Topology definition
    TopologyBuilder builder = new TopologyBuilder();
    builder.setSpout("word-reader",new WordReader());
    builder.setBolt("word-normalizer", new WordNormalizer())
        .shuffleGrouping("word-reader");
    builder.setBolt("word-counter", new WordCounter(),1)
        .fieldsGrouping("word-normalizer", new Fields("word"));

    //Configuration
    Config conf = new Config();
    conf.put("wordsFile", args[0]);
    conf.setDebug(false);
    //Topology run
    conf.put(Config.TOPOLOGY_MAX_SPOUT_PENDING, 1);
    LocalCluster cluster = new LocalCluster();
    cluster.submitTopology("Getting-Started-Toplogie", conf, builder.createTopology());
    Thread.sleep(1000);
    cluster.shutdown();
}
}

起居室：

<project xmlns="http://maven.apache.org/POM/4.0.0" 
     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 
     http://maven.apache.org/xsd/maven-4.0.0.xsd">

  <modelVersion>4.0.0</modelVersion>
  <groupId>storm.book</groupId>
  <artifactId>Getting-Started</artifactId>
  <version>0.0.1-SNAPSHOT</version>

  <build>
   <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
         <version>2.3.2</version>
        <configuration>
      <source>1.6</source>
      <target>1.6</target>
      <compilerVersion>1.6</compilerVersion>
    </configuration>
  </plugin>
 </plugins>


    <!-- Repository where we can found the storm dependencies  -->
    <repository>
        <id>clojars.org</id>
        <url>http://clojars.org/repo</url>
    </repository>


    <!-- Storm Dependency -->
    <dependency> 
      <groupId>storm</groupId>
      <artifactId>storm</artifactId>
      <version>0.7.1</version>
   </dependency>

我对风暴不太了解，这是针对学校项目的，所以请帮忙

4

5 回答 5

7

你应该发起：

mvn -f pom.xml clean install

这将在您的目标目录中创建 jar 文件。
之后，您可以使用此命令执行拓扑：

mvn exec:java -Dexec.mainClass="TopologyMain" -Dexec.args="src/main/resources/words.txt"

祝你好运！

于 2013-06-03T07:43:10.237 回答
2

我第一次跑storm时也遇到了同样的问题。问题是我必须运行具有完整包名的 TopologyMain 类，如下所示：

storm jar <jar-name> <topologymain class with full package name>

在此处输入图像描述

如果您发现依赖类的任何 classNotFound 异常，请尝试构建fat jar。

于 2020-05-10T18:17:26.067 回答
1

尝试添加以下 maven 插件

<plugin>
    <artifactId>maven-assembly-plugin</artifactId>
    <configuration>
        <descriptorRefs>
            <descriptorRef>jar-with-dependencies</descriptorRef>
        </descriptorRefs>
        <archive>
            <manifest>
                <mainClass/>
            </manifest>
        </archive>
    </configuration>
    <executions>
        <execution>
            <id>make-assembly</id>
            <phase>package</phase>
            <goals>
                <goal>single</goal>
            </goals>
        </execution>
    </executions>
</plugin>

这将创建一个包含所有依赖项的 JAR。确保您还指定了提供的风暴依赖项

<dependency>
    <groupId>org.apache.storm</groupId>
    <artifactId>storm-core</artifactId>
    <version>${storm.version}</version>
    <scope>provided</scope>
</dependency>
于 2015-03-29T18:47:45.317 回答
1

如果我没记错的话，您正在创建 jar，然后尝试提交它。可能在您的类路径中，您的 TopologyMain类设置不正确，或者您可能需要指定完全限定的路径或类似的东西。

于 2013-05-17T19:50:46.470 回答
0

只要我看到，您在此处显示的文件似乎是正确的。如果您还没有解决问题，您应该检查以下步骤。

mvn clean package -DskipTests=true
storm jar target/your-jar-file.jar storm.book.TopologyMain arg0

在上面的代码中，我假设你$(PWD)是你项目的根，storm 在你的系统中是全局可用的。这个storm可执行文件不是你从头开始编译的，而是官方发布的。你还应该知道storm可执行文件依赖于系统的Python，如果你的操作系统是Windows，你应该检查storm release python脚本来运行你的应用程序。

于 2016-09-09T03:54:34.927 回答