java - 将 jsoup 添加为提供的依赖项后，Storm 命令失败并显示 NoClassDefFoundError

Question

我在我的项目中使用 JSoup 并且我已经在我的POM文件中声明了依赖项。它编译得很好，也运行得很好，但只有当我使用jar with all dependencies并将依赖范围更改为compiled.

如果我将此范围更改为provided，那么我仍然可以正常编译，但不能运行它。它给了我ClassNotFoundException. classpath我已经在变量中包含了必要的 JAR 文件，path但我仍然面临这个问题。

我可以使用 compile 选项，但我真的很恼火，为什么我不能使用提供的选项运行它，如果有人能帮我弄清楚原因，我将不胜感激。

以下是我看到的错误：

java.lang.NoClassDefFoundError: Lorg/jsoup/nodes/Document;
    at java.lang.Class.getDeclaredFields0(Native Method)
    at java.lang.Class.privateGetDeclaredFields(Class.java:2300)
    at java.lang.Class.getDeclaredField(Class.java:1882)
    at java.io.ObjectStreamClass.getDeclaredSUID(ObjectStreamClass.java:1605)
    at java.io.ObjectStreamClass.access$700(ObjectStreamClass.java:50)
    at java.io.ObjectStreamClass$2.run(ObjectStreamClass.java:423)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.io.ObjectStreamClass.<init>(ObjectStreamClass.java:411)
    at java.io.ObjectStreamClass.lookup(ObjectStreamClass.java:308)
    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1114)
    at java.io.ObjectOutputStream.writeObject(ObjectOutputStream.java:330)
    at backtype.storm.utils.Utils.serialize(Utils.java:52)
    at backtype.storm.topology.TopologyBuilder.createTopology(TopologyBuilder.java:94)
    at com.yahoo.amit.wordstorm.WordStormTopology.main(WordStormTopology.java:25)
Caused by: java.lang.ClassNotFoundException: org.jsoup.nodes.Document
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    ... 14 more

以下是我的 POM 文件：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.yahoo.amit.wordstorm</groupId>
  <artifactId>wordstorm</artifactId>
  <version>1.0-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>wordstorm</name>
  <url>http://maven.apache.org</url>

    <repositories>
        <repository>
            <id>clojars.org</id>
            <url>http://clojars.org/repo</url>
        </repository>
    </repositories>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
    <dependency>
            <groupId>storm</groupId>
            <artifactId>storm</artifactId>
            <version>0.8.2</version>
            <scope>provided</scope>
        </dependency>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>

    <dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.7.2</version>
    <scope>provided</scope>
</dependency>

  </dependencies>
  <build>
    <plugins>
            <!--
            bind the maven-assembly-plugin to the package phase
            this will create a jar file without the storm dependencies
            suitable for deployment to a cluster.
             -->
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <manifest>
                            <mainClass></mainClass>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>

            </plugin>
        </plugins>
        </build>
</project>

以下是我的系统变量：

echo $PATH

/Users/programmerman/Summer
Project/apache-maven-3.0.5/bin/:/Users/programmerman/Summer
Project/storm-0.8.2/bin/:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/Users/programmerman/Summer
Project/CLASSPATH/jsoup-1.7.2.jar:/Users/programmerman/Summer
Project/CLASSPATH/*

echo $CLASSPATH

/Users/programmerman/Summer
Project/storm-0.8.2/storm-0.8.2.jar:/Users/programmerman/Summer
Project/storm-0.8.2/lib/*:/Users/programmerman/Summer
Project/storm-0.8.2/conf/storm.yaml:/Users/programmerman/SummerProject/storm-starter-masterPOM/target/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar:/Users/programmerman/Summer
Project/CLASSPATH/jsoup-1.7.2.jar:/Users/programmerman/Summer
Project/CLASSPATH/*

Answer 1

这既是关于 Maven 的问题，也是关于 Storm 及其部署模型的问题。您必须检查该storm命令的实际作用。首先，它实际上是一个 Python 脚本，最终调用java.

如果您查看该函数get_classpath(extrajars)，您会注意到它根本不使用$CLASSPATHevironment 变量。相反，它会加载核心 Storm jar 和您在lib/相对于您的工作目录的目录下拥有的任何 jar，以及下面的配置文件~/.storm

（您会发现忽略$CLASSPATH在许多 Java 应用程序中很常见。通常“启动脚本”所做的第一件事是覆盖 CLASSPATH 或根本不使用它。这是为了防止未知/不受支持/早期版本的 jar 导致您的应用程序中的问题）。

至于当 jsoup 被声明为“提供”时您的应用程序失败：当您将 jar 声明为提供的依赖项时，它不会被打包在您的“具有依赖项的 jar”程序集中。请参阅此问题以获得很好的解释：Difference between maven scope compile and provided for JAR packaging

tl;dr 的解释是编译范围随您的 uber-jar 一起提供，但提供的范围不是，因为它应该由您部署到的容器“提供”。通常，“容器”是 Java Web 服务器，例如 Tomcat（因此，您永远不必在 Java 中将 JSP 或 Servlet jar 与您的 Web 应用程序一起发布）。在这种情况下，您期望“提供”类的“容器”是 Storm。但是，Storm 不提供 jsoup，因此您的错误。

编译范围类仍然需要随您的应用程序一起提供，因为您的应用程序将实例化/使用接口、枚举等。

我的建议是只声明 jsoup “编译”范围并继续。另一种方法是编写您自己的定制部署脚本和/或将 jsoup 置于其中的程序集lib/- 最终本质上是相同的。

Answer 2

Storm 脚本不使用 CLASSPATH 变量，而是将所有 jar 放在其类路径中的 STORM_DIR/lib 目录中。所以你有2个选择：

1. 将 JSoup 依赖项的范围更改为“编译”范围，并将其与依赖项一起打包到 jar 中。
2. 将 JSoup 依赖项保留在“已提供”范围内，并将 JSoup jar 复制到 STORM_DIR/lib 目录，以便风暴脚本自动将该 jar 放入其类路径中。

我强烈推荐选项 1 并遵循标准的 Maven 方法。

仅供参考，这就是 Storm 脚本创建类路径字符串的方式：

def get_classpath(extrajars):
    ret = get_jars_full(STORM_DIR)
    ret.extend(get_jars_full(STORM_DIR + "/lib"))
    ret.extend(extrajars)
    return normclasspath(":".join(ret))

Answer 3

提供的 Maven 范围意味着依赖项包含在编译时，但不包含在运行时。容器/运行脚本应该明确地包含它，所以我可以看到你在正确的轨道上。

您可以检查以解决问题的其他事项是：

1. 检查运行 java 程序的 shell 实例上的 CLASSPATH 环境变量。尽管您的用户 shell 上已经有正确的 CLASSPATH 值，但通常您必须创建一个新的 shell 实例（即：运行脚本）并且 CLASSPATH 变量不会传播。在 UNIX 上，这通常使用export命令完成
2. 检查类路径路径是否有效，具有正确的文件系统权限，jar 没有损坏
3. 检查用于运行程序的 java 命令。如果您指定-cp它可能（或不）覆盖 CLASSPATH 环境变量