2

我正在尝试mllib.jar在 web 项目中使用 spark。我下载spark-1.1.0-bin-hadoop2.4并解压缩。找到一些jar如下：

数据核-api-jdi-3.2.1.jar

datanucleus-core-3.2.2.jar

数据核-rdbms-3.2.1.jar

spark-assembly-1.1.0-hadoop2.4.0.jar

spark-examples-1.1.0-hadoop2.4.0.jar

然后我用spark-assembly-1.1.0-hadoop2.4.0.jar导入分类的方法。它可以在java项目中成功运行。但是，当我将 jar 添加到 时SomeWebProject/web-inf/lib，会出现错误消息：

validateJarFile ...\web-inf\lib\spark-assembly-1.1.0-hadoop2.4.0.jar jar not loaded. offending class:javax/servlet/servlet.class

我知道这是因为我的 web 项目 javax.servlet 类与 spark jar 重复。我尝试删除 spark 的javax.servlet. 它仍然无法正常工作。

你能告诉我怎么解决吗

和

我可以使用其他 spark jarmllib在本地模式下运行吗？这个罐子太大了，差不多了132 mb，我认为其中一些没用。但我找不到任何其他可用的罐子。这个 jar 是唯一的导入方式spark-mllib.jar吗？ps 由于某些原因，我无法在我的服务器中部署 spark。所以我不能使用hadoop环境

非常感谢！！！

4

1 回答 1

1

如果您可以使用 maven，那么只需将这些依赖项添加到您的 pom.xml 中：

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>1.3.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-mllib_2.11</artifactId>
        <version>1.3.0</version>
    </dependency>
于 2015-04-01T06:05:48.080 回答