我正在尝试mllib.jar
在 web 项目中使用 spark。我下载spark-1.1.0-bin-hadoop2.4
并解压缩。找到一些jar如下:
数据核-api-jdi-3.2.1.jar
datanucleus-core-3.2.2.jar
数据核-rdbms-3.2.1.jar
spark-assembly-1.1.0-hadoop2.4.0.jar
spark-examples-1.1.0-hadoop2.4.0.jar
然后我用spark-assembly-1.1.0-hadoop2.4.0.jar
导入分类的方法。它可以在java项目中成功运行。但是,当我将 jar 添加到 时SomeWebProject/web-inf/lib
,会出现错误消息:
validateJarFile ...\web-inf\lib\spark-assembly-1.1.0-hadoop2.4.0.jar jar not loaded. offending class:javax/servlet/servlet.class
我知道这是因为我的 web 项目 javax.servlet 类与 spark jar 重复。我尝试删除 spark 的javax.servlet
. 它仍然无法正常工作。
你能告诉我怎么解决吗
和
我可以使用其他 spark jarmllib
在本地模式下运行吗?这个罐子太大了,差不多了132 mb
,我认为其中一些没用。但我找不到任何其他可用的罐子。这个 jar 是唯一的导入方式spark-mllib.jar
吗?ps 由于某些原因,我无法在我的服务器中部署 spark。所以我不能使用hadoop环境
非常感谢!!!