1

在工作中，我们在 Scalding 项目中使用 gradle，我正在尝试提出最简单的工作来摆脱堆栈。

我的班级看起来像：

package org.playground

import com.twitter.scalding._

class readCsv(args: Args) extends Job(args) {

    val csv:Csv = Csv(args("input"), ("firstName", "lastName"))
    println(csv)
}

和生活in playground/src/org/playground/readCsv.scala。我的构建脚本如下所示：

apply plugin: 'scala'

archivesBaseName = 'playground'

mainClassName = 'org.playground.readCsv'

repositories {
  mavenLocal()
  mavenCentral()
  maven{ 
        url 'http://conjars.org/repo/'
        artifactUrls  'http://clojars.org/repo/‎'
        artifactUrls  'http://maven.twttr.com/'
    }
}

dependencies {

    compile 'org.scala-lang:scala-compiler:2.9.2'
    compile 'org.scala-lang:scala-library:2.9.2'
    compile 'bixo:bixo-core:0.9.1'
    compile 'org.apache.hadoop:hadoop-core:1.2.1'
    compile 'com.twitter:scalding_2.9.2:0.8.1' 
    compile 'cascading:cascading-core:2.1.6'
    compile 'cascading:cascading-hadoop:2.1.6'
    testCompile 'org.testng:testng:6.8.7'
    testCompile 'org.scala-tools.testing:specs:1.6.2.2_1.5.0'
}

test {
    useTestNG()
}

jar {
  description = "Assembles a Hadoop-ready JAR file"
  manifest {
    attributes( "Main-Class": "org.playground.readCsv" )
  }
}

这会成功编译和构建，但尝试运行 jar 会引发此错误：

$ java -jar build/libs/playground.jar 
Exception in thread "main" java.lang.NoClassDefFoundError: org/playground/readCsv
Caused by: java.lang.ClassNotFoundException: org.playground.readCsv
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)

我有根据的猜测是，让工作从不Job符合某些约定并且看起来不像有效的主类，但我不希望它抱怨找不到它。

另一种可能性是运行它java -jar jarname是不正确的，我只需要使用 hadoop 或类似的东西运行它。

无论如何，只是为了验证：我的设置有什么问题？

4

1 回答 1

3

源文件在错误的位置。默认情况下，它需要进入src/main/scala/org/playground/readCsv.scala. 否则，它甚至不会被编译。

于 2014-04-16T17:28:32.570 回答