hadoop - avro gradle 插件示例使用

Question

我正在尝试在 github 上使用 avro-gradle-plugin，但没有任何运气让它工作。有没有人有任何关于他们如何让它工作的示例代码？

Answer 1

我想出了如何自己做。以下是我想与可能遇到与我相同问题的人分享的片段：

apply plugin: 'java'
apply plugin: 'avro-gradle-plugin'

sourceCompatibility = "1.6"
targetCompatibility = "1.6"

buildscript {
  repositories {
    maven { 
      // your maven repo information here
    }
  }
  dependencies {
    classpath 'org.apache.maven:maven-artifact:2.2.1'
    classpath 'org.apache.avro:avro-compiler:1.7.1'
    classpath 'org.apache.avro.gradle:avro-gradle-plugin:1.7.1'
  }
}

compileAvro.source = 'src/main/avro'
compileAvro.destinationDir = file("$buildDir/generated-sources/avro")

sourceSets {
  main {
    java {
      srcDir compileAvro.destinationDir
    }
  }
}

dependencies {
  compileAvro
}

Answer 2

我发现“com.commercehub.gradle.plugin.avro”gradle 插件工作得更好。

使用以下：

// Gradle 2.1 and later
plugins {
  id "com.commercehub.gradle.plugin.avro" version "VERSION"
}

// Earlier versions of Gradle
buildscript {
    repositories {
        jcenter()
    }
    dependencies {
        classpath "com.commercehub.gradle.plugin:gradle-avro-plugin:VERSION"
    }
}
apply plugin: "com.commercehub.gradle.plugin.avro"

更多细节在https://github.com/commercehub-oss/gradle-avro-plugin

Answer 3

在评估插件时，需要询问以下问题：

• 生成的文件是否包含在源 jar 中？
• 插件快吗？好的插件使用 avro 工具 api 而不是为每个文件分叉 VM。对于大量文件，为每个文件创建 VM 可能需要 10 分钟来编译。
• 您需要中间 avsc 文件吗？
• 构建增量（即除非其中一个源发生更改，否则不重新生成所有文件）？
• 插件是否足够灵活，可以访问生成的模式文件，因此可以进行进一步的操作，例如在模式存储库中注册模式？

如果您对插件不满意或需要更多灵活性，则无需任何插件即可轻松实现。

//
// define source and destination
//
def avdlFiles = fileTree('src/Schemas').include('**/*.avdl')
// Do NOT generate into $buildDir, because IntelliJ will ignore files in 
// this location and will show errors in source code
def generatedJavaDir = "generated/avro/java"

sourceSets.main.java.srcDir generatedJavaDir

//
// Make avro-tools available to the build script
//
buildscript {
    dependencies {
        classpath group:'org.apache.avro', name:'avro-tools' ,version: avro_version
    }
}

//
// Define task's input and output, compile idl to schema and schema to java
//
task buildAvroDtos(){
    group = "build"

    inputs.files avdlFiles
    outputs.dir generatedJavaDir

    doLast{
        avdlFiles.each { avdlFile ->
            def parser = new org.apache.avro.compiler.idl.Idl(avdlFile)
            parser.CompilationUnit().getTypes().each { schema ->
                def compiler = new org.apache.avro.compiler.specific.SpecificCompiler(schema)
                compiler.compileToDestination(avdlFile, new File(generatedJavaDir))
            }
        }
    }
}

//
// Publish source jar, including generated files
//
task sourceJar(type: Jar, dependsOn: buildAvroDtos) {
    from sourceSets.main.allSource
    // Package schemas into source jar
    into("Schemas") { from avdlFiles }
}

// Clean "generated" folder upon "clean" task
clean {
    delete('generated')
}