0

我需要合并 avro 文件并将其推送到 Azure blob 存储。我将它合并,然后我尝试再次阅读它,但我得到了错误。

我有一个文件,其中使用 snappy 组合了 avro 文件。运行以下命令时:

java -jar .\avro-tools-1.8.2.jar tojson inputfile

我收到一个错误

Exception in thread "main" org.apache.avro.AvroRuntimeException: java.io.IOException: Invalid sync!

我调试了代码和下面的行,其中 syncBufferis 与 header.sync 进行比较是有问题的。任何想法可能是什么问题。

DataFileStream.DataBlock nextRawBlock(DataFileStream.DataBlock reuse) throws IOException {
    if (!this.hasNextBlock()) {
        throw new NoSuchElementException();
    } else {
        if (reuse != null && reuse.data.length >= (int)this.blockSize) {
            reuse.numEntries = this.blockRemaining;
            reuse.blockSize = (int)this.blockSize;
        } else {
            reuse = new DataFileStream.DataBlock(this.blockRemaining, (int)this.blockSize);
        }

        this.vin.readFixed(reuse.data, 0, reuse.blockSize);
        this.vin.readFixed(this.syncBuffer);
        this.availableBlock = false;
        if (!Arrays.equals(this.syncBuffer, this.header.sync)) {
            throw new IOException("Invalid sync!");
        } else {
            return reuse;
        }
    }
}
4

0 回答 0