我需要合并 avro 文件并将其推送到 Azure blob 存储。我将它合并,然后我尝试再次阅读它,但我得到了错误。
我有一个文件,其中使用 snappy 组合了 avro 文件。运行以下命令时:
java -jar .\avro-tools-1.8.2.jar tojson inputfile
我收到一个错误
Exception in thread "main" org.apache.avro.AvroRuntimeException: java.io.IOException: Invalid sync!
我调试了代码和下面的行,其中 syncBufferis 与 header.sync 进行比较是有问题的。任何想法可能是什么问题。
DataFileStream.DataBlock nextRawBlock(DataFileStream.DataBlock reuse) throws IOException {
if (!this.hasNextBlock()) {
throw new NoSuchElementException();
} else {
if (reuse != null && reuse.data.length >= (int)this.blockSize) {
reuse.numEntries = this.blockRemaining;
reuse.blockSize = (int)this.blockSize;
} else {
reuse = new DataFileStream.DataBlock(this.blockRemaining, (int)this.blockSize);
}
this.vin.readFixed(reuse.data, 0, reuse.blockSize);
this.vin.readFixed(this.syncBuffer);
this.availableBlock = false;
if (!Arrays.equals(this.syncBuffer, this.header.sync)) {
throw new IOException("Invalid sync!");
} else {
return reuse;
}
}
}