我正在使用一个自定义 jar 来读取 AVRO 文件并将其转换为 JSON
AvroToJsonConverter avroToJson= new AvroToJsonConverter();
JSONArray jsonArray = avroToJson.readJsonFromAvro("/tmp/DW_ABC.avro");
AVRO 文件大小为 200 MB,每条记录由 1500 多个 JSON 元素(名称/值对)组成。我将很快与您分享自定义 Jar。
尽管堆大小足够,但“请求的数组大小超过 VM 限制”仍会出现此错误。或者推荐的大小来读取这样的文件。
虽然相同的程序在较小的 AVRO 文件上运行良好。