我有这个从迁移中创建的 Hudi 表,所以它有数十亿行。迁移时没有问题,但是当我开始流式传输以开始将新数据写入此表时,发生了以下错误:
ERROR - error producing records (org.apache.hudi.common.util.queue.BoundedInMemoryExecutor.lambda$null$0(BoundedInMemoryExecutor.java:94)):94
org.apache.parquet.io.ParquetDecodingException: Can not read value at 1 in block 0 in file s3://lake/tables/hudi/usage_fact_cpaas_by_month/organization_id=AAABBBCCC/year=2020/month=12/5235f14e-85b4-488e-99f4-9eb416532795-1_3-134-785_20201216202753.parquet
...
[2020-12-29 16:45:18,284] ERROR - error reading records from queue (org.apache.hudi.common.util.queue.BoundedInMemoryQueue.readNextRecord(BoundedInMemoryQueue.java:201)):201
java.lang.InterruptedException
我对另一个迁移的表做了同样的事情,没有问题。两个表之间的唯一区别是分区。
执行在 AWS 上进行并使用 Hudi 0.5.3。
你们中有人遇到过这个问题吗?不确定这是 Hudi 还是 AWS 问题。