0

我们有一个连接到事件中心的 Azure 时序见解预览实例。传入事件作为 parquet 文件写入相关的冷存储数据帐户。当我尝试使用各种阅读器(如 parquet-[head|cat|etc] cmd 工具)打开 parquet 文件时,出现错误。

的输出parquet-head

org.apache.parquet.io.ParquetDecodingException:无法读取文件文件中块 -1 中 0 处的值:20200123140854700_c8876d10_01.parquet

这是更详细的问题示例。这是的输出parquet-dump

$ parquet-dump 20200123140854700_c8876d10_01.parquet
行组 0 ------------------------------------------------------------ -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- ----------------------------------------- 时间戳:INT64 SNAPPY DO:0 FPO: 4 SZ:100/850/8.50 VC:100 ENC:PLAIN,RLE ST:[min: 2020-01-23T14:08:52.583+0000, max: 2020-01-23T14:08:52.583+0000, num_nulls: 0 ] id_string: BINARY SNAPPY DO:167 FPO:194 SZ:80/76/0.95 VC:100 ENC:PLAIN_DICTIONARY,PLAIN,RLE ST:[min: dabas96, max: dabas96, num_nulls: 0] dabasuploader_time_string: BINARY SNAPPY DO:313 FPO:855 SZ:705/2177/3.09 VC:100 ENC:PLAIN_DICTIONARY,PLAIN,RLE ST:[num_nulls: 0, min/max not defined] dabasuploader_prod_kwh_string: BINARY SNAPPY DO:1118 FPO:1139 SZ:62/58/0.94 VC:100 ENC:PLAIN_DICTIONARY,PLAIN,RLE ST:[min: 0, max: 0, num_nulls: 0] dabasuploader_pred_nxd_kwh_string: BINARY SNAPPY DO:1252 FPO:1488 SZ:319/390/1.22 VC:100 ENC:PLAIN_DICTIONARY,PLAIN,RLE ST:[num_nulls: 0, min/max not defined] dabasuploader_pred_today_kwh_string: BINARY SNAPPY DO:1650 FPO:1903 SZ:336/404/1.20 VC:100 ENC:PLAIN_DICTIONARY,PLAIN,RLE ST:[ num_nulls: 0, min/max not defined] java.lang.IllegalArgumentException: [solpos_altitude_double] optional double solpos_altitude_double is not in the store: [[dabasuploader_time_string] optional binary dabasuploader_time_string (STRING), [dabasuploader_pred_nxd_kwh_string] optional binary dabasuploader_pred_nxd_kwh_string (STRING), [ id_string] 可选二进制 id_string (STRING), [timestamp] 可选 int64 时间戳 (TIMESTAMP(MILLIS,true)),[dabasuploader_pred_today_kwh_string] 可选二进制 dabasuploader_pred_today_kwh_string (STRING), [dabasuploader_prod_kwh_string] 可选二进制 dabasuploader_prod_kwh_string (STRING)] 100

来自solpos_altitude_double我们上传到 eventthub 的事件。我的意思是,我们称之为solpos_altitude. 根据_double文档,后缀来自 TSI。

根据我能找到的所有 MS Azure 文档,阅读镶木地板文件应该没有问题。

有人知道出了什么问题吗?如果需要更多信息,我很乐意提供。

4

1 回答 1

0

我相信这是一个由更改数据架构(漂移架构)引起的已知问题。我们目前正在努力修复它。

于 2020-02-24T22:35:14.877 回答