1

我正在将使用elasticsearch-spark 7.6.0版本的现有应用程序迁移到最新的 ie elasticsearch-spark-30_2.12:7.15.0。我正在加载带有日期映射的 ES 数据，如下所示

"my_partition_key": {
                    "format": "yyyy-MM-dd",
                    "type": "date"
                }

但是我收到错误

*org.elasticsearch.hadoop.rest.EsHadoopRemoteException: mapper_parsing_exception: failed to parse field [my_partition_key] of type [date] in document with id 'asdaszzdfdf-Ptn'. Preview of field's value: '1634601600000';org.elasticsearch.hadoop.rest.EsHadoopRemoteException: illegal_argument_exception: failed to parse date field [1634601600000] with format [yyyy-MM-dd];org.elasticsearch.hadoop.rest.EsHadoopRemoteException: date_time_parse_exception: Text '1634601600000' could not be parsed at index 0
{"index":{}}*

我无法弄清楚虽然值很长并且打印数据集dataset.show()显示有效日期，但为什么无法写入 ES？是否需要为具有最新 ES 的日期字段传递任何新配置？任何帮助表示赞赏。

4

0 回答 0