apache-spark - spark对JSON使用hive自定义serde但找不到类

Question

跟随https://github.com/Esri/gis-tools-for-hadoop/wiki/Aggregating-CSV-Data-%28Spatial-Binning%29但在 spark 上找不到 serde 的类。

ClassNotFoundException: Class com.esri.hadoop.hive.serde.JsonSerde not found

我的构建定义如下所示：https ://github.com/geoHeil/spatial-heatmaps/blob/master/esri/build.sbt并包括：

 "com.esri.hadoop" % "spatial-sdk-hive" % esriVersion,
 "com.esri.hadoop" % "spatial-sdk-json" % esriVersion,

整个项目可以在 GitHub 上找到： https ://github.com/geoHeil/spatial-heatmaps/tree/master/esri

通过运行sbt console和粘贴代码来执行应用程序（暂时）

Answer 1

最好的方法是将 GIS-Tools-for-Hadoop 示例升级到 Spatial-Framework-for-Hadoop v2 和 Esri-Geometry-for-Java v2 - https://github.com/Esri/gis-tools-for -hadoop/问题/66。

另一种解决方法是降级到 Spatial-Framework-for-Hadoop 的 v1.2。

[披露：合作者]