问题标签 [geospark]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
200 浏览

java - 如何在火花中使用 sedona spark sql 或 geo spatail

嗨有下面的多边形数据(基本上是500米),比如

我有以下点数据,其中包含经纬度

我试图找到多边形边界内的所有点。我用过

https://sedona.apache.org/tutorial/sql/

我的代码就像

我在 pom.xml 中使用了以下插件

但我收到以下错误。我无法解决该错误

由于阶段失败而中止作业:阶段 4.0 中的任务 0 失败 1 次,最近一次失败:阶段 4.0 中丢失任务 0.0(TID 4,本地主机,执行程序驱动程序):java.lang.ClassCastException:org.apache.spark.sql。在 org.apache.spark.sql.geosparksql.expressions.ST_GeomFromWKT.eval 中,catalyst.util.GenericArrayData 无法转换为 org.apache.spark.unsafe.types.UTF8String

0 投票
0 回答
125 浏览

apache-spark - 测试 Sedona VIZ 示例时出错

我正在尝试运行 Sedona Spark Visualization 教程代码。示例链接:https ://sedona.apache.org/tutorial/viz/

以下数据集是我的baseDF

纬度 经度
-88.331492 32.324142
-88.175933 32.360763
-88.388954 32.357073
-88.221102 32.35078

我正在关注文档中的示例代码,我的代码如下:

然后,我收到以下错误:

我查看了代码,显然,它正在通过一个断言,在那里,分辨率小于或等于 0,但是,我创建了一些打印并测试了一些值并将分辨率设置为 256,它仍然是仍然给出同样的错误。我做错了什么还是一个错误?

0 投票
0 回答
51 浏览

apache-spark - Py4JJavaError-使用 GeoSpark 时出现 NotClassFound 错误

我正在使用 GeoSpark (Apache Sedona) 库从 .csv 文件中读取地理空间数据。我想从此 csv 文件中读取多边形,但出现以下错误:

这是代码:

我收到以下错误:


0 投票
1 回答
233 浏览

apache-spark - 带有 Pyspark 的 Apache-Sedona - java.lang.ClassCastException:[B 无法转换为 org.apache.spark.unsafe.types.UTF8String

我正在从 spark 中的 parquet 加载数据,其中一列是二进制类型。我想将此列转换为几何类型,因为我正在使用Apache Sedona /GeoSpark。我正在st_geomfromwkb为此使用,但出现错误

低于错误:

0 投票
0 回答
13 浏览

geospark - 使用 geoSpark 生成多边形

可以说我有一个如下所示的 json 数据集

outer_coordinates我想通过使用 geospark 作为输入来生成多边形。而且,我的预期输出如下:

物品 形状类型 多边形
2 xyz 多边形((99.51 80.76、80.64 80.76、80.64 81.19、83.14 81.19、83.14 80.76、84.14 80.76、99.51 80.76))
1 美国广播公司 多边形((78.51 80.76、80.64 80.76、80.64 81.19、83.14 81.19、83.14 80.76、84.14 80.76、84.14 89.69、78.51 89.69、78.51 80.76))

你能请任何人帮助我吗?提前致谢

0 投票
0 回答
7 浏览

scala - 为什么 Apache Sedona 无法正确读取此 Shapefile?

我正在使用 Apache Spark v3.0.1 和 Apache Sedona v1.1.1,我正在尝试将 Shapefile 读入SpatialRDD. 我首先尝试了Sedona 库提供的示例(更具体地说,是testShapefileConstructor方法内部的代码),它确实有效。但是,当我尝试读取另一个 Shapefile 时,尽管元数据已正确加载,但实际数据却丢失了。使用countSpatialRDD给我0。

我正在使用的 shapefile 可在此处获得。这是巴西一个州的地图。由于我尝试使用其他州的数据,我猜这些文件有问题。

这是我使用的代码。我知道 shapefile 的内容位于带有 、 和 文件的文件夹中.shp,因此.shx该文件夹的变量。.dbf.prjpath

输出:

我尝试更改字符编码,如此处所指出的但在这些尝试之后结果是相同的:

所以我仍然不知道为什么无法阅读。可能是什么问题?

0 投票
1 回答
22 浏览

apache-spark - 从 Oracle 表读取和写入 spark/GeoSpark(Sedona) 中的 sdo_geometry 字段

我将 geospark(sedona) 与 pyspark 一起使用:是否可以从 Oracle 读取 sdo_geometry 类型并在 Oracle 中使用 sdo_Geometry 字段写入表?在我的应用程序中:我能够阅读:

但是当我写:

我有这个错误:

有写 sdo_geometry 类型的解决方案吗?感谢和问候