问题标签 [geospark]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
java - 如何在火花中使用 sedona spark sql 或 geo spatail
嗨有下面的多边形数据(基本上是500米),比如
我有以下点数据,其中包含经纬度
我试图找到多边形边界内的所有点。我用过
https://sedona.apache.org/tutorial/sql/
我的代码就像
我在 pom.xml 中使用了以下插件
但我收到以下错误。我无法解决该错误
由于阶段失败而中止作业:阶段 4.0 中的任务 0 失败 1 次,最近一次失败:阶段 4.0 中丢失任务 0.0(TID 4,本地主机,执行程序驱动程序):java.lang.ClassCastException:org.apache.spark.sql。在 org.apache.spark.sql.geosparksql.expressions.ST_GeomFromWKT.eval 中,catalyst.util.GenericArrayData 无法转换为 org.apache.spark.unsafe.types.UTF8String
apache-spark - 测试 Sedona VIZ 示例时出错
我正在尝试运行 Sedona Spark Visualization 教程代码。示例链接:https ://sedona.apache.org/tutorial/viz/
以下数据集是我的baseDF
:
纬度 | 经度 |
---|---|
-88.331492 | 32.324142 |
-88.175933 | 32.360763 |
-88.388954 | 32.357073 |
-88.221102 | 32.35078 |
我正在关注文档中的示例代码,我的代码如下:
然后,我收到以下错误:
我查看了代码,显然,它正在通过一个断言,在那里,分辨率小于或等于 0,但是,我创建了一些打印并测试了一些值并将分辨率设置为 256,它仍然是仍然给出同样的错误。我做错了什么还是一个错误?
apache-spark - Py4JJavaError-使用 GeoSpark 时出现 NotClassFound 错误
我正在使用 GeoSpark (Apache Sedona) 库从 .csv 文件中读取地理空间数据。我想从此 csv 文件中读取多边形,但出现以下错误:
这是代码:
我收到以下错误:
apache-spark - 带有 Pyspark 的 Apache-Sedona - java.lang.ClassCastException:[B 无法转换为 org.apache.spark.unsafe.types.UTF8String
我正在从 spark 中的 parquet 加载数据,其中一列是二进制类型。我想将此列转换为几何类型,因为我正在使用Apache Sedona /GeoSpark。我正在st_geomfromwkb
为此使用,但出现错误
低于错误:
geospark - 使用 geoSpark 生成多边形
可以说我有一个如下所示的 json 数据集
outer_coordinates
我想通过使用 geospark 作为输入来生成多边形。而且,我的预期输出如下:
物品 | 形状类型 | 多边形 |
---|---|---|
2 | xyz | 多边形((99.51 80.76、80.64 80.76、80.64 81.19、83.14 81.19、83.14 80.76、84.14 80.76、99.51 80.76)) |
1 | 美国广播公司 | 多边形((78.51 80.76、80.64 80.76、80.64 81.19、83.14 81.19、83.14 80.76、84.14 80.76、84.14 89.69、78.51 89.69、78.51 80.76)) |
你能请任何人帮助我吗?提前致谢
scala - 为什么 Apache Sedona 无法正确读取此 Shapefile?
我正在使用 Apache Spark v3.0.1 和 Apache Sedona v1.1.1,我正在尝试将 Shapefile 读入SpatialRDD
. 我首先尝试了Sedona 库提供的示例(更具体地说,是testShapefileConstructor
方法内部的代码),它确实有效。但是,当我尝试读取另一个 Shapefile 时,尽管元数据已正确加载,但实际数据却丢失了。使用count
在SpatialRDD
给我0。
我正在使用的 shapefile 可在此处获得。这是巴西一个州的地图。由于我尝试使用其他州的数据,我猜这些文件有问题。
这是我使用的代码。我知道 shapefile 的内容位于带有 、 和 文件的文件夹中.shp
,因此.shx
该文件夹的变量。.dbf
.prj
path
输出:
我尝试更改字符编码,如此处所指出的,但在这些尝试之后结果是相同的:
和
所以我仍然不知道为什么无法阅读。可能是什么问题?
apache-spark - 从 Oracle 表读取和写入 spark/GeoSpark(Sedona) 中的 sdo_geometry 字段
我将 geospark(sedona) 与 pyspark 一起使用:是否可以从 Oracle 读取 sdo_geometry 类型并在 Oracle 中使用 sdo_Geometry 字段写入表?在我的应用程序中:我能够阅读:
但是当我写:
我有这个错误:
有写 sdo_geometry 类型的解决方案吗?感谢和问候