2

当我从 Apache Spark 使用由 databricks ( https://github.com/databricks/spark-redshift ) 提供的模块 spark-redshift 对 Aws Redshift 运行查询时，我收到以下错误：

[Amazon](500310) Invalid operation: This type of correlated subquery pattern is not supported due to internal error;

但是，如果我使用 SQL 客户端（例如 DBeaver）直接在 redshift 上运行某些查询，则查询将正确执行。

编辑：我还尝试在 redshift 上使用 UNLOAD 命令执行相同的查询，并且它可以正常工作。

我正在使用以下版本的 spark-redshift 和 redshift 驱动程序：

<dependency>
   <groupId>com.databricks</groupId>
   <artifactId>spark-redshift_2.11</artifactId>
   <version>3.0.0-preview1</version>
</dependency>
<dependency>
   <groupId>com.amazon.redshift</groupId>
   <artifactId>redshift-jdbc41</artifactId>
   <version>1.2.1.1001</version>
</dependency>

有人知道如何解决吗？

4

0 回答 0