1

我有将数据写入 Cassandra 的 spark 工作（Cassandra 在 GCP 上）。当我从 IntelliJIDEA（我的 IDE）运行它时，它工作得非常好。数据完美地发送并写入 Cassandra。但是，当我将项目打包到一个胖 jar 中并运行它时，这会失败。

这是我如何运行它的示例。

spark-submit --class com.testing.Job --master local out/artifacts/SparkJob_jar/SparkJob.jar 1 0

但是，这对我来说失败了，并给了我以下错误

Caused by: java.io.IOException: Failed to open native connection to Cassandra at {X.X.X:9042} :: 'com.datastax.oss.driver.api.core.config.ProgrammaticDriverConfigLoaderBuilder com.datastax.oss.driver.api.core.config.DriverConfigLoader.programmaticBuilder()'


Caused by: java.lang.NoSuchMethodError: 'com.datastax.oss.driver.api.core.config.ProgrammaticDriverConfigLoaderBuilder com.datastax.oss.driver.api.core.config.DriverConfigLoader.programmaticBuilder()'

我的工件文件确实包含 spark-Cassandra 文件

spark-cassandra-connector-driver_2.12-3.0.0-beta.jar
spark-cassandra-connector_2.12-3.0.0-beta.jar

我想知道为什么会发生这种情况以及如何解决？

4

1 回答 1

1

问题在于，除了这两件事之外，您还需要更多的 jar - 完整的 Java 驱动程序及其依赖项。您有以下可能性来解决这个问题：

  1. 您需要确保使用 Maven 或 SBT 或其他任何方式将这些工件打包到生成的 jar（所谓的“胖 jar”或“程序集”）中

  2. 你可以像这样指定com.datastax.spark:spark-cassandra-connector_2.12:3.0.0-betamaven--packages坐标--packages com.datastax.spark:spark-cassandra-connector_2.12:3.0.0-beta

  3. 您可以将spark-cassandra-connector-assembly工件下载到您正在执行的节点spark-submit，然后使用该文件名--jars

有关更多详细信息，请参阅Spark Cassandra 连接器的文档。

于 2020-09-17T19:28:21.407 回答