问题标签 [spark-cloudant]

我在一个 sbt 管理的具有spark-cloudant依赖关系的 Spark 项目上工作。代码可在 GitHub (on spark-cloudant-compile-issuebranch)上找到。

我已将以下行添加到build.sbt：

所以build.sbt看起来如下：

当我执行时，sbt assembly我收到以下错误：

我正在尝试将最新的 spark-cloudant 包与笔记本一起使用：

哪个输出：

其次是：

哪个输出：

连接器是 1.6.3。我的笔记本是：

我试过重新启动内核，但没有帮助。

其他调试信息：

更新

我尝试了以下方法：

不幸的是，这不起作用 - 1.6.3 仍在使用中。

更新 2

在上面的代码中，tilda 似乎没有解析到我的 HOME 文件夹。

请参阅工作解决方案的答案。

我使用的是 spark-cloudant 库 1.6.3，该库默认与 spark 服务一起安装。

我正在尝试将一些数据保存到 Cloudant：

但是，我遇到了错误：

我知道有数据，因为我也将其保存到文件中：

我正在努力将现有的数据科学体验 (DSX) 配方转换为使用来自连接的传感器标签设备的数据。然而，该设备的移动应用程序将数据作为字符串而不是数字发送 - 这导致计算 Z 分数的 DSX 配方阻塞。数据来自用作 Watson IoT Platform 的历史数据库的 cloudant 数据库，所以我不能简单地在那里重新格式化它。有没有一种简单的方法来转换 DSX 笔记本中的数据？

我正在尝试按照https://developer.ibm.com/clouddataservices/docs/ibm-data-science-experience/docs/load-and-filter-cloudant-data-with-spark/使用 Spark 加载 cloudant 数据. 我有一个带有 Spark 2.1 的 Scala 2.11（也适用于 Spark 2.0）笔记本，其中包含以下代码：

尝试执行该单元仅以

名称：java.lang.ClassNotFoundException 消息：未能找到数据源：com.cloudant.spark。请在http://spark.apache.org/third-party-projects.html找到包 StackTrace：在 org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:569) 在 org.apache.spark.sql.execution.datasources.DataSource.providingClass$lzycompute(DataSource.scala:86 ) 在 org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:325) 在 org.apache.spark.sql.execution.datasources.DataSource.providingClass(DataSource.scala:86) 在 org. org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:135) 处的 apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:152) ... 42 已删除 原因：java.lang.ClassNotFoundException: com .cloudant.spark.DefaultSource 在 scala.reflect.internal.util.AbstractFileClassLoader.findClass(AbstractFileClassLoader.scala:62) 在 java.lang.ClassLoader.loadClassHelper(ClassLoader.java:844) 在 java.lang。ClassLoader.loadClass(ClassLoader.java:823) at java.lang.ClassLoader.loadClass(ClassLoader.java:803) at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25$$anonfun$apply$13。 apply(DataSource.scala:554) at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25$$anonfun$apply$13.apply(DataSource.scala:554) at scala.util.Try$.apply (Try.scala:192) at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25.apply(DataSource.scala:554) at org.apache.spark.sql.execution.datasources.DataSource$$ anonfun$25.apply(DataSource.scala:554) at scala.util.Try.orElse(Try.scala:84) at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:554)execution.datasources.DataSource$$anonfun$25$$anonfun$apply$13.apply(DataSource.scala:554) at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25$$anonfun$apply$13.apply (DataSource.scala:554) at scala.util.Try$.apply(Try.scala:192) at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25.apply(DataSource.scala:554)在 org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25.apply(DataSource.scala:554) 在 scala.util.Try.orElse(Try.scala:84) 在 org.apache.spark.sql .execution.datasources.DataSource$.lookupDataSource(DataSource.scala:554)execution.datasources.DataSource$$anonfun$25$$anonfun$apply$13.apply(DataSource.scala:554) at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25$$anonfun$apply$13.apply (DataSource.scala:554) at scala.util.Try$.apply(Try.scala:192) at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25.apply(DataSource.scala:554)在 org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25.apply(DataSource.scala:554) 在 scala.util.Try.orElse(Try.scala:84) 在 org.apache.spark.sql .execution.datasources.DataSource$.lookupDataSource(DataSource.scala:554)192) 在 org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25.apply(DataSource.scala:554) 在 org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25.apply( DataSource.scala:554) at scala.util.Try.orElse(Try.scala:84) at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:554)192) 在 org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25.apply(DataSource.scala:554) 在 org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25.apply( DataSource.scala:554) at scala.util.Try.orElse(Try.scala:84) at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:554)

如何克服此错误并连接到我的 Cloudant 数据库？

我试图从这两个（this和this）线程中解决它，它在我自己的虚拟机上对我有用，但在云 dataproc 中不起作用。我对他们两个都做了同样的过程。但是云端仍然存在错误，与之前虚拟机中的错误相同。云上应该怎么做才能解决？

我对以下代码有问题：

meanTemperature并且sdTemperature工作正常，但使用上述查询我收到以下错误：

有人知道如何解决这个问题吗？