2

以前 CouchDB 是通过 cloudant 连接器支持的：

https://github.com/cloudant-labs/spark-cloudant

但是这个项目声明它不再活跃并且它转移到了 Apache Bahir：

http://bahir.apache.org/docs/spark/2.1.1/spark-sql-cloudant/

因此，我使用以下命令在 Scala 笔记本中安装了 JAR：

%AddJar http://central.maven.org/maven2/org/apache/bahir/spark-sql-cloudant_2.11/2.1.1/spark-sql-cloudant_2.11-2.1.1.jar

然后，从 python notebook 中，重启内核后，我使用以下代码进行测试：

spark = SparkSession\
    .builder\
    .appName("Cloudant Spark SQL Example in Python using dataframes")\
    .config("cloudant.host","0495289b-1beb-4e6d-888e-315f36925447-bluemix.cloudant.com")\
    .config("cloudant.username", "0495289b-1beb-4e6d-888e-315f36925447-bluemix")\
    .config("cloudant.password","xxx")\
    .config("jsonstore.rdd.partitions", 8)\
    .getOrCreate()

# ***1. Loading dataframe from Cloudant db
df = spark.read.load("openspace", "org.apache.bahir.cloudant")
df.cache()
df.printSchema()
df.show()

但我得到：

java.lang.ClassNotFoundException：org.apache.bahir.cloudant.DefaultSource

（完整日志的要点）

4

2 回答 2

3

有一种解决方法，它应该在各种 jupyther notebook 环境中运行，并且不是 IBM DataScience Experience 独有的：

!pip install --upgrade pixiedust

进口小精灵

pixiedust.installPackage("cloudant-labs:spark-cloudant:2.0.0-s_2.11")

这当然是一种解决方法，一旦可用，将发布官方答案

编辑：

之后不要忘记重新启动jupyter内核

编辑 24.12.18：在没有解决方法的情况下创建了一个 yt 视频，请参阅评论...将在稍后阶段更新此帖子...

于 2017-07-20T07:10:07.843 回答
1

下面的另一个解决方法。它已经过测试并且可以在 DSX Python 笔记本中运行：

import pixiedust

# Use play-json version 2.5.9. Latest version is not supported at this time.
pixiedust.installPackage("com.typesafe.play:play-json_2.11:2.5.9")
# Get the latest sql-cloudant library
pixiedust.installPackage("org.apache.bahir:spark-sql-cloudant_2.11:0")

spark = SparkSession\
  .builder\
  .appName("Cloudant Spark SQL Example in Python using dataframes")\
  .config("cloudant.host", host)\
  .config("cloudant.username", username)\
  .config("cloudant.password", password)\
  .getOrCreate()

df = spark.read.load(format="org.apache.bahir.cloudant", database="MY-DB")
于 2017-07-26T21:04:26.317 回答