我有想要与他人共享的 Bluemix Spark 笔记本。我希望他们能够使用与我的 Spark 实例关联的对象存储上的数据来运行笔记本(因此他们不需要自己加载数据)。
我正在使用以下内容在 Scala 笔记本中配置对象存储(此代码取自另一个 stackoverflow 帖子)。
def setConfig(name:String, dsConfiguration:String) : Unit = {
val pfx = "fs.swift.service." + name
val settings:Map[String,String] = dsConfiguration.split("\\n").
map(l=>(l.split(":",2)(0).trim(), l.split(":",2)(1).trim()))(breakOut)
val conf = sc.getConf
conf.set(pfx + "auth.url", settings.getOrElse("auth_url",""))
conf.set(pfx + "tenant", settings.getOrElse("tenantId", ""))
conf.set(pfx + "username", settings.getOrElse("username", ""))
conf.set(pfx + "password", settings.getOrElse("password", ""))
conf.set(pfx + "apikey", settings.getOrElse("password", ""))
conf.set(pfx + "auth.endpoint.prefix", "endpoints")
}
setConfig("spark", YOUR_DATASOURCE)
我能够使用在我自己的 luemix Spark 服务上运行的 Scala 笔记本中的以下内容成功访问我自己的对象存储上的数据。
val data = sc.textFile("swift://notebooks.spark/mydata.data")
但是,当在他们自己的 Bluemix Spark 服务中运行笔记本时,我与之共享笔记本的其他人无法使用上面显示的相同对象存储配置访问我的对象存储上的数据。
在他们自己的 Bluemix Spark 服务上运行 Spark 笔记本的其他人如何访问与我的 Bluemix Spark 服务关联的对象存储上的数据。