问题标签 [data-science-experience]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
187 浏览

ibm-cloud - IBM Data Science Experience 中的对象存储错误

我在 Bluemix 中创建了一个对象存储帐户。我试图在数据科学体验中链接或查看它,并Unexpected response code: 500在我尝试从数据科学体验中加载“对象存储”选项时获得一个。但是,当我转到 Bluemix 帐户并搜索对象存储时,我能够找到它。我无法链接的数据科学体验可能会发生什么?

0 投票
1 回答
59 浏览

python - DSx - 图形实验室模块

我想在 DSx 笔记本中使用 graphlab。我已经安装了模块: !pip install --user --upgrade --no-cache-dir https://get.graphlab.com/GraphLab-Create/2.1/my_license/GraphLab-Create-License.tar.gz

但是运行import graphlab失败并出现错误:

我错过了什么?有什么提示吗?谢谢

0 投票
1 回答
1007 浏览

apache-spark - Spark 2.1 DB2 驱动程序问题

在 IBM DSX 上,对于 Python-Spark 2.1 内核,我得到以下代码:

这个错误:

我仅在第一次执行期间收到此错误。但是,当我再次执行相同的代码时,它可以工作。

0 投票
2 回答
376 浏览

apache-spark - 新的 SQLContext:Spark 1.6 与 Spark 2.1 的向后兼容性

在 IBM DSX 上,我遇到以下问题。

对于 DSX 上的 Spark 1.6 内核,有必要/有必要创建新的 SQLContext 对象以避免与metastore_db和有关的问题HiveContexthttp ://stackoverflow.com/questions/38117849/you-must-build-spark-with-hive-出口火花蜂巢真实/38118112#38118112

以下代码片段是使用 Spark 1.6 实现的,并且都适用于 Spark 2.0.2,但不适用于 Spark 2.1:

我收到此错误:

但是,当我第二次执行相同的代码时,它又可以工作了。

0 投票
1 回答
52 浏览

apache-spark - Spark 进程历史记录 Bluemix (DSX)

我正在使用与它相关的火花实例在 DSX 中使用我的笔记本,但我看不到火花历史记录日志。如果我从 bluemix 访问,我会看到以下错误:

未授权 spaceGuid: XXXXXXXXXXXXXXXX

有什么问题?

提前致谢。

圣地亚哥。

0 投票
1 回答
215 浏览

data-science-experience - DSX Notebook 中未找到 com.cloudant.spark 数据源

我正在尝试按照https://developer.ibm.com/clouddataservices/docs/ibm-data-science-experience/docs/load-and-filter-cloudant-data-with-spark/使用 Spark 加载 cloudant 数据. 我有一个带有 Spark 2.1 的 Scala 2.11(也适用于 Spark 2.0)笔记本,其中包含以下代码:

尝试执行该单元仅以

名称:java.lang.ClassNotFoundException 消息:未能找到数据源:com.cloudant.spark。请在http://spark.apache.org/third-party-projects.html找到包 StackTrace:在 org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:569) 在 org.apache.spark.sql.execution.datasources.DataSource.providingClass$lzycompute(DataSource.scala:86 ) 在 org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:325) 在 org.apache.spark.sql.execution.datasources.DataSource.providingClass(DataSource.scala:86) 在 org. org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:135) 处的 apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:152) ... 42 已删除 原因:java.lang.ClassNotFoundException: com .cloudant.spark.DefaultSource 在 scala.reflect.internal.util.AbstractFileClassLoader.findClass(AbstractFileClassLoader.scala:62) 在 java.lang.ClassLoader.loadClassHelper(ClassLoader.java:844) 在 java.lang。ClassLoader.loadClass(ClassLoader.java:823) at java.lang.ClassLoader.loadClass(ClassLoader.java:803) at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25$$anonfun$apply$13。 apply(DataSource.scala:554) at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25$$anonfun$apply$13.apply(DataSource.scala:554) at scala.util.Try$.apply (Try.scala:192) at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25.apply(DataSource.scala:554) at org.apache.spark.sql.execution.datasources.DataSource$$ anonfun$25.apply(DataSource.scala:554) at scala.util.Try.orElse(Try.scala:84) at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:554)execution.datasources.DataSource$$anonfun$25$$anonfun$apply$13.apply(DataSource.scala:554) at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25$$anonfun$apply$13.apply (DataSource.scala:554) at scala.util.Try$.apply(Try.scala:192) at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25.apply(DataSource.scala:554)在 org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25.apply(DataSource.scala:554) 在 scala.util.Try.orElse(Try.scala:84) 在 org.apache.spark.sql .execution.datasources.DataSource$.lookupDataSource(DataSource.scala:554)execution.datasources.DataSource$$anonfun$25$$anonfun$apply$13.apply(DataSource.scala:554) at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25$$anonfun$apply$13.apply (DataSource.scala:554) at scala.util.Try$.apply(Try.scala:192) at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25.apply(DataSource.scala:554)在 org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25.apply(DataSource.scala:554) 在 scala.util.Try.orElse(Try.scala:84) 在 org.apache.spark.sql .execution.datasources.DataSource$.lookupDataSource(DataSource.scala:554)192) 在 org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25.apply(DataSource.scala:554) 在 org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25.apply( DataSource.scala:554) at scala.util.Try.orElse(Try.scala:84) at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:554)192) 在 org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25.apply(DataSource.scala:554) 在 org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25.apply( DataSource.scala:554) at scala.util.Try.orElse(Try.scala:84) at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:554)

如何克服此错误并连接到我的 Cloudant 数据库?

0 投票
2 回答
1051 浏览

data-science-experience - 如何从 IBM Data Science Experience Notebook 中提取 7zip 文件

愚蠢的问题,但无法从笔记本安装 7zip,也无法访问底层系统,我在这里遇到了wget无法提取的不同 7zip 档案。

此外,我想避免在本地下载档案的明显选择,并最终上传解压缩或不同格式的数据,这不是一个我可以轻松自动化的过程。

0 投票
1 回答
38 浏览

python - 分类列值时的python性能问题

这个问题和我之前的问题密切相关: 这里
对不起,我又要问了!

下面的代码正在运行并提供正确的结果,但它再次有点慢(80K 行需要 4 分钟)。我在将 Pandas 的 Series 类用于具体值时遇到问题。有人可以推荐我如何对这些列进行分类吗?

在纪录片中找不到相关信息:
https ://pandas.pydata.org/pandas-docs/stable/generated/pandas.Series.html

运行代码:

系列尝试:

0 投票
1 回答
101 浏览

scala - Scala 中的 put_file() 函数?

是否有与 R/Pythonput_file()方法等效的方法从 DSX 中的 Scala 笔记本获取对象并将其保存为项目的数据资产?如果是,有任何文件吗?寻找类似于本文中概述的内容:
https
://datascience.ibm.com/blog/working-with-object-storage-in-data-science-experience-python-edition/ 我已经编写了 csv 文件我要在笔记本里面,只需要保存到项目中!

0 投票
1 回答
534 浏览

jupyter-notebook - 在 IBM Data Science Experience 上启用 nbextension

我必须在 IBM Data Science Experience 上的 Jupyter 上启用文件上传小部件。它需要以下命令集:

看起来我们需要sudo在平台上获得权限才能执行 IBM Data Science Experience 不允许我执行的第二个和第三个命令。

如何在平台上执行此操作以安装文件上传小部件?