问题标签 [dsx]

从 spark 连接到第三方系统的一种常见方法是提供系统的凭据作为 spark 脚本的参数。然而，这引发了一些关于安全性的问题。例如，查看这个问题Bluemix spark-submit -- How to secure credentials required by my Scala jar

在 bluemix 上运行的 spark 作业是否可以查看操作系统上其他进程的列表？即一个作业是否可以运行相当于ps -awx检查在 spark 集群上运行的进程以及传递给这些进程的参数？我猜这是不可能的设计目标，但最好验证这一点。

我有一个带有以下代码的简单笔记本：

但是，在运行它时，我收到以下错误：

我在同一个项目中有另一个笔记本，它能够毫无问题地运行该语句。

数据科学体验是一项托管服务，因此您没有安装 _tkinter 的 root 访问权限。

完整的堆栈跟踪：

Bluemix MessageHub 文档将 python 用户指向 confluent kafka 库：

所以我尝试安装：

但是，我遇到了这个错误：

有时，我无法将更改保存到 DSX 中的笔记本。我相信这是因为我的会话已超时。

如何防止我的更改丢失？

我正在尝试tm在 IBM 的 Data Science Experience (DSX) 上安装该软件包：

但是，我遇到了这个问题：

这篇文章建议 R 版本3.3.1 will解决了这个问题，但是 DSX 上的 R 版本是：R version 3.3.0 (2016-05-03)

如何在 IBM DSX 上解决此问题？请注意，您在 DSX 上没有 root 访问权限。

我在 stackoverflow 上看到过类似的问题，但没有人询问如何解决 IBM DSX 上的问题，例如安装 TM 包时依赖项“slam”不可用

更新：

回报：

我有一个 DSX 笔记本，我可以使用 DSX 用户界面手动运行它，它会在 Cloudant 数据库中填充一些数据。

我已安排笔记本每小时运行一次。一夜之间，我预计该作业会运行多次，但 Cloudant 数据库尚未更新。

如何调试计划的作业？是否有任何日志可以检查以验证笔记本是否已实际执行？我的笔记本的输出是否保存到日志文件中？我在哪里可以找到这些文件？

我正在尝试按照以下问题对每小时计划的笔记本 进行故障排除：如何对 DSX 计划的笔记本进行故障排除？

在列出我在凌晨 3 点注意到的内核日志时，笔记本没有被安排：

我可以启用通知以便在计划的笔记本未运行时收到警报（例如通过电子邮件）吗？

在我的笔记本中，我设置了一个日志记录实用程序，以便我可以调试 DSX 计划的笔记本：

像这样使用它：

如果我检查日志文件，我可以看到我的注销正在被写入：

但是，当笔记本作为计划的作业日志输出运行时，似乎不会进入 kernel-pyspark-*.log 文件。

如何在 DSX 计划笔记本中写入日志输出以进行调试？

我正在尝试在 SPARK 2.0 集群上的#DSX 上的 R 笔记本中安装 Brunel viz 包。应该可以安装这个 pacakge 但是我不知道如何。任何帮助表示赞赏

谢谢

尝试保存 DSX 计划作业时收到以下错误：

无法创建作业计划条目。状态码：500

报错信息截图：

在过去的几个小时里，我已经尝试了大约六次，并且一直收到上述错误消息。

通过浏览器网络检查工具调试我可以看到：