问题标签 [analytics-engine]

我正在尝试让自己熟悉 IBM Analytics Engine。我设法创建了一个服务并运行了一个示例应用程序。我现在想看看我的一个应用程序是如何在它上面运行的。为此，我需要两个罐子（目前位于我的 Mac 上）。我试图将它们 scp 到我的分析引擎中的 jars 文件夹，但被拒绝了权限。我该如何使用这些？

我需要使用 Ambari API 对我的集群进行一些更改。进行更改后，我使用以下代码重新启动所有服务：

echo "stop and Start Services"

curl -k -v --user $AMBARI_USER:$AMBARI_PASSWORD -H "X-Requested-By: ambari" -i -X PUT -d '{"RequestInfo": {"context": "Stop All Services via REST"}, "ServiceInfo": {"state":"INSTALLED"}}' https://$AMBARI_HOST:$AMBARI_PORT/api/v1/clusters/$CLUSTER_NAME/services

sleep 200

curl -k -v --user $AMBARI_USER:$AMBARI_PASSWORD -H "X-Requested-By: ambari" -i -X PUT -d '{"RequestInfo": {"context": "Start All Services via REST"}, "ServiceInfo":{"state":"STARTED"}}' https://$AMBARI_HOST:$AMBARI_PORT/api/v1/clusters/$CLUSTER_NAME/services

sleep 700

这似乎是非常重量级的。有没有办法只重启需要重启的服务？

我需要配置spark.driver.memory从 Watson Studio (DSX) 笔记本连接到 IAE 吗？

我在哪里/如何配置它？

Analytics Engine的文档提供了使用 CLI 生成 IAM 访问令牌的链接，但我需要使用 API 调用生成令牌。这是 CLI 方法：

该文档还指出 Cloud Foundry API 已弃用？如何生成 IAM 访问令牌？

我正在尝试将 spark 应用程序 (Java) 部署到 spark 引擎，作为 Bluemix 上分析引擎服务的一部分。我按照这里提到的步骤

https://console.bluemix.net/docs/services/AnalyticsEngine/WCE-CLI.html#analytics-engine-command-line-interface

完成所有步骤后，在 spark-submit 时，我收到以下错误

我能够访问 ambari 服务器，并且可以看到 spark 服务启动并运行。我还可以从浏览器访问 livy API 端点

https://chs-uvi-769-mn001.bi.services.eu-gb.bluemix.net:8443/gateway/default/livy/v1/batches

我无法了解问题所在。我已启用 bluemix 跟踪，并且同一命令在调试模式下的输出是

谁能看到是什么问题？任何帮助或指针？

我想在 Watson Studio 中的 Jupyter 笔记本上使用分析引擎上的 Spark，以便能够读取和写入 Hive 表，但目前尚不清楚如何仅通过阅读 Spark文档来做到这一点。不清楚的原因是 IBM Analytics Engine 预配置了 Spark，并且不提供 root 访问权限。

我在网上找到了一些关于通用 hadoop 的帖子，这些帖子描述了使用元存储位置创建 hive.xml，但不清楚如何将其转换为 IBM Analytics Engine 环境。例如：无法使用 spark 在 hive 上写入数据

我正在尝试配置分析引擎。这些是我遵循的步骤：

1. 登录 IBM Cloud 控制台
2. 为英国区域选择标准小时实例
3. 点击配置

...我在浏览器窗口中收到以下错误

{"errorCode":"BXNIM0511E","errorMessage":"提供的客户端 id 未授权传递的重定向 uri","errorDetails":"客户端 id 'ibm-analytics-engine' 未授权重定向 uri ' https ://ibmae-ui.eu-gb.bluemix.net/analytics/engines/auth/iamid/callback '"}

IAE 是否支持 Hive LLAP 功能？如果是，如何使用 Ambari UI 启用它？

我尝试根据Hortonworks 的教程启用，但出现错误：

我正在尝试使用 Spark Structured Streaming 2.3 从 Kafka (IBM Message Hub) 读取数据并将其保存到 1.1 IBM Analytics Engine Cluster 上的 IBM Cloud Object Storage 中。

创建集群后，通过 ssh 进入：

创建jaas.confspark 与 Message Hub 对话所需的文件：

这将在集群jaas.conf的目录中创建一个文件。/home/wce/clsadmin

创建一个实用程序脚本来启动 spark shell（现在我们只有一个执行程序）：

使用实用程序脚本启动 spark 会话：

现在在 spark shell 中，读取 Kafka（消息中心）流。确保更改kafka.bootstrap.servers以匹配您的服务凭据：

我们可以测试我们的连接是否正常：

一段时间后，您应该会看到一些数据打印到控制台，例如

设置 spark session 以便它可以访问 COS 实例：

我们可以通过编写一个虚拟文件来测试 COS 是否设置：

如果对 COS 的读写成功，上面的测试应该会输出如下内容：

现在尝试将流数据帧写入 COS：

对我来说，这失败了：

这是 stocator 还是 Spark Structured Streaming 的问题？

我正在尝试从在 IBM Analytics Engine 上运行的 Spark 2.3 连接到在 IBM Cloud 上运行的 ScyllaDB 数据库。

我正在像这样启动火花壳......

然后执行以下 spark scala 代码：

但是，我看到一堆警告：

但是，在警告中的堆栈跟踪之后，我看到了我期望的输出：

如果我导航到撰写 UI，我会看到一个地图 json：

似乎警告与地图文件有关。

警告的含义是什么？我可以忽略它吗？

注意：我看到了一个类似的问题，但是我相信这个问题是不同的，因为地图文件和我无法控制 Compose 如何设置 scylladb 集群。