问题标签 [biginsights]

我想将 HiveView 实例添加到我的 Bluemix BigInsight（基本）实例。

从 Ambari Web 界面获取知识中心指南，单击 Ambari 菜单项，管理 > 管理 Ambari 以打开管理窗口。（https://www.ibm.com/support/knowledgecenter/SSPT3X_4.2.0/com.ibm.swg.im.infosphere.biginsights.admin.doc/doc/create_view.html）

那么，该菜单从未显示在 IBM BigInsight Bluemix 实例上？那么如何进行呢？无论如何要显示该菜单吗？在 IBM BigInsight bluemix 实例中获得 HiveView 是不可能的 - 顺便说一句，它的默认 Hortonworks 沙箱

我是 IBM Bluemix 平台的新手，正在探索它的 BigInsights 服务。我可以看到预配置的组件，例如 Pig Hive Hbase 等。但我想知道如何安装像 Drill 这样的服务或者说默认情况下未配置的 Hue。ssh 到集群节点也允许在没有 sudo 权限的情况下进行受限访问，以防万一需要运行 yum 命令。bluemix 是否允许 root 访问，因为我看不到一个。提前致谢。

我正在研究使用 Apache Ambari 安装的 IBM Hadoop 发行版 (BigInsights)，目前已启用 GPFS（通用并行文件系统）作为 HDFS 的透明层。在 Ambari 上，我们在 HDFS 上启用了维护模式，并且无法通过 Ambari 控制台对 core/hdfs-site.xml 进行任何更改。因此，如果我想对 core/hdfs-site.xml 进行任何更改，我必须使用 CLI 从服务器端进行更改，那么我必须如何在 GPFS 环境中重新启动我的 namenode/datanode？我是否需要重新启动连接器以启用新参数或重新启动名称节点？如果连接器工作，那么我确实有命令“mmhadoopctl”，但如果没有，我必须使用什么命令来启用放置在配置文件中的新参数。

我正在尝试配置火花流日志记录。spark docs状态设置以下属性：

spark.yarn.app.container.log.dirBigInsights on Cloud 4.2 Basic 集群上指向 哪里？

I'm trying to run a spark yarn job on BigInsights on Cloud 4.2 Basic cluster but I'm hitting the following issue:

Digging deeper in to the error, I see:

带有 BigInsights 的 python 版本目前是 2.6.6。如何使用不同版本的 Python 和在 yarn 上运行的 spark 作业？

请注意，BigInsights on cloud 的用户没有 root 访问权限。

我需要安装诸如 nltk 之类的 python 模块，以便它们可以在 BigInsights 4.2 Enterprise 上的纱线上触发。

如何安装 python 模块，例如使用 pip？

请注意，当前的 python 版本是 2.6.6，并且无法在 BigInsights on cloud 上使用 root 访问权限。

我正在尝试在 BigInsights on Cloud 4.2 Enterprise 上运行访问 Hive 表的 pyspark 脚本。

首先，我创建 hive 表：

然后我创建一个简单的 pyspark 脚本：

我尝试执行：

但是，我遇到错误：

我已经看到许多其他 Hadoop 发行版的类似帖子，但没有看到 BigInsights on Cloud。

我正在尝试在 BigInsights on Cloud 4.2 Enterprise 上运行访问 Hive 表的 pyspark 脚本。

首先，我创建 hive 表：

然后我创建一个简单的 pyspark 脚本：

我尝试执行：

但是，我遇到错误：

如果我独立运行 spark-submit，我可以看到该表存在正常：

请参阅我之前与此问题相关的问题：hive spark yarn-cluster job failed with: "ClassNotFoundException: org.datanucleus.api.jdo.JDOPersistenceManagerFactory"

这个问题与另一个问题类似：Spark can access Hive table from pyspark but not from spark-submit。但是，与那个问题不同，我使用的是 HiveContext。

更新：请参阅此处了解最终解决方案https://stackoverflow.com/a/41272260/1033422

我正在尝试在 BigInsights on Cloud 4.2 Enterprise 上运行访问 Hive 表的 pyspark 脚本。

首先，我创建 hive 表：

然后我创建一个简单的 pyspark 脚本：

我尝试执行：

但是，我遇到错误：

另请参阅与此问题相关的先前错误：

• 蜂巢火花纱线集群作业失败：“ClassNotFoundException：org.datanucleus.api.jdo.JDOPersistenceManagerFactory”
• Spark Hive 在纱线集群上运行时报告 pyspark.sql.utils.AnalysisException: u'Table not found: XXX'