问题标签 [cloudera-quickstart-vm]

在向 cloudera 提供的快速启动 VM 添加从属设备时，出现以下错误。它看起来像不兼容的内置错误，但我不确定。如果是这样，我该如何解决。任何建议将不胜感激。

我正在使用 Cloudera Quickstart VM 5.3.0（在 Windows 7 上的 Virtual Box 4.3 中运行）并且我想学习 Spark（在 YARN 上）。

我启动了 Cloudera Manager。在侧边栏中，我可以看到所有服务，有 Spark，但处于独立模式。所以我点击“添加新服务”，选择“Spark”。然后我必须为此服务选择依赖项集，我没有选择我必须选择 HDFS/YARN/zookeeper。下一步我必须选择一个历史服务器和一个网关，我在本地模式下运行 VM，所以我只能选择 localhost。

我单击“继续”并发生此错误（+ 69 个跟踪）：

发生服务器错误。将以下信息发送到 Cloudera。

路径：http://localhost:7180/cmf/clusters/1/add-service/reviewConfig

版本：Cloudera Express 5.3.0（#155 由 jenkins 在 20141216-1458 git 上构建：e9aae1d1d1ce2982d812b22bd1c29ff7af355226）

org.springframework.web.bind.MissingServletRequestParameterException：在 org.springframework.web.servlet.mvc.annotation.AnnotationMethodHandlerAdapter$ServletHandlerMethodInvoker raiseMissingParameterException() 的 AnnotationMethodHandlerAdapter.java 行 738 中不存在所需的长参数“serviceId”

我不知道是否需要互联网连接，但我准确地说我无法使用虚拟机连接到互联网。（编辑：即使有互联网连接，我也会遇到同样的错误）

我不知道如何添加此服务，我尝试过使用或不使用网关，有很多网络选项，但它从未奏效。我检查了已知问题；没有什么...

有人知道我如何解决此错误或如何解决？谢谢你的帮助。

我有一个在 VM 上运行的 cloudera cdh5.3 快速入门。我在运行 Spark 时遇到问题。我已经完成了这些步骤http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_spark_configure .... 并运行单词 exapmle 并且它起作用了。但是当我去master（quickstart.cloudera：18080）时，那里没有工人，核心= 0，内存= 0 ...当我去（quickstart.cloudera：18081）时，那里有工人。我的问题是如何添加工人？我应该在导出 STANDALONE_SPARK_MASTER_HOST 中输入什么？

这是 spark-env.sh：

谢谢

系统：Cloudera Quickstart VM 5.4 上的 Spark 1.3.0 (Anaconda Python dist.)

这是一个 Spark DataFrame：

data.show()

然而，这些都不起作用！

我收到这条消息：

有没有其他人遇到过这个问题？解决方法是什么？Pyspark 似乎我正在寻找一个名为“na”的列。任何帮助，将不胜感激！

我最近在http://www.cloudera.com上下载了“QuickStart VM” （准确地说是 virtualbox 的版本）这个虚拟机使用 centOS（我的电脑是 macbook air）我无法完全启动这个虚拟机（和我不知道为什么）我附上了最高级启动状态的屏幕截图

谁能告诉我练习 Spark 的最佳方法是什么？我可以看到他们中的大多数都指向安装 Cloudera VM。我发现它很难工作，因为我的系统只有 6GB 的 RAM。这个过程对我来说非常缓慢和烦人。Cloudera Manger 永远不会启动，我相信它是因为它需要 8GB 的​​ RAM。到目前为止，我已经为我的 Windows 操作系统提供了 3 GB 的空间，为我的 VM 提供了 3 GB 空间。有没有办法加快这个过程？或者我可以在 Ubuntu 中安装 CDH 然后使用 spark 吗？（我在我的机器上安装了 Ubuntu，因此我可以为 linux 分配完整的 6GB）。还是我应该购买一台具有 8/16GB RAM 的新机器？

处理器：i5 560M RAM：6GB（5.6 可用）VM：VMPlayer（VMware）

谁能让我知道什么是好的配置？

我为 CDH 5.3.x 使用 QuickStart VM

我尝试为 hbase 实现这个 spring hadoop 示例

来自主机的示例将连接到 VM 中的 Hbase，以创建表、添加数据、读取数据。

在我的 pom 中我使用

我的 hbase.propertise 文件：

我的应用程序上下文.xml：

运行示例时，我得到了这个异常：

有人可以帮我解决这个异常吗？

我在 Oozie 中遇到过几个 SparkAction 作业的示例，其中大部分是在 Java 中。我稍作编辑并在 Cloudera CDH Quickstart 5.4.0（使用 Spark 版本 1.4.0）中运行示例。

工作流.xml

工作属性

Oozie 工作流示例（Java 中）能够完成并完成其任务。

但是，我已经spark-submit使用 Python / PySpark 编写了一份工作。我试着移除<class>jar

但是当我尝试运行 Oozie-Spark 作业时，日志中出现错误：

我想知道如果我使用 Python / PySpark ，我应该放置什么<class>和标签？<jar>

这个问题是我之前的问题here的延续，它看似已解决，但导致here成为另一个问题。

我在 Cloudera QuickstartVM CHD-5.4.0 上使用 Spark 1.4.0。当我在 Oozie 中将 PySpark 脚本作为 SparkAction 运行时，我在 Oozie 作业/容器日志中遇到此错误：

然后我遇到了这个解决方案，这实际上是针对 Spark 1.3.0 的，尽管我仍然尝试过。文档似乎说这个问题已经在 Spark 版本 1.3.2 和 1.4.0 中得到修复（但我在这里遇到了同样的问题）。

链接中建议的解决方案是我需要设置任何spark.yarn.appMasterEnv.SPARK_HOME东西spark.executorEnv.SPARK_HOME，即使它只是任何不指向实际的路径SPARK_HOME（即/bogus，尽管我确实将这些设置为实际的 SPARK_HOME）。

这是我之后的工作流程：

这似乎解决了上面的原始问题。但是，当我尝试检查 Oozie 容器日志的 stderr 时，它会导致另一个错误：

如果我使用 Python，它不应该期望一个main class正确的吗？请注意，在我之前的相关文章中，Cloudera QuickstartVM CDH-5.4.0 附带的 Oozie 作业示例在我的测试中运行，该示例具有用 Java 编写的 SparkAction。似乎问题仅存在于 Python 中。

非常感谢任何可以提供帮助的人。

我想知道在哪里可以看到 Cloudera Quickstart VM 中不同用户帐户的密码，例如 yarn、hdfs 用户等？

我使用的是 5.4.0 版。