问题标签 [cloudera-quickstart-vm]

我有一个要求，首先，我必须检查文件是否存在于给定的 HDFS 位置。

如果文件存在，我必须测试文件的大小是否大于 200 字节。

基于这两个结果，我必须向用户发送电子邮件通知。

我可以在下面的代码的帮助下检查文件是否存在

我可以借助以下代码检查文件大小

我必须创建一个工作流程来检查文件是否存在，如果不存在，则"file is not exist"向用户发送类似该消息的电子邮件通知。

如果存在，那么我们必须检查文件大小是否大于 200 字节。如果不是，我必须像该消息一样发送电子邮件通知"file is exist but no data"。

请帮助我。

在这种情况下如何使用逻辑运算符（&&，||）？

如何处理这种情况？

每次我尝试运行以下 Scala 命令时

我得到以下异常 -

-我在 Cloudera VM 上运行 Spark 1.6.0。还有其他人遇到过这样的问题吗？可能是什么原因？我知道这是由于'topology.py'文件试图在没有“（”的情况下打印python 3。但是为什么当我不运行python/pyspark时这个脚本会被执行。这只是发生通过 Cloudera VM，当我使用其他一些示例数据在 vm 之外运行时，这些命令起作用了！

最近，我在 VMware 之上的 Windows 机器上安装了 cloudera quickstart vm 5.8。默认情况下，Spark UI 链接和 Zookeeper 链接在 Hue 上不存在，所以我只是编辑了 hue.ini，它有，

至

完成此操作后，我能够下载一些 Spark 示例，但仍然没有显示 Spark UI 链接。但是我能够获得 zookeeper UI 链接。

从下载的示例中，我选择了示例笔记本，通过它我能够获得 Spark 笔记本 UI。它有一些示例，但是当我运行它们时，出现以下错误。

除了我在 hue.ini 文件中所做的更改之外，我还需要进行任何更改吗？请指导我完成这个。

下面是我在 Cloudera 快速启动 VM 中尝试的查询

sqoop import --username training --password training --connect jdbc:mysql://localhost/loudacre --target-dir /sample --split-by accounts.acct_num --query 'select accounts.first_name FROM accounts JOIN accountdevice ON (accounts.acct_num = accountdevice.account_id) WHERE $CONDITIONS' kquote

下面是查询中用到的两张表的表结构

我收到以下异常

有人可以帮忙吗？

我正在尝试在 Cloudera Machine 中使用 RStudion 安装 arulesViz 库。为此，我正在执行：

但我收到以下错误：

我怎么解决这个问题？

谢谢！

当我在 Cloudera VM 中运行任何 MapReduce 作业时，以下警告以连续方式发生 4-5 次。请让我知道如何解决它。

发生在执行创建的 sqoop 作业的中间。但不是在蜂巢作业被执行时。

我想使用可以直接从 cloudera 的网页 ( http://www.cloudera.com/downloads/quickstart_vms/5-8.html ) 下载的快速启动 VM 映像创建 Cloudera 集群。

我有三台虚拟机，我想拥有一台主机和两台从机。我已经对它们进行了配置，以便在 3 个虚拟机之间拥有不同的主机名和 DNS 连接。但是当我尝试添加新主机时，我通常会丢失其他机器的心跳，或者当它没有发生时，我会收到版本不匹配和 HDFS 错误。

那么，在尝试添加新主机之前，我应该做任何其他配置设置吗？

我想使用 Docker 映像（特别是 cloudera/quickstart 映像）运行 Cloudera。

但是，在 Docker Hub 上，我只能找到 beta 版本：

https://hub.docker.com/r/cloudera/quickstart/tags/

获取更新图像的正确方法是什么？

我应该只下载一个测试版图像然后安装包裹吗？我会使用 Docker Compose 来做到这一点吗？如果是这样，我可以在网上找到相关说明吗？

还是有完全不同的方法来解决这个问题？

在 Cloudera Quickstart VM v5.8.0 中使用 Eclipse(Kepler)。Eclipse 在编码期间随时随机崩溃。

VM 的 RAM 分配 = 10GB，视频内存 = 64MB，因此不应该是内存不足的问题。

有人遇到过这个问题吗？

使用 Cloudera QuickStart VM 在 Eclipse(Kepler) 中运行时在简单的 Hadoop 程序上看到 JsonMappingException

正如许多人所建议的那样，尝试从快速启动 VM 添加杰克逊 jar，但没有成功。