问题标签 [cloudera-quickstart-vm]

我安装了 Cloudera Quickstart VM 5.5.0，并且捆绑了 Spark v1.5.0。当我启动spark-shell

data.first即使没有hdfs://namenode:port/URL ， Spark 也能够从 HDFS 读取数据（使用 证明）。因为我有一个旧版本 Spark 的用例，即 v1.4.0。我将旧版本安装/解压到 HOME 目录。

当我尝试做同样的事情时，sc.textFile 指向 Linux 本地文件系统而不是 HDFS。hdfs://namenode:port/即使不指定URL ，如何将额外的 Spark 安装点添加到 HDFS ？

第二件事是，为了访问 Hive 表，我将 hive-site.xml 复制到 Spark 的 conf 目录。在 Spark 默认安装中执行此操作后，我可以轻松查询 Hive 表：

这将显示行。

当我尝试在 Spark v1.4 上做同样的事情时，我得到了错误。如何以与默认安装相同的方式访问 Hive 表？

我们正在通过 ODBC 驱动程序连接 Hadoop cloudera CDH 发行版。查询是从 SSRS 生成的。很少有查询可以通过 ? 占位符。通过 ? 增加参数的其他查询很少？没有执行。在 Impala [HY000] 中执行查询时出现错误 [HY000][Cloudera][ImpalaODBC] (100) 错误：AnalysisException：第 1 行中的语法错误，其中 Date >= ？和日期 <= ？^遇到：意外字符预期：案例...异常：语法错误。如果我删除 where Date >= ？和日期 <= ？或提供硬编码值，然后查询工作完美。很少有其他具有相同过滤器的查询可以完美运行。

1. 应该推荐哪些考察点？
2. 我在哪里可以获得确切的 impala 转换查询来调查生成的查询是否正确？

我安装了 cloudera vm 并开始尝试一些基本的东西。首先，我只是想 ls hdfs 目录。所以我发出了以下命令。

虽然 ps -fu hdfs 说名称节点和数据节点都在运行。我使用 service 命令检查了状态。

认为如果我重新启动所有服务将解决所有问题，我执行了以下命令。

现在我认为所有服务都会启动，所以再次检查了 namenode 服务的状态。又来了，失败了。

现在我决定手动停止并启动namenode服务。又没多大用处。

我检查了文件 /var/log/hadoop-hdfs/hadoop-hdfs-namenode-quickstart.cloudera.out 。下面就说了

我还检查了 /var/log/hadoop-hdfs/hadoop-cmf-hdfs-NAMENODE-quickstart.cloudera.log.out 。当我搜索错误时在下面找到。谁能建议我让服务重回正轨的最佳方法是什么。不幸的是，我无法从浏览器访问 cloudera manager。我可以从命令行做什么？

我是 Cloudera 快速入门的新手。根据需求，我们需要对大型 hive 表的数据进行分区。Hive 中有 100 个动态分区的上限。我们需要在配置中增加动态分区的数量。我不想每次都在 CLI 上设置它。

我在哪里可以找到配置文件来更新以下设置？

sqoop 在将数据从 sql server 导入到具有动态分区的 hive 时会产生任何问题吗？

我正在尝试在 cloudera 快速启动 VM 上设置 Spark 1.2.1 后启动 spark-shell。我收到以下错误。寻求解决此问题的帮助。感谢您对此问题的任何快速帮助。错误日志如下所述：

我正在自学 Hadoop，并开始在运行 CENT OS 的 VMware Workstation 上安装Cloudera QuickVM 。

我的印象是Quickstart VM大多数配置都是预定义的。我是否需要设置任何其他配置来设置数据和名称节点？原因是当我输入 JFS 时，我只得到

我没有看到任何数据节点或名称节点。我在网上查了一下，解决方案是使用start-all.sh. 但我得到一个错误

另一轮研究使我陷入了这个

正如那个答案中所建议的，当我跑bin/hadoop namenode -format

我被困在茫茫荒野中，自学的动力变得非常低。请帮忙提个建议，振作精神。

PS：我是 Hadoop 的一个极端初学者，所以如果这个问题对你来说很愚蠢，请不要对我苛刻:)

我已经安装了 Cloudera VM，因此它有带有 MLLIB 库的 PySpark，但是 ML 库MLLIB太旧了，我只想用最新版本的 MLLIB 升级它，已经将 python 从 2.6 更新到 2.7，但找不到任何文档升级MLLIB。

谢谢

克里希纳

我一直在努力在 cloudera 快速启动 VM 上安装 accumulo（我发现快速启动不是什么）。我正在尝试通过 cloudera manager 安装它（我认为它会更加即插即用）但是在第 5 步尝试启动 Accumulo 服务时，该过程失败。挖掘日志，我发现它无法启动 Master、Tracer、Tablet 服务器或垃圾收集器。主人的 Stderr 给了我以下信息：

任何帮助，将不胜感激。不幸的是，我不会说太多 Java - 我猜我错过了一个关键的包，但是如果是这种情况，我对为什么将它作为 accumulo 设置的一部分安装感到困惑（仅供参考，这是一个全新的 cloudera.quickstart VM） .

我正在尝试使用 cloudera quickstart vm 的配置单元 CLI 在配置单元中创建一个表。该命令被卡住，即使经过很长时间也没有发生任何事情。我有什么遗漏吗。感谢是否有人可以提供帮助。

[cloudera@quickstart ~]$ hive

使用 jar:file:/usr/jars/hive-common-1.1.0-cdh5.5.0.jar!/hive-log4j.properties 中的配置初始化日志记录警告：不推荐使用 Hive CLI，建议迁移到 Beeline。hive> 创建表 test_dept(department_id int,department_name 字符串); 打扰了……请耐心等待，这可能需要一些时间。再次按 Ctrl+C 杀死 JVM 退出 JVM [cloudera@quickstart ~]$

使用 Cloudera quickstart vm 我想处理更多的数据。但是，我需要不时关闭 Docker 容器并对其进行更改（我正在使用配置）。当我再次启动容器时，我希望将这些“大量”数据保留在主机上并挂载。

我认为将主机路径安装到 /var/lib/hadoop-hdfs 可以解决问题，但似乎已经有一些初始文件系统结构。

是否有另一条更深的路径可用于挂载点？任何其他想法如何做到这一点？