问题标签 [cloudera-cdh]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
55 浏览

hadoop - Cloudera CDH4 安装

我在 CDH4 MRV1 安装说明中看到以下步骤:http: //www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/4.2.0/CDH4-Quick-Start/cdh4qs_topic_3_2.html

第四步:创建 MapReduce 系统目录: sudo -u hdfs hadoop fs -mkdir -p /var/lib/hadoop-hdfs/cache/mapred/mapred/staging sudo -u hdfs hadoop fs -chmod 1777 /var/lib/hadoop -hdfs/cache/mapred/mapred/staging sudo -u hdfs hadoop fs -chown -R mapred /var/lib/hadoop-hdfs/cache/mapred

但我无法弄清楚这些目录的使用位置。这些众所周知的位置或这些目录路径是否在某些配置文件中配置。如果是这样,我可以使用我想要的任何结构吗?

0 投票
0 回答
604 浏览

hadoop - 在 cdh5 将身份验证从 kerberos 更改为简单数据节点后没有出现

更改属性后: 身份验证kerberossimple授权false,数据节点不会出现。

我从 Cloudera Manager(CDH 5.0) 进行了这些更改。

在日志中我看到以下错误:

0 投票
1 回答
498 浏览

unix - hadoop的cloudera发行版没有安装

我正在按照 cloudera 安装手册中给出的手册安装 cdh4,但无法使用 apt-get 安装 jobtacker、tasktracker。有人可以帮我吗。

0 投票
1 回答
235 浏览

maven - 在 CDH4 上运行简单的 MR 作业

我正在尝试使用 CDH4 运行一个简单的 MR 作业。我遇到了最奇怪的错误,我不知道为什么。基本上我的程序读取一个文件,使用一个标识映射器,然后reducer 简单地为该值发出一个键和一个字符串。我不明白为什么我的脚本不起作用。我在 CDH3 中从未遇到过这样的问题。任何建议都会很棒

错误:

Maven依赖:

Maven回购:

先生代码:

0 投票
1 回答
41 浏览

hadoop - 尝试在虚拟机上部署 5 个节点

我正在尝试使用 virtual box 在 5 个节点上安装 hadoop。我浏览过许多网站,其中任何一个都无法正常工作。我使用了这个网站“ http://blog.gopivotal.com/pivotal/products/in-45-min-set-up-hadoop-pivotal-hd-on-a-multi-vm-cluster-run-test-数据”。我在中间被击中了。我无法使用命令 tar -xzf 。任何人都可以帮助我如何在 5 个节点上安装 CDH 与虚拟盒?

谢谢你。

0 投票
0 回答
566 浏览

lucene - CDH4 - 带有自定义分析器的 Mahout seq2sparse

我是 Mahout 的新手,我尝试为 seq2sparse 编写自己的分析器。我使用默认版本的 CDH4:Mahout 0.7 和 Lucene 3.6。

这是我的分析器代码:

我将它构建在一个 JAR 文件中并移至 $MAHOUT_HOME/lib 文件夹。当我使用以下命令检查时,我的 JAR 已正确添加到类路径:

但是当我从 Mahout 调用 seq2sparse 工具时:

我收到此错误:

如果我使用来自 Lucene 的分析器(如 org.apache.lucene.analysis.WhitespaceAnalyzer)调用,则没有错误并且工作成功完成。

如何正确添加和使用我自己的分析仪?

0 投票
1 回答
806 浏览

hadoop - Cloudera Manager Installation failing

I am trying to create a small cluster for testing purposes on EC2 using Cloudera Manager 5.

These are the directions I am following, http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM4Ent/4.7.1/Cloudera-Manager-Installation-Guide/cmig_install_on_EC2.html.

It is getting to the point where it executes, "Execute command SparkUploadJarServiceCommand on service spark" and it fails.

The error is "Upload Spark Jar failed on spark_master".

What is going wrong and how can I fix this?

Thanks for your help.

0 投票
2 回答
1351 浏览

java - 已创建 Hive 表,但映射任务失败并出现异常

我在 Hive(CDH 4.6 上的 hive-0.10.0)中创建了一个推文表,尝试执行查询时遇到以下错误

我尝试将 jar“hive-contrib-0.10.0-cdh4.6.0.jar”添加到类路径,但没有运气。

任何人都可以帮助解决这个问题吗?

0 投票
1 回答
175 浏览

cloudera - CDH4 - 混合 64 位和 32 位机器

我有一个安装了 cloudera 管理器(CM)的 64 位机器的小型集群,它运行良好。我想向这个集群添加一组 32 位机器作为数据节点。根据 CM 文档,无法使用管理器安装 32 位机器。另一方面,我可以在这些 32 位机器上手动安装 CDH4。无论如何我可以将所有机器连接在一起吗?

0 投票
2 回答
656 浏览

java - 从 Tomcat 查询 Impala 抛出 Invalid URL 异常

我正在尝试连接到 Impala 并从我的 Web 应用程序运行查询。这是我的jsp代码:

这是我在浏览器中遇到的错误:

我正在使用 CDH4 和 Tomcat7。我已经和它摔跤了半天了。我错过了什么?