问题标签 [cloudera-director]

尝试使用 Cloudera Director 创建新集群时出现以下错误。有什么建议吗？

我正在关注 Cloudera AWS 快速入门

https://s3.amazonaws.com/quickstart-reference/cloudera/hadoop/latest/doc/Cloudera_EDH_on_AWS.pdf

我正在使用使用 Cloudera Director Server 的选项 2。我按照指示使用 ./bin/cloudera-director-server 启动服务器，然后提示我“侦听端口 7189 上的连接”。我不确定如何运行下一步，因为没有提示。

./bin/cloudera-director bootstrap-remote aws.simple.conf --ip.remote.hostAndPort= 127.0.0.1:7189 ip.remote.username=admin --ip.remote.password=admin

输出

[ec2-user@ip-xx-xx-xxx cloudera-director-server-1.1.0]$ ./bin/cloudera-director-server 服务器日志可以在 /home/ec2-user/cloudera/cloudera-director 找到-server-1.1.0/logs/application.log Cloudera Director Server 1.1.0 正在初始化 ... 在所有接口上侦听端口 7189 上的连接

我收到了大量 S3 CSV 文件，每个 fo.csvS3 文件都有一个fo.metadata.txt包含有趣元数据的文件，描述 csv 列并提供附加信息。

我正在寻找在所有 csv 文件的元数据中导航以快速获取信息并找到不同 CSV 列之间关系的最佳方式。

我正在按照Cloudera 网站上的说明使用 Cloudera Director 设置集群。然而，当我到达我应该“添加环境”的步骤时，我遇到了两个问题。首先，我在配置我的 Google Compute 实例时选择的区域 (us-east1-b) 无法在 Cloudera Director 软件上选择。其次，我没有上传客户端 ID JSON 密钥的选项，因为文档说我们应该能够这样做。我附上了我正在查看的屏幕截图。有什么线索吗？

我的 Cloudera Director 软件将自身报告为 2.1.1 版，而我正在查看的文档是针对 2.1.x 版的。我是否以某种方式使用旧版本的软件？还是 Cloudera 文档与当前版本不符？运行 Cloudera 2.1.1 的其他任何人都可以确认他们看到类似或不同的东西吗？

有谁知道如何为 CDH 的所有服务和组件的发布找到 Cloudera 路线图？我可以在这里https://www.cloudera.com/documentation/enterprise/release-notes/topics/impala_incompatible_changes.html#incompatible_changes_28x看到很多关于 Impala wrt 到 CDH 5.10 的内容，我可以在存储库中看到https:// repository.cloudera.com/cloudera/cloudera-repos/com/cloudera/cdh/cdh-root/5.10.0-SNAPSHOT/ CDH 5.10 在 11 月 28 日增加了内容。我怎样才能找到 CDH 5.10 何时发布或何时发布计划发布，下一个小版本同样的事情，等等。但是他们在这里的官方注释中没有谈论它http://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm .html. 我希望在网络上的某个地方对此有所了解？

我对在 AWS 上部署 CDH 有一些疑问。我阅读了在 Cloudera 工程博客上找到的参考架构文档和其他材料，但我需要更多关于它的建议。

1) CDH 部署是否仅适用于某些类型的实例，或者我可以将它部署在所有 AWS 实例类型上？

2) 假设我想创建一个 24x7 全天候活动的集群。对于一个长时间运行的集群，我理解最好有一个基于本地存储实例的集群。如果我们考虑一个 2PB 的集群，我认为 d2.8xlarge 应该是数据节点的最佳选择。关于主节点： - 如果我只想部署 3 个主节点，最好将它们也作为本地存储实例还是作为 EBS 附加实例，以便能够对可能的主节点故障做出快速反应？- 是否有一些关于主节点实例类型（EBS 或本地存储）的最佳实践？关于数据节点： - 如果数据节点失败，CDH 是否有某种自动化机制来自动启动新实例并将其连接到集群，以便在不停机的情况下恢复集群？我们是否要从头开始构建一个脚本来做这件事？关于边缘节点： - 是否有关于实例类型（EBS 或本地存储）的最佳实践？

3) 如果我想在 S3 上备份集群： - 当我从 CDH 到 S3 进行 distcp 时，我可以将数据直接移动到 Glacier 而不是普通的 S3 上吗？如果我对数据应用了一些压缩（例如 snappy、gzip 等）并且我对 S3 进行了 distcp： - S3 上占用的空间是否相同或 distcp 命令解压缩数据以进行复制？

如果我有一个基于 EBS 附加实例的集群： - 是否可以对磁盘进行快照并使用从快照重建的 EBS 磁盘重新附加数据节点？

4) 如果我将数据节点部署为 r4.8xlarge 并且我需要更多的马力，是否可以将集群从 r4.8xlarge 即时扩展到 r4.16xlarge？在几分钟内连接和分离磁盘？

非常感谢您的澄清，我希望我的疑问也能帮助其他用户。

我已经在 EC2 上成功部署了 Cloudera Director 和 Cloudera Manager。我可以从浏览器访问 director 和 manager 实例，并且可以对这些实例执行 ssh。Cloudera Manager 服务器和代理运行良好，并通过运行以下命令进行检查。

下一步是 - 我要部署集群。然而它失败了，我得到了Bootstrap failed error。我检查了 director 上的 application.log 文件，发现异常为 - 原因：

java.net.ConnectException：ConnectException 调用 http://:7180/api/v6/commands/158：连接被拒绝（连接被拒绝）

检查服务状态后，我发现在部署集群期间，cloudera-scm-manager 服务以某种方式停止（cloudera-scm-server）。但是，在部署集群之前，我已经验证 cloudera-scm-server 服务已启动并正在运行。

我尝试多次部署集群并使用 t2 small 和 m4 large 实例类型。我得到了同样的例外。

出现错误后，如果我重新启动 cloudera-scm-service，它会启动并且工作正常。但是在集群部署期间，它会自动停止，我猜集群部署会失败。不知道如何以及为什么？

知道可能是什么问题吗？有人可以提供任何指示/帮助来解决这个问题吗？

用于部署的版本详细信息如下 -

• Cloudera Director 版本 - 2.4.1
• Cloudera 管理器版本 - 5.11.1
• EC2 实例 - 尝试使用 t2 small 和 m4 large 实例类型。
• EC2 实例操作系统 - RHEL 6.7，64 位
• 已选择集群配置 - 1 个主节点、1 个工作节点、1 个网关
• 已选择集群服务 - Core Hadoop with Spark on YARN（这包括以下服务 - HDFS、Hive、Hue、Oozie、Spark on YARN、YARN、ZooKeeper）

任何帮助/输入/指针来解决这个问题，非常感谢。

提前非常感谢。

-皮库

我是 Hadoop/Cloudera 世界的新手，我需要在 Microsoft Azure 云上设置一个 Cloudera 集群。如果我理解正确，有两种方法可以在集群上安装 Cloudera：使用 Cloudera Manager 或手动安装。根据这个模式，Cloudera Manager 和 3 个主节点似乎需要一台专用机器。

但在这张表中，我似乎可以直接在主节点上安装 Cloudera Manager。

所以这是我的疑问/问题：

• 1）是否有必要在专用机器上安装 Cloudera Manager（如果是，为什么）？或者可以直接安装在主节点上吗？
  
• 2）为什么有3个主节点？据我了解，可以使用2个主节点来实现高可用性（它们是彼此的镜像，具有相同的配置和服务，可以用于热切换）。第三个主节点的目的是什么，为什么它与其他两个不同？
  
• 3) Cloudera Director 的用途是什么，与 Cloudera Managera 有哪些不同？我读过它可以用于自动部署到云，但我不清楚我到底可以使用它什么。
  

提前感谢您提供任何信息。

我正在尝试按照以下教程在 AWS 上安装 apache-spot 和 Cloudera：

http://blog.cloudera.com/blog/2018/02/apache-spot-incubating-and-cloudera-on-aws-in-60-minutes/

https://www.cloudera.com/documentation/director/latest/topics/director_get_started_aws_install_dir_server.html#concept_xnb_cwh_jx

但是当我运行时：

Ubuntu终端给了我：

我已经运行了这段代码来修复：

任何人都可以帮助我？谢谢

目前正在使用 Cloudera director 2.8.1 使用 2.7 版使用 python sdk 在 AWS 中自动设置、安装和配置 CDH (5.16.2) 集群

我可以知道是否可以使用 python3 通过 Cloudera director 2.8.1 引导集群吗？

对于主分支（或最新版本的 Altus Director），我可以看到它同时支持 2.7 和 3.4+

https://github.com/cloudera/director-sdk/tree/master/python-client

但是对于 2.8.1 ，我找不到 python 版本要求。

感谢您在这方面的任何帮助。

提前致谢