0

我正在尝试按照以下说明使用 Vagrant 和 Cloudera Manager 在我的笔记本电脑上运行 Virtual Apache Hadoop 集群:

http://blog.cloudera.com/blog/2014/06/how-to-install-a-virtual-apache-hadoop-cluster-with-vagrant-and-cloudera-manager/

我正在使用具有 16GB RAM 的戴尔 Precision M4800 工作站笔记本电脑,它运行 Ubuntu 16.04 LTS (Xenial Xerus) 操作系统。

我成功地安装了 VirtualBox 和 Vagrant,但我无法连接到集群的节点,我所做的是:

  1. 为 CLI 工具配置代理设置:

    $export http_proxy="http://user:password@proxy_server:port"
    $export https_proxy="https://user:password@proxy_server:port""
    
  2. 进入项目目录

  3. 更新每台活动机器上的 hosts 文件:

    $vagrant hostmanager
    
  4. 根据 Vagrantfile 创建和配置来宾机器

    $vagrant up
    
  5. 尝试浏览 http://vm-cluster-node1:7180 但收到错误“找不到服务器”

因为我在公司代理后面,所以我安装了vagrant proxyconf 插件,如下所示:如何在代理环境中使用 vagrant?

然后我更改了我的Vagrantfile添加以下行:

if Vagrant.has_plugin?("vagrant-proxyconf")
  config.proxy.http     = "http://user:password@proxy_server:port" 
  config.proxy.https    = "https://user:password@proxy_server:port"
  config.proxy.no_proxy = "localhost,127.0.0.1"
end

现在的问题是,在vagrant up命令之后,我收到以下错误:

==> master: Failed to fetch http://archive.cloudera.com/cm5/ubuntu/precise/amd64/cm/pool/contrib/e/enterprise/cloudera-manager-daemons_5.8.2-1.cm582.p0.17~precise-cm5_all.deb  Connection failed
==> master: Failed to fetch http://archive.cloudera.com/cm5/ubuntu/precise/amd64/cm/pool/contrib/o/oracle-j2sdk1.7/oracle-j2sdk1.7_1.7.0+update67-1_amd64.deb  Connection failed
==> master: E: Unable to fetch some archives, maybe run apt-get update or try with --fix-missing?
==> master: cloudera-scm-server-db: unrecognized service
==> master: cloudera-scm-server-db: unrecognized service
==> master: cloudera-scm-server: unrecognized service
The SSH command responded with a non-zero exit status. Vagrant assumes 
that this means the command failed. The output for this command should be 
in the log above. Please read the output to determine what went wrong.

我究竟做错了什么?

4

1 回答 1

0

事实证明,这不是代理配置问题(该配置是正确的),而是公司防火墙问题,防火墙只允许下载某些包。

通过使用我的手机作为热点安装 Cloudera Manager,我已经“解决”了这个问题。

在您的集群上安装 Cloudera Manager 和 Hadoop 堆栈后,您可以使用 Cloudera Manager Web GUI 并在企业环境中管理您的集群。

唯一的问题是一些重要的集群功能,例如时钟同步在企业环境中不能正常工作,特别是我发现我公司的防火墙阻止了NTP(这个问题在这里更好地描述:https ://askubuntu.com/questions /429306/ntpdate-no-server-suitable-for-synchronization-found )

于 2016-11-07T16:06:25.963 回答