0

我有三台主机，每台主机上都安装了 docker。我想在三个容器中拥有一个分布式文件系统 HDFS。所以，我必须做一个hadoop集群。我使用这个 docker 文件来制作一个 hadoop 图像。

FROM ubuntu_mesos
ENV HADOOP_HOME /opt/hadoop
ENV JAVA_HOME /usr/lib/jvm/java-8-openjdk-amd64
RUN apt-get update && apt-get install -y ssh rsync vim openjdk-8-jdk
# download and extract hadoop, set JAVA_HOME in hadoop-env.sh, update 
path
RUN wget https://archive.apache.org/dist/hadoop/core/hadoop- 
3.1.0/hadoop-3.1.0.tar.gz && tar -xzf hadoop-3.1.0.tar.gz && \
mv hadoop-3.1.0 $HADOOP_HOME && \
echo "export JAVA_HOME=$JAVA_HOME" >> $HADOOP_HOME/etc/hadoop/
hadoop-env.sh && \
echo "PATH=$PATH:$HADOOP_HOME/bin" >> ~/.bashrc
# create ssh keys
RUN ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa && cat ~/.ssh/id_rsa.pub 
>> ~/.ssh/authorized_keys && chmod 0600 ~/.ssh/authorized_keys
ADD core-site.xml $HADOOP_HOME/etc/hadoop/
ADD hdfs-site.xml $HADOOP_HOME/etc/hadoop/
ADD mapred-site.xml $HADOOP_HOME/etc/hadoop/
ADD mapred-site.xml $HADOOP_HOME/etc/hadoop/
ADD ssh_config /root/.ssh/config
COPY start-hadoop.sh start-hadoop.sh
EXPOSE 22 9000 8088 50070 50075 50030 50060
RUN echo export HDFS_NAMENODE_USER="root" >> 
$HADOOP_HOME/etc/hadoop/hadoop-env.sh 
RUN echo export HDFS_DATANODE_USER="root" >> 
$HADOOP_HOME/etc/hadoop/hadoop-env.sh
RUN echo export HDFS_SECONDARYNAMENODE_USER="root" >> 
$HADOOP_HOME/etc/hadoop/hadoop-env.sh
RUN echo export YARN_RESOURCEMANAGER_USER="root" >> 
$HADOOP_HOME/etc/hadoop/hadoop-env.sh
RUN echo export YARN_NODEMANAGER_USER="root" >> 
$HADOOP_HOME/etc/hadoop/hadoop-env.sh

构建 docker 文件后。我在你的主机上坐了 docker swarm。我安装了weave net并制作了一个这样的容器网络：

docker plugin install weaveworks/net-plugin:latest_release
docker network create --driver=weaveworks/net-plugin:latest_release 
--attachable mycontainernetwork

我连接了三台主机，在每台主机上运行此命令：

sudo weave launch <IP address of first host> <IP address of second 
host>

然后，我在每个主机上使用容器网络运行 hadoop 映像，如下所示：

 sudo docker run -it --net mycontainernetwork my-hadoop

我检查了每个容器是否可以通过在每个容器上运行此命令来识别其他容器：

 ping -c 1 -q ContainerID

但是，当我想运行这个命令时：

 ssh e121a0ef81ef

我收到此错误：

ssh：连接到主机 e121a0ef81ef 端口 22：连接被拒绝

“e121a0ef81ef”是我的容器 ID。

我很困惑，不知道如何解决这个问题。你能帮帮我吗？

任何帮助，将不胜感激。

4

1 回答 1

1

问题解决了。我做了这些阶段：首先，我在三个主机之间设置了 ssh 无密码。在三个主机：

 ssh-keygen

然后，对于每个从站，我在 Master 中运行以下命令：

 ssh-copy-id user@ip

我测试了ssh在主从之间没有密码的情况下工作。因此，我将“~/.ssh”文件夹从主机复制到每个主机的容器。顺便说一句，我使用以下命令进入容器：

sudo docker run -it -v /home/user/.ssh:/root/.ssh --net mycontainernetwork
 --privileged my-hadoop

我调试了 ssh 以了解问题：

ssh -v user@ip

最重要的一点是进入容器后，必须用这个命令重启ssh：

  /etc/init.d/ssh restart

或者

  service ssh restart

此外，您必须使用以下命令授予 .ssh 文件夹的权限：

chmod 600 ~/.ssh/*

之后，我可以对远程容器运行ssh命令。

希望对其他人有帮助。

于 2019-03-17T06:00:35.397 回答