我有三台主机,每台主机上都安装了 docker。我想在三个容器中拥有一个分布式文件系统 HDFS。所以,我必须做一个hadoop集群。我使用这个 docker 文件来制作一个 hadoop 图像。
FROM ubuntu_mesos
ENV HADOOP_HOME /opt/hadoop
ENV JAVA_HOME /usr/lib/jvm/java-8-openjdk-amd64
RUN apt-get update && apt-get install -y ssh rsync vim openjdk-8-jdk
# download and extract hadoop, set JAVA_HOME in hadoop-env.sh, update
path
RUN wget https://archive.apache.org/dist/hadoop/core/hadoop-
3.1.0/hadoop-3.1.0.tar.gz && tar -xzf hadoop-3.1.0.tar.gz && \
mv hadoop-3.1.0 $HADOOP_HOME && \
echo "export JAVA_HOME=$JAVA_HOME" >> $HADOOP_HOME/etc/hadoop/
hadoop-env.sh && \
echo "PATH=$PATH:$HADOOP_HOME/bin" >> ~/.bashrc
# create ssh keys
RUN ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa && cat ~/.ssh/id_rsa.pub
>> ~/.ssh/authorized_keys && chmod 0600 ~/.ssh/authorized_keys
ADD core-site.xml $HADOOP_HOME/etc/hadoop/
ADD hdfs-site.xml $HADOOP_HOME/etc/hadoop/
ADD mapred-site.xml $HADOOP_HOME/etc/hadoop/
ADD mapred-site.xml $HADOOP_HOME/etc/hadoop/
ADD ssh_config /root/.ssh/config
COPY start-hadoop.sh start-hadoop.sh
EXPOSE 22 9000 8088 50070 50075 50030 50060
RUN echo export HDFS_NAMENODE_USER="root" >>
$HADOOP_HOME/etc/hadoop/hadoop-env.sh
RUN echo export HDFS_DATANODE_USER="root" >>
$HADOOP_HOME/etc/hadoop/hadoop-env.sh
RUN echo export HDFS_SECONDARYNAMENODE_USER="root" >>
$HADOOP_HOME/etc/hadoop/hadoop-env.sh
RUN echo export YARN_RESOURCEMANAGER_USER="root" >>
$HADOOP_HOME/etc/hadoop/hadoop-env.sh
RUN echo export YARN_NODEMANAGER_USER="root" >>
$HADOOP_HOME/etc/hadoop/hadoop-env.sh
构建 docker 文件后。我在你的主机上坐了 docker swarm。我安装了weave net并制作了一个这样的容器网络:
docker plugin install weaveworks/net-plugin:latest_release
docker network create --driver=weaveworks/net-plugin:latest_release
--attachable mycontainernetwork
我连接了三台主机,在每台主机上运行此命令:
sudo weave launch <IP address of first host> <IP address of second
host>
然后,我在每个主机上使用容器网络运行 hadoop 映像,如下所示:
sudo docker run -it --net mycontainernetwork my-hadoop
我检查了每个容器是否可以通过在每个容器上运行此命令来识别其他容器:
ping -c 1 -q ContainerID
但是,当我想运行这个命令时:
ssh e121a0ef81ef
我收到此错误:
ssh:连接到主机 e121a0ef81ef 端口 22:连接被拒绝
“e121a0ef81ef”是我的容器 ID。
我很困惑,不知道如何解决这个问题。你能帮帮我吗?
任何帮助,将不胜感激。