3

我有两个图像，它们使用两阶段构建来构建 Scala 代码并将工件复制到最终图像。为了加快构建速度，我将本地复制~/.ivy2到上​​下文目录，然后从那里复制到图像 (~1GB)。不幸的是，这意味着即使没有任何变化并且不需要重新构建图像，docker-compose build（或docker build）会挂起很长一段时间来复制 Docker 上下文。这当然会发生两次，每个图像一次。

有没有更聪明的方法来做到这一点？

Dockerfile：

FROM openjdk:8

RUN apt-get update &&\
    apt-get install -y apt-transport-https gnupg2 &&\
    echo "deb https://dl.bintray.com/sbt/debian /" | tee -a /etc/apt/sources.list.d/sbt.list &&\
    apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 642AC823 &&\
    apt-get update &&\
    apt-get install -y sbt=1.1.6

COPY ivy-cache/ /root/.ivy2

COPY app/source/ /app/source

RUN cd /app/source &&\
    sbt assembly &&\
    cp target/scala-2.11/my-app-*.jar /app/my-app.jar

FROM gettyimages/spark:2.3.1-hadoop-3.0

COPY --from=0 /app/my-app.jar /app/my-app.jar

CMD ["spark-submit", "--master", "local", "/app/my-app.jar"]
4

1 回答 1

5

在 18.09 中，docker 包含 BuildKit。BuildKit 本身将缓存先前的上下文，并且仅在后台发送与 rsync 等效的差异。

对于这种特定情况，您可以使用一些实验性功能在依赖项缓存中挂载，作为使用RUN --mount语法的命名卷的等效项。缓存目录永远不会进入映像，但会用于以后的构建，当您引入新的依赖项时，它的行为就像本地构建一样，只下载新的依赖项。

# syntax=docker/dockerfile:experimental
FROM openjdk:8 as build

RUN apt-get update &&\
    apt-get install -y apt-transport-https gnupg2 &&\
    echo "deb https://dl.bintray.com/sbt/debian /" | tee -a /etc/apt/sources.list.d/sbt.list &&\
    apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 642AC823 &&\
    apt-get update &&\
    apt-get install -y sbt=1.1.6

COPY app/source/ /app/source

RUN --mount=type=cache,target=/root/.ivy2 \
    cd /app/source &&\
    sbt assembly &&\
    cp target/scala-2.11/my-app-*.jar /app/my-app.jar

FROM gettyimages/spark:2.3.1-hadoop-3.0 as release

COPY --from=build /app/my-app.jar /app/my-app.jar

CMD ["spark-submit", "--master", "local", "/app/my-app.jar"]

要在 18.09 下使用 BuildKit，您可以导出环境变量：

export DOCKER_BUILDKIT=1

或使用 /etc/docker/daemon.json 中的新默认值更新引擎：

{ "features": {"buildkit": true} }
于 2019-01-08T01:26:17.203 回答