理论
首先,一些 Concourse 理论(至少从 v3.3.1 开始):
人们经常谈论 Concourse 有一个“缓存”,但误解了它的含义。每个大厅工作人员在磁盘上都有一组卷,这些卷留在周围,形成一个卷缓存。此卷缓存包含已由资源和任务填充get
的put
卷outputs
。
人们也经常误解docker-image-resource
Docker 是如何使用的。您的 Concourse 安装没有运行全局 docker 服务器,实际上 Concourse 容器不是 Docker 容器,它们是 runC 容器。每个docker-image-resource
进程(check
, get
, put
)都在其自己的 runC 容器内运行,其中运行着一个本地 docker 服务器。这意味着没有全局 docker 服务器正在拉取 docker 图像并缓存层以供进一步使用。
这意味着当我们谈论使用 docker-image-resource 进行缓存时,它意味着将图像加载或预拉到本地 docker 服务器中。
实践
现在到优化构建时间的选项:
load_base
背景
您的load_base
参数docker-image-resource
put
告诉资源首先docker load
将图像(通过 a 检索get
)放入其本地 docker 服务器,然后再构建通过您的put
参数指定的图像。
当您需要将图像预填充到“docker 缓存”中时,这很有用。在您的情况下,您可能希望预加载FROM
指令中使用的图像。这更有效,因为它使用 Concourse 自己的卷缓存仅拉取“基础”一次,使其在FROM
命令执行期间可供 docker 服务器使用。
用法
您可以load_base
按如下方式使用:
假设您要构建一个自定义 python 映像,并且您有一个带有以下文件的 git 存储库ci/Dockerfile
:
FROM ubuntu
RUN apt-get update
RUN apt-get install -y python python-pip
如果您想在利用Concourse 卷缓存和Docker 镜像层缓存的同时自动构建/推送此镜像:
resources:
- name: ubuntu
type: docker-image
source:
repository: ubuntu
- name: python-image
type: docker-image
source:
repository: mydocker/python
- name: repo
type: git
source:
uri: ...
jobs:
- name: build-image-from-base
plan:
- get: repo
- get: ubuntu
params: {save: true}
- put: python-image
params:
load_base: ubuntu
dockerfile: repo/ci/Dockerfile
cache
&cache_tag
背景
你的cache
andcache_tag
参数docker-image-resource
put
告诉资源首先从你的远程源中提取一个特定的图像+标签,然后再构建通过你的 put 参数指定的图像。
当下载图像比从头构建它更容易时,这很有用,例如,您有一个非常长的构建过程,例如昂贵的编译
这不使用 Concourse 的卷缓存,并--cache-from
在docker pull
每个put
.
用法
您可以使用cache
和cache_tag
如下:
假设你想构建一个自定义的 ruby 映像,从源代码编译 ruby,并且你有一个 git 存储库,其中包含ci/Dockerfile
如下文件:
FROM ubuntu
# Install Ruby
RUN mkdir /tmp/ruby;\
cd /tmp/ruby;\
curl ftp://ftp.ruby-lang.org/pub/ruby/2.0/ruby-2.0.0-p247.tar.gz | tar xz;\
cd ruby-2.0.0-p247;\
chmod +x configure;\
./configure --disable-install-rdoc;\
make;\
make install;\
gem install bundler --no-ri --no-rdoc
RUN gem install nokogiri
如果您想在仅利用Docker 映像层缓存的同时自动构建/推送此映像:
resources:
- name: compiled-ruby-image
type: docker-image
source:
repository: mydocker/ruby
tag: 2.0.0-compiled
- name: repo
type: git
source:
uri: ...
jobs:
- name: build-image-from-cache
plan:
- get: repo
- put: compiled-ruby-image
params:
dockerfile: repo/ci/Dockerfile
cache: mydocker/ruby
cache_tag: 2.0.0-compiled
推荐
如果你想提高构建 docker 镜像的效率,我个人认为load_base
应该在大多数情况下使用。因为它使用资源get
,它利用了 Concourse 卷缓存,并且避免了需要做额外docker pull
的 s。