10

我似乎无法在 gitlab CI 的作业之间获取缓存或工件。我怀疑这与我的配置有关，但我不确定是什么。我正在使用以下 docker-compose 配置在 docker 中运行 gitlab 和 gitlab-ci-multirunner。为简洁起见，我省略了数据库配置和一些环境变量：

version: '2'

services:
  gitlab:
    image: sameersbn/gitlab:8.5.1
    links:
      - redis:redisio
      - postgresql:postgresql
    ports:
      - "10080:80"
      - "10022:22"
    environment:
      ...
    volumes:
      - gitlab_data:/home/git/data

  gitlab-ci-runner:
    restart: always
    image: gitlab/gitlab-runner
    volumes:
      - gitlab_runner_config_data:/etc/gitlab-runner
      - /var/run/docker.sock:/var/run/docker.sock
      - /etc/nginx/ssl/gitlab.crt:/etc/gitlab-runner/certs/ca.crt
      - /etc/ssh:/ssh
    links:
      - gitlab:gitlab

  redis:
    ...
  postgresql:
    ...


volumes:
  postgresql_data:
  redis_data:
  gitlab_data:
  gitlab_runner_config_data:

运行器配置 ( config.toml) 为：

concurrent = 1

[[runners]]
  name = "docker"
  url = <public gitlab url>/ci 
  token = <gitlab token>
  tls-ca-file = "/etc/gitlab-runner/certs/ca.crt"
  executor = "docker"
  [runners.docker]
    image = "docker-bash"
    volumes = ["/var/run/docker.sock:/var/run/docker.sock", "/cache"]

docker-bash所指的图像只是安装了 bash的官方docker:1.10图像。

我的构建过程包括 3 个步骤：

  1. npm install在官方node:5镜像中运行和测试。现在，为了测试部署，我已经离开了这一步。
  2. 构建一个包含代码的 docker 镜像
  3. 使用 ansible，通过自定义构建的 ansible docker 镜像将构建的镜像部署到生产服务器。

该.gitlab-ci.yml文件如下所示：

variables:
  FULL_IMAGE_TAG: deploy-$CI_BUILD_REF_NAME:$CI_BUILD_ID-$CI_BUILD_REF
  IMAGE_FILE: deploy-$CI_BUILD_REF_NAME.tar.gz

cache:
  paths:
    - $IMAGE_FILE

build:
  stage: build
  script:
    - docker build -t $FULL_IMAGE_TAG .
    - docker save $FULL_IMAGE_TAG | gzip -cf - > $IMAGE_FILE
  artifacts:
    paths:
      - $IMAGE_FILE

deploy:
  stage: deploy
  image: ansible-ssh
  script:
    - ls
    - ansible-playbook -e image_file=$IMAGE_FILE -e branch=$CI_BUILD_REF_NAME -e full_image_name=$FULL_IMAGE_TAG deploy-playbook.yml
  only:
    - develop
    - master

如您所见，压缩后的 docker 映像在此处在缓存和工件部分中都被引用，但在部署步骤中实际上不可用，其中 ansible 应该将其复制到远程计算机。我试过包含一个ls命令，所以检查文件夹内容，文件显然不存在，但它肯定是构建的，我可以从 gitlab UI 下载它。这是部署作业的日志：

gitlab-ci-multi-runner 1.0.4 (014aa8c)
Using Docker executor with image ansible-ssh ...
Pulling docker image ansible-ssh ...
WARNING: Cannot pull the latest version of image ansible-ssh : Error: image library/ansible-ssh not found
WARNING: Locally found image will be used instead.

Running on runner-59d43cf3-project-8-concurrent-0 via 381c2ea97744...
Fetching changes...
Removing artifacts.zip
Removing deploy-develop.tar.gz
HEAD is now at 6009bd0 test
Checking out 6009bd0f as develop...
HEAD is now at 6009bd0... test

$ ls
Dockerfile
deploy-playbook.yml
server
$ ansible-playbook -e image_file=$IMAGE_FILE -e branch=$CI_BUILD_REF_NAME -e full_image_name=$FULL_IMAGE_TAG deploy-playbook.yml
Using /etc/ansible/ansible.cfg as config file
1 plays in deploy-playbook.yml

PLAY ***************************************************************************

TASK [setup] *******************************************************************
ok: [deploy-host]

TASK [copy docker image] *******************************************************
task path: /builds/test/test/deploy-playbook.yml:44
fatal: [deploy-host]: FAILED! => {"changed": false, "failed": true, "msg": "could not find src=/builds/test/test/deploy-develop.tar.gz"}

NO MORE HOSTS LEFT *************************************************************
    to retry, use: --limit @deploy-playbook.retry

PLAY RECAP *********************************************************************
deploy-host            : ok=1    changed=0    unreachable=0    failed=1   


ERROR: Build failed with: exit code 1

我怀疑我没有正确设置或使用跑步者，但是除了非常简单的案例之外，我在文档中找不到太多东西，而且我对该工具的了解还不够，无法知道它是如何在引擎盖下组合在一起的.

4

4 回答 4

5

缓存并非旨在在构建阶段之间传递文件。

从文档

缓存：定义应在后续运行之间缓存的文件列表

我认为您需要的实际上正在进行中：WIP：从先前阶段下载构建工件并在构建上下文中恢复它们（技术预览）

于 2016-03-24T00:10:06.553 回答
1

首先，更新 gitlab 和 gitlab runner，尤其是 1.0.4 runner 是安静的实验。

其次在缓存定义中，您应该添加一个键，请参见https://docs.gitlab.com/ce/ci/yaml/README.html#cache-key

cache:
  key: "$CI_BUILD_REF_NAME"
  paths:
  - ..

从https://gitlab.com/gitlab-org/gitlab-ci-multi-runner/blob/master/docs/configuration/advanced-configuration.md#the-runners-section，您应该修改config.toml并添加缓存目录

缓存目录：

构建缓存将存储在所选执行程序（本地、Docker、SSH）的上下文中的目录。如果使用 docker 执行器，则该目录需要包含在其 volumes 参数中。

于 2017-02-02T15:05:13.987 回答
1

您是否启用了工件gitlab.rb 

gitlab_rails['artifacts_enabled'] = false

如构建工件文档中所述？

于 2016-04-08T10:59:53.467 回答
-1

缓存有点奇怪，但本质上是：

<dir path>在构建作业之间可以使用缓存，而<dir path>工件将允许您在同一个作业中使用它。

所以：

cache:
  untracked: true
  key: "$CI_BUILD_REF_NAME"
  paths:
    - cache-dir/

setup:
  stage: setup
  [snip]
  artifacts:
    paths:
     - cache-dir/ #notice that the path above is the same

这将允许您在每个构建作业之间缓存文件，同时允许您在同一个作业中使用相同的缓存。

不要忘记在每个构建步骤中将您需要的文件添加到工件中。

于 2017-04-05T19:08:06.927 回答