1

我正在尝试构建一个包含以下服务的 Kubernetes 集群：

  • Docker-registry（将包含我的 django Docker 映像）
  • Nginx 监听 80 和 443 端口
  • PostgreSQL
  • 几个 django 应用程序与 gunicorn 一起使用
  • Letencrypt容器生成并自动更新签名的 SSL 证书

我的问题是集群创建过程中出现的鸡与蛋的问题：

我的 SSL 证书存储在由letsencrypt 容器生成的秘密卷中。为了能够生成证书，我们需要证明我们是域名的所有者，这是通过验证可以从服务器名称访问的文件来完成的（基本上这包括 Nginx 能够通过端口 80 提供静态文件）

所以这里出现了我的第一个问题：为了提供letsencrypt所需的静态文件，我需要启动nginx。没有挂载secret，nginx的SSL部分就无法启动，只有在let's encrypt成功的情况下才会生成secret...

因此，一个简单的解决方案可能是拥有 2 个 Nginx 容器：一个仅侦听端口 80，将首先启动，然后 letencrypt 然后我们启动第二个 Nginx 容器，侦听端口 443

-> 在我看来，这种看起来像浪费资源，但为什么不呢。

现在假设我有 2 个 nginx 容器，我希望我的 Docker Registry 可以通过 https 访问。

所以在我的 nginx 配置中，我将有一个 docker-registry.conf 文件，如下所示：

upstream docker-registry {
  server registry:5000;
}

server {
  listen 443;
  server_name docker.thedivernetwork.net;

  # SSL
  ssl on;
  ssl_certificate /etc/nginx/conf.d/cacert.pem;
  ssl_certificate_key /etc/nginx/conf.d/privkey.pem;

  # disable any limits to avoid HTTP 413 for large image uploads
  client_max_body_size 0;

  # required to avoid HTTP 411: see Issue #1486 (https://github.com/docker/docker/issues/1486)
  chunked_transfer_encoding on;

  location /v2/ {
    # Do not allow connections from docker 1.5 and earlier
    # docker pre-1.6.0 did not properly set the user agent on ping, catch "Go *" user agents
    if ($http_user_agent ~ "^(docker\/1\.(3|4|5(?!\.[0-9]-dev))|Go ).*$" ) {
      return 404;
    }

    # To add basic authentication to v2 use auth_basic setting plus add_header
    auth_basic "registry.localhost";
    auth_basic_user_file /etc/nginx/conf.d/registry.password;
    add_header 'Docker-Distribution-Api-Version' 'registry/2.0' always;

    proxy_pass                          http://docker-registry;
    proxy_set_header  Host              $http_host;   # required for docker client's sake
    proxy_set_header  X-Real-IP         $remote_addr; # pass on real client's IP
    proxy_set_header  X-Forwarded-For   $proxy_add_x_forwarded_for;
    proxy_set_header  X-Forwarded-Proto $scheme;
    proxy_read_timeout                  900;
  }
}

重要的部分是重定向到注册表容器的 proxy_pass。

我面临的问题是我的 Django Gunicorn 服务器在同一文件夹 django.conf 中也有其配置文件：

upstream django {
    server django:5000;
}

server {
    listen 443 ssl;
    server_name example.com;
    charset     utf-8;

    ssl on;
    ssl_certificate /etc/nginx/conf.d/cacert.pem;
    ssl_certificate_key /etc/nginx/conf.d/privkey.pem;

    ssl_protocols        SSLv3 TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers          HIGH:!aNULL:!MD5;
    client_max_body_size 20M;

    location / {
        # checks for static file, if not found proxy to app
        try_files $uri @proxy_to_django;
    }

    location @proxy_to_django {
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
        proxy_set_header Host $http_host;
        proxy_redirect off;

        #proxy_pass_header Server;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Scheme $scheme;
        proxy_connect_timeout 65;
        proxy_read_timeout 65;

        proxy_pass   http://django;
    }

}

所以nginx只有在3个条件下才会成功启动：

  • 安装秘密（这可以通过将 Nginx 拆分为 2 个单独的容器来解决）
  • 注册服务启动
  • django 服务已启动

问题是 django 镜像正在从注册表服务中拉取它的镜像，所以我们又陷入了死锁的情况。

我没有提到它，但注册表和 django 都有不同的 ServerName，所以 nginx 能够同时为它们服务

我认为的解决方案（但它很脏！）将使用越来越多的配置重新加载 nginx 几次：

  • 我启动 docker 注册服务
  • 我只用 registry.conf 启动 Nginx
  • 我创建了我的 django rc 和服务
  • 我用 registry.conf 和 django.conf 重新加载 nginx

如果有办法让 nginx 开始忽略失败的配置，那也可能会解决我的问题。

我怎样才能干净地实现这个设置？

谢谢你的帮助

蒂博

4

1 回答 1

1

您是否将 Kubernetes服务用于您的应用程序？

通过为每个 Pod 提供服务，您就有了 Pod 的代理。即使 Pod 没有启动，只要 Service 启动，nginx 就会在查找它时找到它，因为 Service 已分配了 IP。

所以你启动服务，然后按你想要的顺序启动 nginx 和任何你想要的 Pod。

于 2016-01-20T23:35:14.910 回答