Skip to main content

6 篇博文 含有标签「Docker

View All Tags

· 15 分钟阅读

原文作者:Jeff Hale

原文地址:https://towardsdatascience.com/15-docker-commands-you-should-know-970ea5203421

翻译:付新圆

在这篇文章中,我们将学习15个Dockers CLI命令。如果你还不了解Docker,请查看这个系列的其他部分进行学习,Docker概念生态系统DockerfileDocker映像

Docker 命令约有十亿个(给或接受十亿个)。Docker 文档范围很广泛,但当您刚入门时,文档会非常庞大让你不知所措。在这篇文章中,我将重点介绍运行Docker的关键命令。

图:水果主题

之前的文章我们都把文章的主题隐喻成食物,这里让我们使用水果主题。蔬菜在关于减肥的文章中提供了营养。现在,美味的水果将为我们提供营养,因为我们学习的是关键 Docker 命令。

概述

回想一下,Docker 映像是由 Dockerfile +任何必要的依赖项组成的,还要记得 Docker 容器是一个 Docker 映像。若要使用 Docker 命令,首先需要知道您处理的是映像还是容器。

  • Docker 映像要么存在,要么不存在;
  • Docker 容器要么存在,要么不存在;
  • 存在的 Docker 容器要么正在运行,要么未运行。

当您知道正在处理什么,就可以找到适合该工作的命令。

共同点

以下是关于Docker命令需要了解的一些信息:

  • Docker CLI 管理命令从Docker开始,然后是空间,然后是管理类别,然后是空间,然后是命令。例如,dockerdocker container stop停止一个容器。
  • 引用特定容器或映像的命令需要该容器或映像的名称或 ID。

例如, docker container run my_app 是生成和运行名为 "my_app"的命令。在整个示例中,我将使用 my_container  这个名称来表示泛型容器,my_image,my_tag等等也一样。

如果适用,我将单独提供命令,然后使用公共标志。前面有两个破折号的标记是该标志的全名。具有一个破折号的标记是完整标志名称的快捷方式。例如,

-p--port缩写的标志。

图:标志提供命令选项

目标是将这些命令和标志留在您的记忆中,并作为本指南的参考。本指南适用于Linux和Docker Engine 18.09.1版和API 1.39版。

首先,我们将查看容器的命令,然后再查看映像的命令。下一篇文章将介绍卷。下面是15个命令的列表 – 加上3个附加命令!

容器

使用docker container my_command

create— 从映像创建容器

start— 启动现有容器

run—创建新容器并启动它

ls— 列出正在运行的容器

inspect— 查看有关容器的大量信息

logs— 打印日志

stop— 优雅地停止运行容器

kill—突然停止容器中的主进程

rm—删除已停止的容器

映像

使用docker image my_command

build— 生成映像

push— 将映像推送到远程注册表

ls— 列出映像

history— 请参阅中间映像信息

inspect— 查看大量有关映像的信息,包括图层

rm— 删除映像

其他

docker version—列出有关 Docker 客户端和服务器版本的信息

docker login—登录到Docker注册表

docker system prune—删除所有未使用的容器、未使用的网络和悬空映像

容器

容器开始

在日常生活中,术语create、start和run都有相似的语义。但每个命令都是一个单独的 Docker 命令,用于创建和/或启动一个容器。让我们先看看创建一个容器。

docker container create my_repo/my_image:my_tag-从映像创建容器。

我将缩短my_repo/my_image:my_tagmy_image文章的其余部分。

有很多可能的标记,你可以传递给create

docker container create -a STDIN my_image

-a--attach的简短。将容器连接到 STDIN、STDOUT 或 STDERR。

现在,我们已经创建了一个容器,让我们开始它。

docker container start my_container-启动现有容器。

请注意,容器可以通过容器的 ID 或容器的名称引用。

docker container start my_container

图:开始

现在您已经知道如何创建和启动容器了,让我们来谈谈最常见的 Docker 命令。它将create

start合并为一个命令:run

docker container run my_image-创建新容器并启动它。它也有很多选择,让我们看看几个。

docker container run -i -t -p 1000:8000 --rm my_image

-i--interactive的缩写。即使未连接,也要保持 STDIN 打开。

-t--tty的缩写。分配一个伪终端,将终端与集装箱的STDIN和STDOUT连接。

您需要同时指定-i-t,然后通过终端外壳与容器进行交互。

-p--port的缩写。端口是与外部世界的接口。1000:8000将Docker端口8000映射到计算机上的端口1000。如果你有一个应用程序可以将某些内容输出到浏览器中,那么你可以将浏览器导航到本地主机localhost:1000并看到它。

--rm当容器停止运行时,自动删除该容器。

让我们看一些更多的例子。run

docker container run -it my_image my_command

sh是可以在运行时指定的命令。sh将在容器内启动 shell 会话,您可以通过终端与之交互。对于Alpine映像,shbash更好,因为Alpine映像没有安装bash。键入exit结束交互式shell会话。

请注意,我们将-i-t合并到-it中。

docker container run -d my_image

-d--detach的缩写。在后台运行容,。允许您在容器运行时将终端用于其他命令。

检查容器状态

如果您正在运行 Docker 容器,并且想要了解要与哪个容器交互,则需要列出它们。

docker container ls-列出正在运行的容器,还提供有关容器的有用信息。

docker container ls -a -s

-a-all的缩写,列出所有容器(不只是正在运行的容器)。

-s--size的缩写,列出每个容器的大小。

docker container inspect my_container-查看有关容器的大量信息。

docker container logs my_container-打印容器的日志。

图:日志。不确定虚拟日志的关联性,也许通过大量的纸张?

容器结束

有时需要停止正在运行的容器。

docker container stop my_container-正常停止一个或多个正在运行的容器。在容器关闭前给出10 秒的默认值,以完成任何进程。

或者,如果您不耐烦:

docker container kill my_container-突然停止一个或多个正在运行的容器。就像扒掉电视插头一样。在大多数情况下,stop是最好的选择。

docker container kill $(docker ps -q)-关闭所有正在运行的容器。

图:杀死的蟑螂

然后删除容器,包括:

docker container rm my_container-删除一个或多个容器。

docker container rm $(docker ps -a -q)-删除所有未运行的容器。

这些就是 Docker 容器的八个基本命令。

回顾一下,首先创建一个容器,然后,启动容器;或将这些步骤与docker run my_container结合。然后,你的应用将运行。

然后,使用docker stop my_container停止容器;最终使用docker rm my_container删除容器。

现在,让我们来看看制造称为映像的模具的神奇容器。

映像

下面是用于处理 Docker 映像的七个命令。

开发映像

docker image build -t my_repo/my_image:my_tag .-从位于指定路径或URL的Dockerfile构建名为my_image的Docker映像。

-t是标记的简短。告诉 Docker 使用提供的标记来标记映像。在my_tag这种情况下。

.命令末尾的 (期间) 告诉 Docker 在当前工作目录中根据 Dockerfile 生成映像。

图:构建它

构建映像后,您需要把它推到远程注册表,以便使它被共享并根据需要被拉取。假设您要使用Docker Hub,请转到浏览器中并创建一个帐户。它是免费的。

下一个命令不是映像命令,但在这里查看很有用,所以我要提一下。

docker login-登录到 Docker 注册表,提示时输入用户名和密码。

图:推

docker image push my_repo/my_image:my_tag-将映像推送到注册表。

一旦有一些映像,你可能检查他们。

检查映像

图:检查时间

docker image ls-列出您的映像。显示每个映像的大小。

docker image history my_image-显示映像的中间映像其大小及创建方式。

docker image inspect my_image-显示大量有关映像的详细信息,包括组成映像的图层。

有时您需要清理映像。

删除映像

docker image rm my_image-删除指定的映像。如果映像存储在远程存储库中,则该映像仍将在那里可用。

docker image rm $(docker images -a -q)-删除所有映像。请注意,已推送到远程注册表的映像将保留,这是注册表的好处之一。

以上讲述了大多数必不可少的 Docker 映像相关命令。我们将在下一篇文章中介绍与数据相关的命令。

图:命令就像水果, 营养丰富, 美味可口。

其他

docker version-列出有关 Docker 客户端和服务器版本的信息。

docker login-登录 Docker 注册表。提示时输入用户名和密码。

docker system prune出现在下一篇文章中。Twitter 和 Reddit 上的读者认为,加入这个列表是件好事。

docker system prune-删除所有未使用的容器、未使用的网络和悬空映像。

docker system prune -a --volumes

-a--all的缩写。删除未使用的映像,而不仅仅是悬空的映像。

--volumes删除未使用的卷。我们将在下一篇文章中讨论更多有关卷的文章。

管理命令

在 CLI 1.13 Docker 中引入了按逻辑分组并一致命名的管理命令名称。旧命令仍然有效,但新命令使使用 Docker 更容易。本文的原始版本列出了旧名称。我更新了文章,根据读者建议使用管理命令名称。请注意,此更改仅引入两个命令名称更改 - 在大多数情况下,它只是意味向命令添加containerimage。这里是命令的映射。

如果您刚刚开始使用 Docker,以下是三个最重要的命令:

docker container run my_image-创建新容器并启动它。你可能想要一些标志在这里。

docker image build -t my_repo/my_image:my_tag .-生成映像。

docker image push my_repo/my_image:my_tag-将映像推送到远程注册表。

下面是基本 Docker 命令的较大列表:

容器

使用docker container my_command

create-从映像创建容器

start-启动现有容器

run-创建新容器并启动它

ls-列出正在运行的容器

inspect-查看有关容器的大量信息

logs-打印日志

stop-优雅地停止运行容器

kill-突然停止容器中的主要过程

rm-删除已停止的容器

映像

使用docker image my_command

build-生成映像。

push-将映像推送到远程注册表

ls-列出映像

history-请参阅中间映像信息

inspect-查看大量有关映像的信息,包括图层

rm-删除映像

其他

docker version-列出有关 Docker 客户端和服务器版本的信息

docker login-登录到 Docker 注册表

docker system prune-删除所有未使用的容器、未使用的网络和悬空映像。

若要在使用 Docker 时查看 CLI 引用,只需在命令行中输入命令。

现在,您就可以使用 Docker 构建东西了!

结尾

如果您错过了本系列的早期文章,请查看它们。第一个是:Docker-第1部分:什么是Docker?

希望这些文章对您有帮助。

· 13 分钟阅读

原文作者:Jeff Hale

原文地址:https://towardsdatascience.com/slimming-down-your-docker-images-275f0ca9337e

翻译:付新圆

在本文中,您将学习如何加快Docker构建周期并创建轻量级映像。遵循之前的文章中的食物隐喻,我们将沙拉隐喻为Docker映像,同时减少Docker映像的数量。

在本系列的第3部分中,我们介绍了十几个Dockerfile指令。如果您错过了,请在这里查看文章:

《Docker-第3部分:十二个Dockerfile指令》

FROM—指定基本(父)图像。

LABEL—提供元数据,包括维护者信息。

ENV—设置持久性环境变量。

RUN—运行命令并创建图像层,用于将软件包安装到容器中。

COPY-将文件和目录复制到容器。

ADD-将文件和目录复制到容器,可以支持本地.tar文件。

CMD—为执行中的容器提供命令和参数,可以覆盖参数,只能有一个CMD。

WORKDIR—为以下说明设置工作目录。

ARG—定义在构建时传递给Docker的变量。

ENTRYPOINT—为执行中的容器提供命令和参数。争论依然存在。

EXPOSE—暴露端口。

VOLUME—创建目录安装点以访问和存储持久数据。

现在让我们来看看如何设计Dockerfiles,以节省开发映像和拉取容器时的时间。

缓存

Docker的优势之一是它提供了缓存,帮助您更快地迭代映像构建。

构建映像时,Docker会按顺序执行每一个Dockerfile中的指令。在检查每个指令时,Docker在其缓存中寻找一个现有的中间映像,该中间映像可以重复使用,而不是创建一个新的(重复的)中间映像。

如果缓存失效,则使缓存失效的指令和所有后续的Dockerfile指令都会生成新的中间映像。一旦缓存失效,Dockerfile中的其余指令就都失效了。

因此,从Dockerfile的顶部开始,如果基本映像已经在缓存中,就会重复使用它。否则,缓存将失效。

图:击中

然后,将下一条指令与从该基本映像派生的缓存中的所有子映像进行比较。比较每个缓存的中间映像,以查看指令是否找到缓存命中。如果是缓存未命中,则缓存无效。重复相同的过程,直到到达Dockerfile的末尾。

大多数新指令都只是与中间图像中的指令进行比较。如果存在匹配项,则使用缓存的副本。

例如,当RUN pip install -r requirements.txt在Dockerfile中找到一条指令时,Docker会在其本地缓存的中间映像中搜索同一条指令,不比较旧的和新的requirements.txt文件的内容。

如果您更新要求,则此行​​为可能会出现问题requirements.txt带有新软件包的文件并使用RUN pip install并使用新的软件包名称重新运行软件包安装。我将在稍后展示一些解决方案。

与其他Docker指令不同,ADD和COPY指令需要Docker查看文件的内容,以确定是否存在缓存命中。将引用文件的校验和与现有中间映像中的校验和进行比较。如果文件内容或元数据已更改,则缓存失效。

下面是一些有效使用缓存的技巧:

  • 可以通过传递--no cache=True关闭docker build
  • 如果要对指令进行更改,则随后的每一层都将被频繁重建。要利用缓存,请在Dockerfile中放置可能变化尽可能小的指令。
  • ChainRUN apt-get updateapt-get install命令以避免缓存未命中问题。
  • 如果使用的是包安装程序(如pip)并带有requirements.txt文件,则请遵循以下模型,以确保您不会因使用requirements.txt中列出的旧软件包而收到陈旧的中间映像。
CCOPY requirements.txt /tmp/
RUN pip install -r /tmp/requirements.txt
COPY . /tmp/

这些是有效使用Docker构建缓存的建议。

缩小尺寸

Docker映像会变大,所以需要将它们保持的较小,以便可以快速拉出来并使用很少的资源。

让我们瘦下来的物品!

图:沙拉

Alpine基本映像是一个完整的Linux发行版,没有太多其他内容。下载通常小于5MB,但它需要花费更多的时间来编写构建一个工作应用程序所需的依赖项的代码。

图:阿尔卑斯山

如果您的容器中需要Python,则可以使用Python Alpine构建。它包含Linux和Python,其他大部分都由您提供。

使用最新的Python Alpine构建并带有print(“ hello world”)脚本构建的图像重78.5 MB,这是Dockerfile:

FROM python:3.7.2-alpine3.8
COPY . /app
ENTRYPOINT [“python”, “./app/my_script.py”, “my_var”]

在Docker Hub网站上,基本映像被列为29 MB。构建子映像后,它会下载并安装Python,使其变得更大。 除了使用Alpine基本映像外,另一种减小图像大小的方法是使用多级构建,该技术技术增加了Dockerfile的复杂性。

多阶段构建

图:一个阶段+另一个阶段=多阶段

多级构建使用多个FROM指令。您可以有选择地将文件(成为构建工件)从一个阶段复制到另一个阶段,可以在最后的图像中留下任何你不想要的内容。此方法可以减小整体图像大小。

每个FROM指令

  • 开始构建的新阶段;
  • 保留了先前阶段中创建的任何状态;
  • 可以使用其他基础;

以下是Docker docs中多级构建的修改示例:

FROM golang:1.7.3 AS build
WORKDIR /go/src/github.com/alexellis/href-counter/
RUN go get -d -v golang.org/x/net/html  
COPY app.go .
RUN CGO_ENABLED=0 GOOS=linux go build -a -installsuffix cgo -o app .
FROM alpine:latest  
RUN apk --no-cache add ca-certificates
WORKDIR /root/
COPY --from=build /go/src/github.com/alexellis/href-counter/app .
CMD ["./app"]

注意,我们通过在FROM指令后添加名称来命名第一阶段。然后,COPY --from=稍后在Dockerfile 中的指令中引用命名的阶段。 多阶段构建在某些情况下是有意义的,可以在生产中制造大量的容器。多级构建可以从图像大小中挤出最后一盎司(如果用公制计算的话,则为克)。但是,有时多级构建会增加复杂性,使图像难以维护。

相比之下,每个人都应该使用.dockerignore文件来帮助保持其Docker映像的外观。

.dockerignore

.dockerignore文件是您应该知道的一些知识。

.dockerignore类似于.gitignore。这是一个包含模式列表的文件,Docker可以使用这些模式与文件名进行匹配,并在制作映像时将其排除。

图:.dockerginore

将.dockerginore文件与Dockerfile和其他构建上下文放在同一个文件夹中。

当您运行docker build创建映像时,Docker会检查.dockerignore文件。如果找到一个,它将逐行遍历文件并使用Go的filepath.Match规则 ,以及Docker的一些规则,匹配要排除的文件名考虑Unix风格的glob模式,而不是正则表达式。

因此*.jpg将排除扩展名为.jpg的文件,并且videos将排除视频文件夹及其内容。

您可以用以#开头的注释来解释您在.dockrignore中所做的工作。

使用.dockergnore从Docker映像中排除不需要的文件是一个好方法。.dockerignore可以:

  • 帮助你保守秘密。没有人想要在图像中输入密码。
  • 缩小图像大小。更少的文件意味着更小更快的图像。
  • 减少生成缓存失效。如果日志或其他文件正在更改,而您的映像因此而使其缓存失效,则会减慢构建周期。

这些就是使用.dockerignore文件的原因。

尺寸检查

如何从命令行找到Docker图像和容器的大小。

  • 要查看正在运行的容器的大致大小,可以使用命令docker container ls-s
  • 运行docker image ls显示图像的大小。
  • 要查看构成您的图像的中间图像的大小docker image history my_``image:my_tag
  • 运行docker image inspect my_``image:tag将显示有关图像的许多信息,包括每一 层的大小。图层与构成整个图像的图像有细微的不同。但在大多数情况下,你可以把它们看作是相同的。
  • 安装和使用dive包可以很容易地查看层内容。

现在,让我们看一些简化操作的最佳实践。

八种减少图像大小和构建时间的最佳实践

  1. 尽可能使用官方的基本图像。官方图片定期更新,比f非官方图片更安全;
  2. 尽可能使用Alpine图像,以保持图像的轻量化。
  3. 如果使用apt,请在同一条指令中结合RUN apt get update和apt get install,然后在该指令中链接多个软件包。用\字符在多行按字母顺序列出包。例如:
RUN apt-get update && apt-get install -y \
    package-one \
    package-two 
 && rm -rf /var/lib/apt/lists/*

这种方法减少了要构建的层数,并保持了事物的整洁。

  1. 在RUN指令的末尾包含&& rm -rf /var/lib/apt/lists/*,以清理apt缓存,使其不存储在层中。

  2. 通过在Dockerfile中较低位置的指令来使用缓存。

  3. 使用.dockerignore文件将不需要的和不必要的文件排除在图像之外。

  4. 检查 dive - 一个非常酷的工具,用于检查Docker图像层。

  5. 不要安装不需要的软件包。

结尾

以上就是Docker映像快速构建,以及快速下载并且不占用太多空间的内容。学习是成功的一半。在本系列的下一篇文章中,将深入探讨基本的Docker命令,希望对你有帮助。

· 18 分钟阅读

原文作者:Jeff Hale

原文地址:https://towardsdatascience.com/learn-enough-docker-to-be-useful-b0b44222eef5

翻译:付新圆

本篇文章是关于Dockerfiles的,这是Docker系列文章的第三部分。如果您还没有读过 第1部分,请先阅读它,您可以从全新的角度了解Docker容器概念。 第2部分是Docker生态系统的简要介绍。在以后的文章中,我将研究精简Docker映像、Docker CLI命令以及使用Docker的数据。      现在,让我们跳进这十几个Dockerfile说明中去吧!

图:跳进来

Docker映像

Docker容器是栩栩如生的Docker映像,它是一个独立的、最小的操作系统,带有应用程序代码。

Docker映像在构建时创建的,而Docker容器是在运行时创建。

Dockerfile是Docker的核心,Dockerfile告诉Docker如何构建用于制作容器的映像。

每个Docker映像都包含一个名为Dockerfile的文件,没有扩展名。调用Dockerfile docker build 创建映像时,假定该Dockerfile位于当前工作目录中,可以使用文件标志( -f )指定其他位置。

容器是由一系列层构建而成的,除位于最后一层之上的最终容器层外,每一层都是只读的。Dockerfile告诉Docker添加哪些层以及添加顺序。

每一层实际上只是一个文件,其中包含自上一层以来的更改。在Unix中,几乎所有内容都是文件。

基础图像提供了初始层,基本图像也称为父图像。

当图像从远程存储库拉到本地计算机时,只下载本地计算机上尚未存在的层。Docker就是通过重用现有层来节省空间和时间。

图:基本(跳跃)图像

Dockerfile指令是一行开头的大写单词,后跟其参数。Dockerfile中的每一行都可以包含一条指令。构建图像时,说明从上到下进行处理。说明如下:

FROM ubuntu:18.04 
COPY . /app

只有指令FROM,RUN,COPY和ADD才能在最终图像中创建图层,其他的指令可配置事物,添加元数据或告诉Docker在运行时执行某些操作,例如公开端口或运行命令。 在本文中,我假设您正在使用基于Unix的Docker映像。您也可以使用基于Windows的映像,但这是一个较慢,较不愉快,较不常见的过程。因此,如果可以,请使用Unix。

让我们快速浏览一下我们将探索的十二个Dockerfile指令吧。

Dockerfile指令

FROM —指定基本(父)图像。

LABEL —提供元数据,包括维护者信息。

ENV —设置持久性环境变量。

RUN —运行命令并创建图像层,用于将软件包安装到容器中。

COPY -将文件和目录复制到容器。

ADD -将文件和目录复制到容器,可以支持本地.tar文件。

CMD —为执行中的容器提供命令和参数,可以覆盖参数,只能有一个CMD。

WORKDIR —为以下说明设置工作目录。

ARG —定义在构建时传递给Docker的变量。

ENTRYPOINT —为执行中的容器提供命令和参数。争论依然存在。

EXPOSE —暴露端口。

VOLUME —创建目录安装点以访问和存储持久数据。

让我们开始吧!

说明和示例

Dockerfile可以像下面这样简单:

FROM ubuntu:18.04 

FROM

Dockerfile必须以FROM指令或ARG指令开头,后跟FROM指令。

FROM 关键字告诉Docker使用与提供的存储库和标签匹配的基础映像,基本图像也称为父图像。

在此示例中,ubuntu是映像存储库。Ubuntu是 官方Docker存储库的名称,该存储库提供了流行的Linux操作系统的Ubuntu版本的基本版本。

图:Linux吉祥物Tux

请注意,此Dockerfile包含基础映像的标记:18.04,这个标签告诉Docker在ubuntu仓库中镜像的哪个版本。如果不包含标签,则默认情况下,Docker将采用最新标签。为了使您的意图清晰明了,最好指定一个基本图像标签。

当上述Dockerfile首次用于在本地构建映像时,Docker下载ubuntu映像中指定的层。可以将这些层视为彼此堆叠。每一层都是一个文件,具有与前一层不同的一组文件。

创建容器时,可以在只读层的顶部添加可写层。

图:从 Docker文档

为了提高效率,Docker使用了一种写时拷贝策略。如果一个层存在于图像的前一层,而另一层需要对其进行读访问,Docker将使用现有文件。不需要下载任何内容。

当一个图像正在运行时,如果一个层需要被容器修改,那么该文件将被复制到顶部的可写层中。

更具实质性的Dockerfile

虽然我们的单线图很简洁,但它也很慢,提供的信息很少,并且在容器运行时什么也不做。让我们看一个较长的Dockerfile,它构建一个小得多的图像,并在容器运行时执行脚本。

FROM python:3.7.2-alpine3.8 
LABEL maintainer="[email protected]"
ENV ADMIN="jeff"
RUN apk update && apk upgrade && apk add bash
COPY . ./app
ADD https://raw.githubusercontent.com/discdiver/pachy-vid/master/sample_vids/vid1.mp4 \
/my_app_directory
RUN ["mkdir", "/a_directory"]
CMD ["python", "./my_script.py"]

这是怎么回事能?让我们逐步了解并揭开神秘面纱。 基本映像是带有标签3.7.2-alpine3.8的正式Python映像。从 源代码中可以看到,该映像包含Linux、Python和其他一些内容。高山图像之所以受欢迎,是因为它们体积小,速度快且安全。但是,Alpine映像并没有很多操作系统优点。如果需要,您必须自己安装这样的软件包。

LABEL

下一条指令是LABEL。LABEL将元数据添加到图像中。在本例中,它提供图像维护者的联系信息。 Labels不会减慢构建速度或占用空间,它们提供了有关Docker映像的有用信息,因此一定要使用它们。有关LABEL元数据的更多信息,请参见 此处

ENV

ENV设置在容器运行时可用的持久环境变量。在上面的例子中,您可以在创建Docker容器时使用ADMIN变量。

ENV非常适合设置常量,如果您在Dockerfile中的多个位置使用常量,并且想在以后更改其值,则可以在一个位置进行更改。

图:环境

对于Dockerfiles,通常可以通过多种方式完成同一件事。针对您的案例,最好的方法是平衡Docker约定、透明性和速度。例如,RUN、CMD和ENTRYPOINT具有不同的用途,并且均可用于执行命令。

RUN

RUN在构建时创建一个层。每次运行后,Docker都会提交映像的状态。

RUN通常用于将软件包安装到映像中 在上面的示例中, RUN apk update && apk upgrade 告诉Docker从基础映像更新软件包 && apk add bash 告诉Docker将bash安装到映像中。

apk代表Alpine Linux软件包管理器。如果您使用的是Alpine以外的其他版本的Linux基础映像,则应使用RUN apt-get而不是apk安装软件包。apt代表高级包工具。在后面的示例中,我将讨论安装包的其他方法。

图:跑

RUN及其同级命令CMD和ENTRYPOINT可以在exec表单或shell表单中使用。Exec form使用的JSON数组语法如下:

例如: RUN ["my_executable", "my_first_param1", "my_second_param2"]

在上面的示例中,我们使用格式为的shell形式 RUN apk update && apk upgrade && apk add bash

稍后在Dockerfile中,我们使用首选的exec形式 RUN ["mkdir", "/a_directory"] 创建目录。别忘了对exec form使用JSON语法的字符串使用双引号!

COPY

COPY . ./app 指令告诉Docker在本地构建上下文中获取文件和文件夹,并将它们添加到Docker映像的当前工作目录中。如果不存在,复制将创建目标目录。

图:复制

ADD

ADD与COPY执行相同的操作,但有两个以上的用例。ADD可用于将文件从远程URL移动到容器,ADD可以提取本地TAR文件。

我在上面的示例中使用ADD将文件从远程URL复制到容器的 my_app_directory中 。Docker文档不建议以这种方式使用远程URL,因为您无法删除这些文件。额外的文件会增加最终图像的大小。

Docker文档还建议尽可能使用COPY而不是ADD来提高清晰度。Docker没有将ADD和COPY合并到一个命令中,以减少Dockerfile指令的数量来保持直线,这太糟糕了。

注意,ADD指令包含 \ 换行符,使用它可以通过将一条长指令拆分成几行来提高可读性。

CMD

CMD向Docker提供了一个在容器启动时运行的命令。它不会在构建时将命令的结果提交给映像。在上面的示例中,CMD将使Docker容器在运行时运行my_ script.py 文件。

图:那是CMD!

有关CMD的其他几件事:

  • 每个Dockerfile仅一个CMD指令。否则,除最后一个以外的所有内容都将被忽略。
  • CMD可以包含一个可执行文件。如果存在没有可执行文件的CMD,则必须存在ENTRYPOINT指令。在这种情况下,CMD和ENTRYPOINT指令都应为JSON格式。
  • 命令行参数将 docker run 覆盖Dockerfile中提供给CMD的参数。

准备好了吗?

让我们在另一个Dockerfile示例中介绍更多说明。

FROM python:3.7.2-alpine3.8 
LABEL maintainer="[email protected]"
# Install dependencies
RUN apk add --update git
# Set current working directory
WORKDIR /usr/src/my_app_directory
# Copy code from your local context to the image working directory
COPY . .
# Set default value for a variable
ARG my_var=my_default_value
# Set code to run at container run time
ENTRYPOINT ["python", "./app/my_script.py", "my_var"]
# Expose our port to the world
EXPOSE 8000
# Create a volume for data storage
VOLUME /my_volume

请注意,您可以在Dockerfiles中使用注释。注释以 # 开头。 软件包安装是Dockerfiles的主要工作。如前所述,有几种方法可以使用RUN安装软件包。

您可以使用apk在Alpine Docker映像中安装软件包,apk就像常规Linux构建中的apt-get。例如,带有基本Ubuntu映像的Dockerfile中的软件包可以像这样更新和安装: RUN apt-get update && apt-get install my_package

除了apk和apt-get 之外 ,还可以通过pip,wheel和conda安装Python软件包。其他语言可以使用各种安装程序。

基础层需要向安装层提供相关的软件包管理器。如果您在安装软件包时遇到问题,请在安装软件包管理器之前尝试使用它们。

您可以将RUN与pip一起使用,并在Dockerfile中直接列出要安装的软件包。如果这样做,则将您的软件包安装到一条指令中,并用换行符(\)将其分开。与多个RUN指令相比,此方法提供了清晰度和更少的层数。

或者,您可以在文件中列出软件包要求,然后在该文件上运行软件包管理器。人们通常将文件命名为 requirements.txt 。我将在下一篇文章中分享一个推荐的模式,以利用build.ca缓存与 requirements.txt 一起使用。

WORKDIR

WORKDIR会更改容器中的工作目录,以供后面的COPY、ADD、RUN、CMD和ENTRYPOINT指令使用。几点注意事项:

  • 最好使用WORKDIR设置绝对路径,而不是使用Dockerfile中的 cd 命令在文件系统中导航。
  • 如果该目录不存在,则WORKDIR会自动创建该目录。
  • 您可以使用多个WORKDIR指令。如果提供了相对路径,则每个WORKDIR指令都会更改当前工作目录。

图:某种工作目录

ARG

ARG定义了一个在构建时从命令行传递到映像的变量。可以在Dockerfile中为ARG提供默认值,如示例所示: ARG my_var=my_default_value

与ENV变量不同,ARG变量不适用于运行中的容器。但是,在生成映像时,可以使用ARG值在命令行中为ENV变量设置默认值。然后,ENV变量在容器运行期间一直存在。

ENTRYPOINT

ENTRYPOINT指令还允许您在容器启动时提供默认命令和参数。它看起来与CMD相似,但是如果使用命令行参数运行容器,则ENTRYPOINT参数不会被覆盖。

而是将传递给的命令行参数 docker run my_image_name 附加到ENTRYPOINT指令的参数中。例如, docker run my_image bash 将参数 bash 添加到ENTRYPOINT指令的现有参数的末尾。

图:进入某处

Dockerfile应该至少具有一个CMD或ENTRYPOINT指令。

Docker文档中有一些关于在CMD和ENTRYPOINT之间选择初始容器命令的建议:

  • 当您 需要每次运行 相 同 的 命令时,请 选择 ENTRYPOINT。
  • 当 容器 将 用作可执行程序时, 首选入口点 。
  • 当您 需要提供 额外的默认参数, 可以从命令行 重写 时, 使用 CMD。

在上面的示例中, ENTRYPOINT ["python", "my_script.py", "my_var"] 让容器在容器开始运行时运行带有参数 my_var 的python脚本 my_script.py 。 然后, my_script可以 通过argparse使用 my_var 。请注意, my_var 具有ARG先前在Dockerfile中提供的默认值。因此,如果未从命令行传递参数,则将使用默认参数。

Docker建议您通常使用ENTRYPOINT:的exec形式 ENTRYPOINT ["executable", "param1", "param2"] 。这种形式是使用JSON数组语法的形式。

EXPOSE

EXPOSE指令显示要发布哪个端口以提供对正在运行的容器的访问。EXPOSE实际上不会发布端口。相反,它充当构建映像的人员与运行容器的人员之间的文档。

图:暴露

docker run-p 标志一起使用,以在运行时发布和映射一个或多个端口。大写 -P 标志将发布所有公开的端口。

VOLUME

VOLUME指定您的容器将在哪里存储和/或访问持久数据。

图:卷

总结

Dockerfile也许是Docker掌握的关键组件。我希望本文能帮助到你们。

· 8 分钟阅读

原文作者:Jeff Hale

原文地址:https://towardsdatascience.com/learn-enough-docker-to-be-useful-1c40ea269fa8

翻译:付新圆

在本系列的第1部分《Docker-第1部分:什么是Docker?》我们探讨了Docker容器的概念以及Docker容器的重要性,文章的最后我们把Docker类比成了一个披萨,并把它拆解开来解释Docker容器的结构和用途。在本文中,将分享Docker生态系统中的常用的术语。

遵循本系列第一篇文章中的食品主题,这里我们将甜甜圈想象成一个Docker容器。

Docker生态系统术语

为了方便大家理解,我将Docker术语分为两类:基础术语和进阶术语。

Docker 基础术语

1.Docker平台

Docker平台是 Docker的软件,可在任何Linux服务器上的容器中打包和运行应用程序。Docker平台捆绑了代码文件和依赖项,支持可移动性和可重复性来促进平台扩展。

2.Docker引擎

Docker引擎是客户端服务器应用程序。Docker公司将Docker引擎分为两种产品。

图:引擎让事情运转

3.Docker客户端

Docker客户端是许多Docker用户与Docker交互的主要方式。使用 Docker命令行界面(CLI)时,请在终端中输入以docker开头的命令,然后Docker客户端使用Docker API将命令发送到Docker Daemon。

图:Docker文档中的图表

4.Docker Daemo

Docker Daemo是侦听Docker API请求的Docker服务器,管理映像、容器、网络和卷。

5.Docker卷

Docker卷是存储应用程序消耗和创建的持久数据的最佳方式。在本系列的第5部分中,我们将对Docker卷进行更多的讨论。

图:卷

6.Docker 注册表

Docker注册表是存储Docker映像的远程位置,将图像推送到注册表并从注册表中提取图像,可以托管注册表或使用提供程序的注册表。例如,AWS和googlecloud都有注册。

7.Docker Hub

Docker Hub是Docker映像的最大注册表,也是默认注册表。您可以在Docker Hub上免费查找图片并存储图片。

图:轮毂和辐条

8.Docker 存储库

Docker 存储库是具有相同名称和不同标签的Docker图像的集合,该标签是图像标识符。

通常,一个存储库具有同一映像的不同版本。例如,Python 是Docker Hub上最流行的官方Docker映像存储库的名称。Python:3.7-slim 指的是Python存储库中带有3.7-slim标签的图像版本。您可以将存储库或单个映像推送到注册表。

Docker 进阶术语

接下来我们看一下与扩展多个Docker容器有关的Docker术语,以下四个概念涉及一次使用多个容器。

1.网络容器

网络容器可以将Docker容器连接在一起,连接的Docker容器可以位于同一主机或多个主机上。有关Docker网络的更多信息,请参阅这篇文章

图:Docker网络

2.Docker Compose 

Docker Compose是一种工具,可让您更轻松地运行需要多个Docker容器的应用程序。Docker Compose允许您将命令移动到docker-compose.yml文件中以供重用。Docker Compose命令行界面(cli)使与多容器应用程序的交互变得更加容易。Docker Compose随您的Docker安装一起免费提供。

3.Docker Swarm

Docker Swarm是用于协调容器部署的产品。Docker官方教程的第四部分介绍了Docker Swarm。

图:蜂群

4.Docker 服务

Docker服务是分布式应用程序的不同部分。

服务实际上只是“生产中的容器”。一个服务仅运行一个映像,但它规定了映像的运行方式—应该使用什么端口,应该运行多少个容器副本,这样服务就有了它需要的容量,等等。扩展服务会更改运行该软件的容器实例的数量,从而在流程中为服务分配更多的计算资源。

Docker服务允许您跨多个Docker Daemon扩展容器,并使Docker Swarms成为可能。

回顾

以下用一行文字总结以帮助你理清这十几个术语。

基本

  • 平台—使Docker容器成为可能的软件
  • 引擎—客户端服务器应用程序(CE或Enterprise)
  • 客户端—处理Docker CLI,以便您可以与守护程序进行通信
  • Daemon—Docker服务器,管理关键内容
  • 卷—持久数据存储
  • 注册表—远程映像存储
  • Docker Hub—默认和最大的Docker 注册表
  • 存储库—Docker图像的集合,例如Alpine

缩放比例

  • 网络—将容器连接在一起
  • 撰写—节省多容器应用程式的时间
  • Swarm—协调容器部署
  • 服务—生产中的集装箱

因为我们遵循食物的隐喻,所以我们为引入了另一个相关术语:Kubernetes。

图:再加一层甜甜圈并洒上糖果

Kubernetes自动执行容器化应用程序的部署、扩展和管理。它是容器编排市场的赢家,代替Docker Swarm,使用Kubernetes来扩展具有多个Docker容器的项目。Kubernetes不是Docker的官方部分,它更像是Docker的BFF。

图:Kubernetes

现在您已经了解了Docker的概念和常用术语,那么我建议您尝试使用Docker。

使用Docker

Docker在Linux、Mac和Windows上本地运行。如果您使用的是Mac或Windows计算机,请在此处安装最新稳定版本的Docker Desktop 。作为奖励,它附带Kubernetes。如果要在其他地方安装Docker,请转到此处查找所需的版本。

安装Docker之后,执行Docker教程的前两部分。

总结

以上就是关于Docker的十二个术语的相关内容。在本系列的下三个部分中,我们将深入研究Dockerfile指令,请持续关注我们。

· 10 分钟阅读

原文作者:Jeff Hale

原文地址:https://towardsdatascience.com/learn-enough-docker-to-be-useful-b7ba70caeb4b

翻译:付新圆

容器对于提高软件开发和数据科学中的安全性、可重复性和可伸缩性非常有用。容器的崛起是当今科技领域最重要的趋势之一。

Docker是一个用于在容器中开发、部署和运行应用程序的平台。Docker本质上是容器化的同义词。对于有抱负的软件开发人员或数据科学家来说,Doc​​ker就是他们的未来。

如果您还不适应最新技术,请不要担心——本文将帮助您理解Docker的概念,了解Docker的过程可以想象成是制作披萨的过程。

在本系列有五篇文章,之后的四篇文章我们将会讲解Docker术语、Dockerfiles、Docker镜像、Docker命令和数据存储。阅读完这个系列(再加上一点练习),你将会了解很多Docker发挥的作用😃!

Docker的类比

首先,阐明一下Docker的类比。

谷歌中对类比的第二个定义是:

象征物被认为是其他事物的代表或象征的事物,尤指抽象的事物。

类比可以帮助我们理解新的事物。例如,物理容器的类比可以帮助我们快速掌握虚拟容器的本质。

图为物理容器

容器

以下是塑料容器对照Docker容器的类比:

  1. 容纳东西——东西要么在容器内,要么在容器外;
  2. 便携式——可在本地计算机、远程计算机或云提供商的服务器(例如AWS)上使用。就像盒子一样,你可以随时移动。
  3. 具有清晰的访问接口——物理容器有一个盖子,用于打开和放入物品以及取出物品。同样,Docker容器具有多种与外界交互的机制。它具有可以通过打开浏览器进行交互的端口,您可以通过命令行将其配置为与数据交互。
  4. 可以从远程位置获取——当您需要用到塑料容器时,您可以网购一个,这些塑料容器是商家从制造商那里购买的,这些制造商通过一个模具就能将数千个塑料容器冲压出来。对于Docker容器,异地注册表会为容器保存一个像模具的镜像。然后,当您需要一个容器时,就可以从图像中制作一个。

与虚拟Docker容器不同,网购的塑料容器需要花费钱,并且商家也不会提供商品副本。

实例

Docker容器的第二种类比是可以将其视为一个有生命的的实例。实例是以某种形式存在的东西,不仅仅只是代码,正是这些代码赋予了Docker容器生命。像其他生物一样,实例最终将死亡-这意味着容器将关闭。

Docker容器是Docker镜像的生命表现。

软件程序

除了容器类比和实例类比,您还可以将Docker容器视为软件程序。毕竟,Docker容器确实是软件,在最基本的层次上,容器是一组操纵其他位的指令。

图为容器是代码

当Docker容器运行时,通常会有程序在运行。容器中的程序执行操作,应用程序也对应执行相关操作。

例如,Docker容器中的代码已经实时将网页上读取的内容发送了您,或者可能会将您的语音命令带到Amazon Alexa,并将其解码为另一个程序并在不同容器中使用的指令。

使用Docker,您可以在主机上同时运行多个容器,和其他软件程序一样,Docker容器可以运行、检查、停止和删除。

概念

虚拟机

虚拟机是Docker容器的前身,它可以隔离应用程序及其依赖项。但是,Docker容器优于虚拟机,因为它们占用的资源更少,非常便捷,并且启动速度更快。

Docker镜像

在本文中,术语“ 镜像 ”的含义无法很好地映射到物理镜像。

Docker镜像更像是蓝图、饼干切割机或模具。镜像是不可变的主模板,用于抽取完全相同的容器。

镜像包含应用程序运行所需的Dockerfile、库和代码,所有这些都是捆绑在一起的。

Dockerfile

Dockerfile 是一个文件,其中包含Docker应如何构建图像的说明。

Dockerfile引用用于构建初始镜像层的基础镜像。流行的官方基础镜像包括pythonUbuntualpine

然后,根据Dockerfile中的说明,可以将其他层堆叠在基本镜像层的顶部。例如,用于机器学习应用程序的Dockerfile可以告诉Docker在中间层添加NumPy,Pandas和Scikit-learn。

最后,根据Dockerfile代码,在其他层之上堆叠了一个可写的薄层。(薄层的尺寸很小,在这里薄是一种类比)

在本系列的后续文章中,将会更深入地探讨Dockerfiles。

Docker容器

Docker镜像加上命令docker run image_name,可从镜像创建并启动容器。

容器注册表

如果希望其他人能够从自己的镜像中创建容器,则可以将镜像发送到容器注册表。Docker Hub是最大的注册表,也是默认的注册表。

用Docker烹饪

图为景观类比

  • 配方就像Dockerfile一样。它告诉您如何实现最终目标。
  • 成分是层。这个比萨饼有皮、酱汁和奶酪。

将食谱和食材想像成一体的披萨制作套件。这是Docker镜像。

配方(Dockerfile)告诉我们我们要做什么。计划如下:

  • 外壳是预成型且不可变的,就像基本的Ubuntu父镜像一样。它是最底层的,是首先被构建的。
  • 然后添加一些奶酪。将第二层添加到比萨饼就像安装一个外部库——例如NumPy。
  • 然后撒一些芝士。芝士就像运行应用程序的文件中编写的代码。

图为烤箱

  • 烤披萨的烤箱就像Docker平台一样。搬进烤箱并将烤箱安装到了自己的房子里,就可以制作东西了。同样,在计算机上安装了Docker,就可以制作容器了。
  • 通过旋转旋钮可以启动烤箱。该docker run image_name命令就像烤箱的旋钮一样——它可以创建并启动容器。
  • 煮熟的比萨就像一个Docker容器。
  • 吃披萨就像使用您的应用程序一样。

就像制作披萨一样,在Docker容器中制作应用程序需要一些工作,但最终您会拥的是非常有价值的。

总结

以上就是Docker概念的内容。在本系列的第2部分,将阐明在Docker生态系统中常用的一些术语。希望本文对您了解Docker有所帮助,同时也希望您看到类比在理解新技术中的价值。

· 24 分钟阅读

基本概念

Docker 是什么

Docker 起初是 dotCloud 公司创始人 Solomon Hykes 在法国的时候发起的一项公司内部项目,Docker 是基于 dotCloud 公司多年云服务技术的一次革新,在 2013 年 3 月以 Apache 2.0 授权协议进行开源,其项目主要代码在 GitHub 上进行维护,自从 Docker 开源之后,就一直受到了广泛讨论和关注。

Docker 进行开发实现使用的是 Google 公司推出的 Go 语言,对进程进行封装隔离是基于 Linux 内核的 cgroup,namespace,以及 AUFS 类的 Union FS 等技术,这属于操作系统层面的虚拟化技术。因为隔离的进程独立于宿主与其它隔离的进程,所以也称其为容器(后文会对“容器”的概念进行详细介绍)。Docker 在容器的基础上,进行了进一步的封装,从网络互联、文件系统到进程隔离等,大大地简化了容器的创建和维护,让 Docker 技术比虚拟机技术更加轻便、快捷。

以下两张图片对比了 Docker 与传统虚拟化方式的不同之处。Docker 容器内的应用进程直接运行于宿主的内核,容器内没有自己的内核,没有进行硬件虚拟;而传统虚拟机技术是虚拟出一套硬件后,在其上运行一个完整操作系统,在该系统上再运行所需应用进程。因此容器要比传统虚拟机更为轻便。

图为 传统虚拟化

图为 Docker

为什么要使用 Docker?

Docker 是一种新兴的虚拟化方式,跟传统的虚拟化方式相比具有众多优势。

  • 系统资源利用更高效

    因为容器不需要进行硬件虚拟以及运行完整操作系统等额外开销,所以 Docker 对系统资源的利用率更高。

  • 启动时间更快速

    Docker 容器应用由于直接运行于宿主内核,无需启动完整的操作系统,因此可以做到秒级、甚至毫秒级的启动时间。极大地节省了开发、测试,部署的时间。

  • 运行环境一致性

    开发过程中比较常见的问题就是环境一致性问题。因为开发环境、测试环境、生产环境不一致,导致有些 bug 并未在开发过程中被发现。而 Docker 的镜像提供了除内核外完整的运行时环境,确保了应用运行环境一致性,从而不会再出现 “这段代码在我机器上没问题啊!”这类问题。

  • 持续交付与部署

    对开发和运维人员来说,最希望的就是一次创建或配置,可以在任意地方正常运行。使用 Docker 可以通过定制应用镜像来实现持续集成、持续交付、部署。开发人员可以通过 Dockerfile 来进行镜像构建,并结合持续集成(Continuous Integration)系统进行集成测试,而运维人员则可以直接在各种环境中快速部署该镜像,甚至结合持续部署(Continuous Delivery/Deployment) 系统进行自动部署。

    而且使用 Dockerfile 使镜像构建透明化,不仅开发团队可以理解应用运行环境,也方便运维团队理解应用运行所需条件,帮助更好地在生产环境中部署该镜像。

  • 迁移更轻松

    由于 Docker 确保了执行环境的一致性,使得应用的迁移更加容易。Docker 可以在很多平台上运行,无论是物理机、虚拟机、公有云、私有云,甚至是笔记本,其运行结果是一致的。因此用户可以很轻松地将在一个平台上运行的应用,迁移到另一个平台上,而不用担心运行环境变化导致应用无法正常运行的情况。

  • 维护和扩展更轻松

    Docker 使用的分层存储以及镜像技术,使得应用重复部分的复用更为容易,也使得应用的维护更新和基于基础镜像进一步扩展镜像变得非常简单。此外,Docker 团队同各个开源项目团队一起维护了一大批高质量的官方镜像,既可以直接在生产环境使用,又可以作为基础进一步定制,大大降低了应用服务的镜像制作成本。

Docker 的镜像和容器

Docker 的口号是“Build, Ship and Run Any App, Anywhere.”,大意是编译好一个应用后,可以在任何地方运行,不会像传统的程序一样,一旦换了运行环境,往往就会出现缺这个库,少那个包的问题。那么 Docker 是怎么做到这点的呢?

简单说就是它在编译应用的时候把这个应用依赖的所有东西都构建到镜像里面(有点像程序的静态编译——只是像而已)。我们把这个编译构建好的东西叫 Docker 镜像(Image),然后当 Docker deamon(Docker 的守护进程/服务进程)运行这个镜像的时候,我们称其为 Docker 容器(Container)。可以简单理解 Docker 镜像和 Docker 容器的关系就像是程序和进程的关系一样(当然实质是不一样的)。

Images 和 Layers

每个 Docker 镜像(Image)都引用了一些只读的(read-only)层(layer),不同的文件系统 layer 也不同。这些 layer 堆叠在一起构成了容器(Container)的根文件系统(root filesystem)。下图是 Ubuntu 15.04 的镜像,共由 4 个镜像层(image layer)组成:

Container 和 Layers

容器和镜像的主要区别就是顶部的那个可写层(即之前说的那个“container layer”)。容器运行时做的所有操作都会写到这个可写层里面,当容器删除的时候,这个可写层也会被删掉,但底层的镜像依旧保持不变。所以,不同的容器都有自己的可写层,但可以共享同一个底层镜像。下图展示了多个容器共享同一个 Ubuntu 15.04 镜像。

Docker 的 storage driver 负责管理只读的镜像层和可写的容器层,当然不同的 driver 实现的方式也不同,但其后都有两项关键技术:可堆叠的镜像层(stackable image layer)和写时拷贝技术(copy-on-write, CoW)。

Docker 数据持久化

刚开始的时候,Docker 一般只适用于无状态的计算场景使用。但随着发展,Docker 通过 data volume 技术也可以做到数据持久化了。Data volume 就是我们将主机的某个目录挂载到容器里面,这个 data volume 不受 storage driver 的控制,所有对这个 data volume 的操作会绕过 storage driver 直接其操作,其性能也只受本地主机的限制。而且我们可以挂载任意多个 data volume 到容器中,不同容器也可以共享同一个 data volume。

下图展示了一个 Docker 主机上面运行着两个容器.每一个容器在主机上面都有着自己的地址空间(/var/lib/docker/...),除此以外,它们还共享着主机上面的同一个/data 目录。

Kubernetes 简介

Kubernetes 是谷歌开源的容器集群管理系统,是 Google 多年大规模容器管理技术 Borg 的开源版本,主要功能包括:

  • 于容器的应用部署、维护和滚动升级
  • 负载均衡和服务发现
  • 跨机器和跨地区的集群调度
  • 自动伸缩
  • 无状态服务和有状态服务
  • 广泛的 Volume 支持
  • 插件机制保证扩展性

Kubernetes 发展非常迅速,已经成为容器编排领域的领导者。

Kubernetes 是什么

Kubernetes 提供了很多的功能,它可以简化应用程序的工作流,加快开发速度。通常,一个成功的应用编排系统需要有较强的自动化能力,这也是为什么 Kubernetes 被设计作为构建组件和工具的生态系统平台,以便更轻松地部署、扩展和管理应用程序。

用户可以使用 Label 以自己的方式组织管理资源,还可以使用 Annotation 来自定义资源的描述信息,比如为管理工具提供状态检查等。

此外,Kubernetes 控制器也是构建在跟开发人员和用户使用的相同的 API 之上。用户可以编写自己的控制器和调度器,也可以通过各种插件机制扩展系统的功能。这种设计使得用户可以方便地在 Kubernetes 之上构建各种应用系统。

Kubernetes 不是什么

Kubernetes 不是一个传统意义上,包罗万象的 PaaS (平台即服务) 系统。它给用户预留了选择的自由。

  • 不限制支持的应用程序类型,它不插手应用程序框架, 也不限制支持的语言 (如 Java, Python, Ruby 等),Kubernetes 旨在支持极其多样化的工作负载,包括无状态、有状态和数据处理工作负载。只要应用可以在容器中运行,那么它就可以很好地在 Kubernetes 上运行。
  • 不提供内置的中间件 (如消息中间件)、数据处理框架 (如 Spark)、数据库 (如 mysql) 或集群存储系统 (如 Ceph) 等。这些应用直接运行在 Kubernetes 之上。
  • 不提供点击即部署的服务市场。
  • 不直接部署代码,也不会构建用户的应用程序,但用户可以在 Kubernetes 之上构建需要的持续集成 (CI) 工作流。
  • 允许用户选择自己的日志、监控和告警系统。
  • 不提供应用程序配置语言或系统 (如 jsonnet)。
  • 不提供机器配置、维护、管理或自愈系统。

另外,已经有很多 PaaS 系统运行在 Kubernetes 之上,如 Openshift, Deis 和 Eldarion 等。 你也可以构建自己的 PaaS 系统,或者只使用 Kubernetes 管理你的容器应用。

当然了,Kubernetes 不仅仅是一个 “编排系统”,它消除了编排的需要。Kubernetes 通过声明式的 API 和一系列独立、可组合的控制器保证了应用总是在期望的状态,而用户并不需要关心中间状态是如何转换的。这使得整个系统更容易使用,而且更强大、更可靠、更具弹性和可扩展性。

基本组件

核心组件

Kubernetes 主要由以下几个核心组件组成:

  • etcd:保存了整个集群的状态;
  • apiserver:提供了资源操作的唯一入口,并提供认证、授权、访问控制、API 注册和发现等机制;
  • controller manager:负责维护集群的状态,比如故障检测、自动扩展、滚动更新等;
  • scheduler:负责资源的调度,按照预定的调度策略将 Pod 调度到相应的机器上;
  • kubelet:负责维护容器的生命周期,同时也负责 Volume(CVI)和网络(CNI)的管理;
  • Container runtime:负责镜像管理以及 Pod 和容器的真正运行(CRI);
  • kube-proxy:负责为 Service 提供 cluster 内部的服务发现和负载均衡

除了核心组件,还有一些推荐的 Add-ons:

  • kube-dns:负责为整个集群提供 DNS 服务
  • Ingress Controller:为服务提供外网入口
  • Heapster:提供资源监控
  • Dashboard:提供 GUI
  • Federation:提供跨可用区的集群
  • Fluentd-elasticsearch:提供集群日志采集、存储与查询

组件详细介绍

Etcd

Etcd 是 CoreOS 基于 Raft 开发的分布式 key-value 存储,可用于服务发现、共享配置以及一致性保障(如数据库选主、分布式锁等)。

Etcd 主要功能:

  • 基本的 key-value 存储
  • 监听机制
  • key 的过期及续约机制,用于监控和服务发现
  • 原子 CAS 和 CAD,用于分布式锁和 leader 选举

kube-apiserver

kube-apiserver 是 Kubernetes 最重要的核心组件之一,主要提供以下的功能:

  • 提供集群管理的 REST API 接口,包括认证授权、数据校验以及集群状态变更等
  • 提供其他模块之间的数据交互和通信的枢纽(其他模块通过 API Server 查询或修改数据,只有 API Server 才直接操作 etcd)

kube-controller-manager

Controller Manager 由 kube-controller-manager 和 cloud-controller-manager 组成,是 Kubernetes 的大脑,它通过 apiserver 监控整个集群的状态,并确保集群处于预期的工作状态。

kube-controller-manager 由一系列的控制器组成

  • Replication Controller
  • Node Controller
  • CronJob Controller
  • Daemon Controller
  • Deployment Controller
  • Endpoint Controller
  • Garbage Collector
  • Namespace Controller
  • Job Controller
  • Pod AutoScaler
  • RelicaSet
  • Service Controller
  • ServiceAccount Controller
  • StatefulSet Controller
  • Volume Controller
  • Resource quota Controller

cloud-controller-manager

在 Kubernetes 启用 Cloud Provider 的时候才需要,用来配合云服务提供商的控制,也包括一系列的控制器,如:

  • Node Controller
  • Route Controller
  • Service Controller

kube-scheduler

kube-scheduler 负责分配调度 Pod 到集群内的节点上,它监听 kube-apiserver,查询还未分配 Node 的 Pod,然后根据调度策略为这些 Pod 分配节点(更新 Pod 的 NodeName 字段)。

调度器需要充分考虑诸多的因素:

  • 公平调度
  • 资源高效利用
  • QoS
  • affinity 和 anti-affinity
  • 数据本地化(data locality)
  • 内部负载干扰(inter-workload interference)
  • deadlines

Kubelet

每个节点上都运行一个 kubelet 服务进程,默认监听 10250 端口,接收并执行 master 发来的指令,管理 Pod 及 Pod 中的容器。每个 kubelet 进程会在 API Server 上注册节点自身信息,定期向 master 节点汇报节点的资源使用情况,并通过 cAdvisor 监控节点和容器的资源。

Container runtime

容器运行时(Container Runtime)是 Kubernetes 最重要的组件之一,负责真正管理镜像和容器的生命周期。Kubelet 通过 Container Runtime Interface (CRI) 与容器运行时交互,以管理镜像和容器。

kube-proxy

每台机器上都运行一个 kube-proxy 服务,它监听 API server 中 service 和 endpoint 的变化情况,并通过 iptables 等来为服务配置负载均衡(仅支持 TCP 和 UDP)。

kube-proxy 可以直接运行在物理机上,也可以以 static pod 或者 daemonset 的方式运行。

kube-proxy 当前支持一下几种实现:

  • userspace:最早的负载均衡方案,它在用户空间监听一个端口,所有服务通过 iptables 转发到这个端口,然后在其内部负载均衡到实际的 Pod。该方式最主要的问题是效率低,有明显的性能瓶颈。
  • iptables:目前推荐的方案,完全以 iptables 规则的方式来实现 service 负载均衡。该方式最主要的问题是在服务多的时候产生太多的 iptables 规则,非增量式更新会引入一定的时延,大规模情况下有明显的性能问题
  • ipvs:为解决 iptables 模式的性能问题,v1.8 新增了 ipvs 模式,采用增量式更新,并可以保证 service 更新期间连接保持不断开
  • winuserspace:同 userspace,但仅工作在 windows 上。

Kubernetes 架构

K8s 设置由几个部分组成,其中一些是可选的,一些是整个系统运行所必需的。下面是 k8s 的全局架构图:

Kubernetes 有两个不同的部分构成,一个是 Master,一个是 Node。Master 负责调度资源和为客户端提供 API,客户端可以是 UI 界面或者 CLI 工具,在 Kubernetes 中 CLI 工具通常为 kubectl。 Kubernetes Master 接受使用 YAML 定义的配置文件,根据配置文件中相关信息将容器分配到其中一个 Node 上。另外,镜像库在 Kubernetes 中也起到一个很重要的角色,Kubernetes 需要从镜像库中拉取镜像基于这个镜像的容器才能成功启动。常用的镜像库有 dockerhub、阿里云镜像库等。下面图片为 Master 的架构图:

Master 有三个组件:API Server、Scheduler、Controller。API Server 提供了友好易用的 API 供外部调用,同时有很多强大的工具使得 API 调用更加简单,如 kubectl 封装了大量 API 调用,使得部署、配置更加简单。Kubernetes-dashboard 可以让用户在界面上操作 Kubernetes,而无需手动输入各个 API 的调用地址参数等信息。

当 API Server 收到部署请求后,Scheduler 会根据所需的资源,判断各节点的资源占用情况分配合适的 Node 给新的容器。判断依据包括内存、CPU、磁盘等。

Controller 负责整个集群的整体协调和健康,保证每个组件以正确的方式运行。

在图的最下边是 ETCD 数据库。如前文所述 ETCD 是分布式存储数据库,其作为 Kubernetes 的中央数据库,存储了集群的状态,组件可以通过查询 ETCD 了解集群的状态。

Kubernetes Master 分配容器到 Node 执行,Node 将会承受压力,通常情况下新容器不会运行在 Master 上。或者说 Master 是不可调度的,但是你也可以选择把 Master 同时也作为 Node,但是这并不是地道的用法。下面的为 Node 的架构图:

Kube-proxy 在 Node 中管理网络,其左右至关重要。Kube-proxy 通过管理 iptables 等方式使得 pod 到 pod 之间,和 pod 到 node 之间网络能够互通。实质上在跨主机的 pod 之间网络也能够互通。

Kubelet 负责向 api server 报告信息,并把健康状态、指标和节点状态信息存入 ETCD 中。

Docker 上文已详细介绍这里就不多做阐述。

Supervisord 保证 Docker 和 kubelet 一直在运行中,supervisord 并不是必须组件,可以使用其他类似组件替换。

Pod 是可以在 Kubernetes 中创建和管理的最小可部署计算单元。一个 POD 中可以包含多个容器,但 Kubernetes 仅管理 pod。如果多个容器运行在一个 POD 中,就相当于这些容器运行在同一台主机中,需要注意端口占用问题。

参考资料

https://yeasy.gitbooks.io/docker_practice/content/introduction/what.html

https://yeasy.gitbooks.io/docker_practice/content/introduction/why.html

https://docs.docker.com/storage/storagedriver/

https://kubernetes.io/docs/concepts/overview/what-is-kubernetes/

http://k8s.docker8.com/

https://www.youtube.com/watch?v=zeS6OyDoy78

关于猪齿鱼

Choerodon 猪齿鱼是一个全场景效能平台,基于 Kubernetes 的容器编排和管理能力,整合 DevOps 工具链、微服务和移动应用框架,来帮助企业实现敏捷化的应用交付和自动化的运营管理的平台,同时提供 IoT、支付、数据、智能洞察、企业应用市场等业务组件,致力帮助企业聚焦于业务,加速数字化转型。

大家也可以通过以下社区途径了解猪齿鱼的最新动态、产品特性,以及参与社区贡献: