Docker镜像构建技巧

young 621 2022-05-18

项目中使用了开源工具KKFileView作为文件在线预览工具，其中需要openoffice环境，决定openoffice打成基础镜像

FROM centos:centos7
RUN mkdir -p /app/openoffice
COPY Apache_OpenOffice_4.1.8_Linux_x86-64_install-rpm_zh-CN.tar.gz /app/Apache_OpenOffice_4.1.8_Linux_x86-64_install-rpm_zh-CN.tar.gz
RUN tar -zxvf /app/Apache_OpenOffice_4.1.8_Linux_x86-64_install-rpm_zh-CN.tar.gz -C /app/openoffice
RUN rpm -ivh /app/openoffice/zh-CN/RPMS/*.rpm
RUN rpm -ivh /app/openoffice/zh-CN/RPMS/desktop-integration/openoffice4.1.8-redhat-menus-4.1.8-9803.noarch.rpm
RUN chown -R root /opt/openoffice4
RUN yum install libXext.x86_64 -y
RUN yum install fontconfig freetype libfreetype.so.6 -y
RUN yum groupinstall "X Window System" -y
RUN yum install java-1.8.0-openjdk* -y

打完镜像之后发现镜像的大小高达4.4G

百度查到一片文章https://www.kawabangga.com/posts/4676

根据其中的描述，将多个RUN操作合并成一个

FROM centos:centos7
RUN mkdir -p /app/openoffice
COPY Apache_OpenOffice_4.1.8_Linux_x86-64_install-rpm_zh-CN.tar.gz /app/Apache_OpenOffice_4.1.8_Linux_x86-64_install-rpm_zh-CN.tar.gz
RUN tar -zxvf /app/Apache_OpenOffice_4.1.8_Linux_x86-64_install-rpm_zh-CN.tar.gz -C /app/openoffice \
    && rpm -ivh /app/openoffice/zh-CN/RPMS/*.rpm \
    && rpm -ivh /app/openoffice/zh-CN/RPMS/desktop-integration/openoffice4.1.8-redhat-menus-4.1.8-9803.noarch.rpm \
    && chown -R root /opt/openoffice4 \
    && yum install libXext.x86_64 -y \
    && yum install fontconfig freetype libfreetype.so.6 -y \
    && yum groupinstall "X Window System" -y \
    && rm -rf /app/Apache_OpenOffice_4.1.8_Linux_x86-64_install-rpm_zh-CN.tar.gz

优化之后镜像大小缩减为2.2G

记录一下文章中的优化技巧，以便后期复习

删除缓存

一般的包管理器，比如 apt, pip 等，下载包的时候，都会下载缓存，下次安装同一个包的时候不必从网络上下载，直接使用缓存即可。

但是在 Docker Image 中，我们是不需要这些缓存的。所以我们在 Dockerfile 中下载东西一般会使用这种命令：

RUN dnf install -y --setopt=tsflags=nodocs \
    httpd vim && \
    systemctl enable httpd && \
    dnf clean all

在包安装好之后，去删除缓存。

一个常见的错误是，有人会这么写：

FROM fedora
RUN dnf install -y mariadb
RUN dnf install -y wordpress
RUN dnf clean all

Dockerfile 里面的每一个 RUN 都会创建一层新的 layer，如上所说，这样其实是创建了 3 层 layer，前 2 层带来了缓存，第三层删除了缓存。如同 git 一样，你在一个新的 commit 里面删除了之前的文件，其实文件还是在 git 历史中的，最终的 docker image 其实没有减少。

但是 Docker 有了一个新的功能，docker build --squash。squash 功能会在 Docker 完成构建之后，将所有的 layers 压缩成一个 layer，也就是说，最终构建出来的 Docker image 只有一层。所以，如上在多个 RUN 中写 clean 命令，其实也可以。我不太喜欢这种方式，因为前文提到的，多个 image 共享 base image 以及加速 pull 的 feature 其实就用不到了

一些常见的包管理器删除缓存的方法：

yum yum clean all
dnf dnf clean all
rvm rvm cleanup all
gem gem cleanup
cpan rm -rf ~/.cpan/{build,sources}/*
pip rm -rf ~/.cache/pip/*
apt-get apt-get clean

另外，上面这个命令其实还有一个缺点。因为我们在同一个 RUN 中写多行，不容易看出这个 dnf 到底安装了什么。而且，第一行和最后一行不一样，如果修改，diff 看到的会是两行内容，很不友好，容易出错。

可以写成这种形式，比较清晰

RUN true \
    && dnf install -y --setopt=tsflags=nodocs \
        httpd vim \
    && systemctl enable httpd \
    && dnf clean all \
    && true

改动不频繁的内容往前放

通过前文介绍过的原理，可以知道，对于一个 Docker image 有 ABCD 四层，B 修改了，那么 BCD 会改变。

根据这个原理，我们在构建的时候可以将系统依赖往前写，因为像 apt, dnf 这些安装的东西，是很少修改的。然后写应用的库依赖，比如 pip install，最后 copy 应用。

比如下面这个 Dockerfile，就会在每次代码改变的时候都重新 Build 大部分 layers，即使只改了一个网页的标题。

FROM python:3.7-buster
 
# copy source
RUN mkdir -p /opt/app
COPY myapp /opt/app/myapp/
WORKDIR /opt/app
 
# install dependencies nginx
RUN apt-get update && apt-get install nginx
RUN pip install -r requirements.txt
RUN chown -R www-data:www-data /opt/app
 
# start server
EXPOSE 8020
STOPSIGNAL SIGTERM
CMD ["/opt/app/start-server.sh"]

我们可以改成，先安装 Nginx，再单独 copy requirements.txt，然后安装 pip 依赖，最后 copy 应用代码。

FROM python:3.7-buster
 
# install dependencies nginx
RUN apt-get update && apt-get install nginx
COPY myapp/requirements.txt /opt/app/myapp/requirements.txt
RUN pip install -r requirements.txt
 
# copy source
RUN mkdir -p /opt/app
COPY myapp /opt/app/myapp/
WORKDIR /opt/app
 
RUN chown -R www-data:www-data /opt/app
 
# start server
EXPOSE 8020
STOPSIGNAL SIGTERM
CMD ["/opt/app/start-server.sh"]

构建和运行 Image 分离

我们在编译应用的时候需要很多构建工具，比如 gcc, golang 等。但是在运行的时候不需要。在构建完成之后，去删除那些构建工具是很麻烦的。

我们可以这样：使用一个 Docker 作为 builder，安装所有的构建依赖，进行构建，构建完成后，重新选择一个 Base image，然后将构建的产物复制到新的 base image，这样，最终的 image 只含有运行需要的东西。

比如，这是安装一个 golang 应用 pup 的代码：

FROM golang as build
ENV CGO_ENABLED 0
RUN go install github.com/ericchiang/pup@latest
 
FROM alpine:3.15.4 as run
COPY --from=build /go/bin/pup /usr/local/bin/pup

我们使用 golang 这个 1G 多大的 image 来安装，安装完成之后将 binary 复制到 alpine, 最终的产物只有 10M 左右。这种方法特别适合一些静态编译的编程语言，比如 golang 和 rust.

检查构建产物

这是最有用的一个技巧了。

dive 是一个 TUI，命令行的交互式 App，它可以让你看到 docker 每一层里面都有什么。

dive ubuntu:latest 命令可以看到 ubuntu image 里面都有什么文件。内容会显示为两侧，左边显示每一层的信息，右边显示当前层（会包含之前的所有层）的文件内容，本层新添加的文件会用黄色来显示。通过 tab 键可以切换左右的操作。

一个非常有用的功能是，按下 ctrl + U 可以只显示当前层相比于前一层增加的内容，这样，就可以看到增加的文件是否是预期的了。

按 ctrl + Space 可以折叠起来所有的目录，然后交互式地打开他们查看，就像是 Docker 中的 ncdu。

参考资料：

  1. https://jvns.ca/blog/2019/11/18/how-containers-work–overlayfs/
  2. https://www.kernel.org/doc/html/latest/filesystems/overlayfs.html
  3. http://docs.projectatomic.io/container-best-practices/
docker