如何减少40%的Docker构建时间

image-20231125162423778

随着Docker的普及,许多公司的产品会将组件构建为Docker镜像。但随着时间的推移,一些镜像变得越来越大,对应的CI构建也变得越来越慢。

如果能在喝完一杯咖啡的时间(不超过5分钟)内完成构建,将是一个理想状态。否则,则会减慢开发人员的生产力。

本篇文章带大家通过两个小的改变,来提升Docker的构建时间。

Docker最佳实践

在讲解改变之前,首先要确保遵循了编写Dockerfile的最佳实践:

  • 容器应该是短暂的;
  • 镜像层数尽可能少;
  • 使用多阶段构建;
  • 使用最小的基础镜像;
  • 避免安装不必要的包;
  • 一个容器只运行一个进程;
  • 将多行参数排序;
  • 构建缓存;

Buildkit

Buildkit是改进后的后端,用于替代传统的Docker构建器。自2018年起,它已经与Docker捆绑在一起,并成为Docker引擎23.0版本的默认构建器。

它提供了一些特殊的功能:

  • 改进的缓存能力;
  • 并行构建不同的层;
  • 延迟拉取基础镜像(≥Buildkit 0.9);

使用Buildkit时,会发现docker build命令的输出看起来更清晰、更结构化。

在Docker版本低于23.0时,使用Buildkit的一种典型方法是设置Buildkit参数如下:

DOCKER_BUILDKIT=1 docker build --platform linux/amd64 . -t someImage:someVersion
DOCKER_BUILDKIT=1 docker push someImage:someVersion

Buildx

Buildx是Docker的一个插件,能够充分利用Docker中的Buildkit的潜力。它的创建是因为Buildkit支持许多新的配置选项,不能全部以向后兼容的方式集成到docker build命令中。

除了构建镜像之外,Buildx还支持管理多个构建器。这在CI中非常有用,可以定义具有不同配置的作用域环境,因为它们不会修改共享的Docker守护程序。

可以按照以下方式开始使用Buildx:

docker buildx create --bootstrap --name builder
docker buildx use builder

远程缓存

加快构建速度的第一种方法是将镜像缓存在远程注册表中。这样,即使构建在不同的机器上执行(通常在CI中会这样),也可以从构建缓存中受益。

作为一种解决方法,许多人在构建新的镜像版本之前拉取了最新版本的镜像。好处是可以以拉取完整镜像的代价来缓存未更改的层。拉取完整镜像可能需要一些时间,但也不能保证层可以被重用。

为了说明这一点,可以使用以下命令:

docker pull someImage:latest || true
docker build --platform linux/amd64 . \
-t someImage:someVersion \
-f Dockerfile \
--cache-from someImage:latest

使用Buildx,可以将缓存信息存储在远程位置(例如容器注册表、Blob存储等)中。构建器将检查给定的层是否已经存在,如果存在,则会重新使用它,而不是再次创建它。

甚至可以在不将层拉取到本地的情况下完成此操作。为了能够从此机制中受益,我们对先前的命令进行了改进:

docker buildx build --platform linux/amd64 . \
-t someImage:someVersion --push \
--cache-to type=registry,ref=someCachedImage:someVersion,mode=max
--cache-from type=registry,ref=someCachedImage:someVersion

模式“max”表示为每个层存储构建信息,甚至包括在生成的镜像中未使用的层(例如在使用多阶段构建时)。默认情况下使用“min”模式,它仅存储关于最终镜像中存在的层的构建信息。

缓存的一个特殊情况是将缓存数据“内联”存储,这意味着它将与镜像一起被缓存。即使在不使用Buildx的情况下使用Buildkit时,该选项也是支持的。它是最容易使用的方法,但在使用多阶段构建时更加棘手,并且它不能清晰地区分输出的工件和缓存。

将缓存数据“内联”存储的命令如下所示:

docker buildx build --platform linux/amd64 . \
-t someImage:someVersion --push \
--cache-to type=inline,mode=max \
--cache-from someImage:somePreviousVersion

添加文件到Docker镜像的新方法

Docker引入了一种新版本的语法来编写Dockerfile,即:#syntax=docker/dockerfile:1.4。它为COPY和ADD命令提供了额外的链接选项。

以前,当使用COPY或ADD命令时,构建器会创建一个新的快照,将新文件与已存在的文件系统合并。结果是,在执行此操作之前,所有父层都需要存在,否则目标目录可能尚不存在。

最终,镜像(构建命令的结果)将由每个层的tarball组成,其中包含各个快照之间的差异。

FROM baseImage:version
COPY binary /opt/

使用链接选项时,新文件将放置在它们自己的快照中,而不依赖于先前的层。链接的文件存储在它们自己的tarball中,并且不依赖于现有的文件系统,如下图所示。

image-20231125162904846

# syntax=docker/dockerfile:1.4
FROM baseImage:version
COPY [--chown=<user>:<group>] [--chmod=<perms>] --link binary /opt/

主要优势是文件不再依赖于先前的层。只要文件没有更改,层就可以被重复使用,即使父层发生了变化。

此外,这也可以提高构建速度,因为现在可以并行执行多个层的数据复制。

小论

本文介绍了两种小的改变,可以让整个Docker构建时间大幅缩减的方法,希望在实践的过程中对大家有所帮助。这两个小改变分别是:

  • 将构建缓存信息存储在远程位置;
  • 在将文件添加、复制到docker镜像时使用链接选项;

当然,在使用Docker时,关于Dockerfile编写的最佳实践,大家也要留意一下。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/221805.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

京东平台上API接口的接入|获取京东工业商品详情数据

京东获得JD商品详情 API 返回值说明 item_get-获得JD商品详情 onebound.jd.item_get 公共参数 请求地址:申请KEY调用测试 名称类型必须描述keyString是调用key&#xff08;必须以GET方式拼接在URL中&#xff09;secretString是调用密钥api_nameString是API接口名称&#x…

ESXi vSAN 整合多主机磁盘

VSAN 与 RAID区别&#xff1a; vSAN 可以管理 ESXi 主机&#xff0c;且只能与 ESXi 主机配合使用。一个 vSAN 实例仅支持一个群集。vSAN 不需要外部网络存储来远程存储虚拟机文件&#xff0c;例如光纤通道 (FC) 或存储区域网络 (SAN) 使用传统存储&#xff0c;存储管理员可以…

MIT_线性代数笔记:第 07 讲 求解 Ax=0:主变量,特解

目录 前言计算零空间 Nullspace特解 Special solutions行最简阶梯矩阵 Reduced row echelon form &#xff08;rref&#xff09; 前言 我们定义了矩阵的列空间和零空间&#xff0c;那么如何求得这些子空间呢&#xff1f;本节课的内容即从定义转到算法。 计算零空间 Nullspace…

华北高温背后的隐忧,双碳最大的障碍之一藏在这里

高温天气带来的庞大用电负荷&#xff0c;再一次让人们想到能源紧张问题和节能减碳的必要性。 然而&#xff0c;在日常企业经营中&#xff0c;由于员工缺乏对公共财产的成本意识&#xff0c;往往造成电力资源的巨大浪费。节能减碳&#xff0c;必须与精细化管理相结合&#xff0c…

hive杂谈

数据仓库是一个面向主题的、集成的、非易失的、随时间变化的&#xff0c;用来支持管理人员决策的数据集合&#xff0c;数据仓库中包含了粒度化的企业数据。 数据仓库的主要特征是&#xff1a;主题性、集成性、非易失性、时变性。 数据仓库的体系结构通常包含4个层次&#xff…

SSM图书捐赠网站系统开发mysql数据库web结构java编程计算机网页源码eclipse项目

一、源码特点 SSM 图书捐赠网站系统是一套完善的信息系统&#xff0c;结合springMVC框架完成本系统&#xff0c;对理解JSP java编程开发语言有帮助系统采用SSM框架&#xff08;MVC模式开发&#xff09;&#xff0c;系统具有完整的源代码和数据库 &#xff0c;系统主要采用B/…

邮政快递查询单号查询入口,分析筛选出其中的提前签收件

批量查询邮政快递单号的物流信息&#xff0c;并将其中的提前签收件分析筛选出来。 所需工具&#xff1a; 一个【快递批量查询高手】软件 邮政快递单号若干 操作步骤&#xff1a; 步骤1&#xff1a;运行【快递批量查询高手】软件&#xff0c;第一次使用的朋友记得先注册&…

JVS-rules规则引擎导出与导入,确保业务连续性的关键

在复杂的系统环境中&#xff0c;规则和配置的迁移、备份及共享成为了确保业务连续性和一致性的关键过程。不同的环境可能需要相同的规则和配置数据&#xff0c;或者我们可能需要备份这些数据以防万一。JVS规则引擎提供了规则的导出与导入功能&#xff0c;使用户能够在多个环境间…

8 个适用于电脑的顶级免费分区恢复软件

Windows PC 上的数据管理有时可能会带来压力&#xff0c;尤其是当您有多个分区时。大多数时候&#xff0c;磁盘管理工具使分析磁盘、释放空间甚至创建分区变得非常容易。但有时会发生不可预见的事件&#xff0c;可能导致分区丢失&#xff0c;从而造成潜在的数据灾难。嗯&#x…

销售心理学 如何了解客户的购买心理激发客户购买兴趣

销售心理学 如何了解客户的购买心理激发客户购买兴趣 在销售的世界里&#xff0c;掌握客户的购买心理&#xff0c;如同一把神奇的钥匙&#xff0c;能够解锁客户内心的需求和兴趣。如何巧妙地运用销售心理学&#xff0c;激发客户的购买欲望呢&#xff1f;以下是一些建议&#x…

基于Python的面向对象分类实例Ⅱ

接上一部分继续介绍~ 一、地类矢量转栅格 这一步是为了能让地类值和影像的对象落在同一区域&#xff0c;从而将影像中的分割对象同化为实际地物类别。 train_fn r".\train_data1.shp" train_ds ogr.Open(train_fn) lyr train_ds.GetLayer() driver gdal.GetDrive…

TikTok行业趋势分析:未来最有潜力的创作方向

引言 TikTok作为全球最受欢迎的短视频平台之一&#xff0c;一直处于创意和潮流的前沿。随着用户基数的不断增加和功能的不断升级&#xff0c;TikTok行业的创作方向也在不断演变。本文将对TikTok行业趋势进行深入分析&#xff0c;探讨未来最有潜力的创作方向&#xff0c;为创作者…