1. 持续集成及Jenkins介绍
1.1. 软件开发生命周期
- 软件开发生命周期又叫做SDLC(Software Development Life Cycle),它是集合了计划、开发、测试和部署过程的集合。如下图所示 :
- 需求分析
这是生命周期的第一阶段,根据项目需求,团队执行一个可行性计划的分析。项目需求可能是公司内部或者客户提出的。这阶段主要是对信息的收集,也有可能是对现有项目的改善和重新做一个新的项目。还要分析项目的预算多长,可以从哪方面受益及布局,这也是项目创建的目标。
- 设计
第二阶段就是设计阶段,系统架构和满意状态(就是要做成什么样子,有什么功能),和创建一个项目计划。计划可以使用图表,布局设计或者文者的方式呈现。
- 实现
第三阶段就是实现阶段,项目经理创建和分配工作给开者,开发者根据任务和在设计阶段定义的目标进行开发代码。依据项目的大小和复杂程度,可以需要数月或更长时间才能完成。
- 测试
测试人员进行代码测试 ,包括功能测试、代码测试、压力测试等。
- 进化
最后进阶段就是对产品不断的进化改进和维护阶段,根据用户的使用情况,可能需要对某功能进行修 改,bug修复,功能增加等。
1.2. 软件开发瀑布模型
-
瀑布模型是最著名和最常使用的软件开发模型。瀑布模型就是一系列的软件开发过程。它是由制造业繁衍出来的。一个高度化的结构流程在一个方向上流动,有点像生产线一样。在瀑布模型创建之初,没有其它开发的模型,有很多东西全靠开发人员去猜测,去开发。这样的模型仅适用于那些简单的软件开发, 但是已经不适合现在的开发了。
-
下图对软件开发模型的一个阐述:
优势 | 劣势 |
---|---|
简单易用和理解 | 各个阶段的划分完全固定,阶段之间产生大量的文档,极大地增加了工作量。 |
当前一阶段完成后,您只需要去关注后续阶段。 | 由于开发模型是线性的,用户只有等到整个过程的末期才能见到开发成果,从而增加了开发风险。 |
为项目提供了按阶段划分的检查节点 | 瀑布模型的突出缺点是不适应用户需求的变化。 |
1.3. 软件的敏捷开发
1.3.1. 什么是敏捷开发?
- 敏捷开发(Agile Development) 的核心是迭代开发(Iterative Development) 与 增量开发(Incremental Development) 。
- 何为迭代开发?
对于大型软件项目,传统的开发方式是采用一个大周期(比如一年)进行开发,整个过程就是一次"大开发";迭代开发的方式则不一样,它将开发过程拆分成多个小周期,即一次"大开发"变成多次"小开发",每次小开发都是同样的流程,所以看上去就好像重复在做同样的步骤。
举例来说,SpaceX 公司想造一个大推力火箭,将人类送到火星。但是,它不是一开始就造大火箭,而是先造一个最简陋的小火箭 Falcon 1。结果,第一次发射就爆炸了,直到第四次发射,才成功进入轨道。然后,开发了中型火箭 Falcon 9,九年中发射了70次。最后,才开发 Falcon 重型火箭。如果SpaceX 不采用迭代开发,它可能直到现在还无法上天。
- 何为增量开发?
软件的每个版本,都会新增一个用户可以感知的完整功能。也就是说,按照新增功能来划分迭代。
举例来说,房产公司开发一个10栋楼的小区。如果采用增量开发的模式,该公司第一个迭代就是交付一号楼,第二个迭代交付二号楼…每个迭代都是完成一栋完整的楼。而不是第一个迭代挖好10栋楼的地基,第二个迭代建好每栋楼的骨架,第三个迭代架设屋顶…
1.3.2. 敏捷开发如何迭代?
- 虽然敏捷开发将软件开发分成多个迭代,但是也要求,每次迭代都是一个完整的软件开发周期,必须按照软件工程的方法论,进行正规的流程管理。
1.3.3. 敏捷开发有什么好处?
- 早期交付
敏捷开发的第一个好处,就是早期交付,从而大大降低成本。 还是以上一节的房产公司为例,如果按照传统的"瀑布开发模式",先挖10栋楼的地基、再盖骨架、然后架设屋顶,每个阶段都等到前一个阶段完成后开始,可能需要两年才能一次性交付10栋楼。也就是说,如果不考虑预售,该项目必须等到两年后才能回款。 敏捷开发是六个月后交付一号楼,后面每两个月交付一栋楼。因此,半年就能回款10%,后面每个月都会有现金流,资金压力就大大减轻了。
- 降低风险
敏捷开发的第二个好处是,及时了解市场需求,降低产品不适用的风险。 请想一想,哪一种情况损失比较小:10栋楼都造好以后,才发现卖不出去,还是造好第一栋楼,就发现卖不出去,从而改进或停建后面9栋楼?
1.4. 什么是持续集成
-
持续集成( Continuous integration , 简称 CI )指的是,频繁地(一天多次)将代码集成到主干。持续集成的目的,就是让产品可以快速迭代,同时还能保持高质量。它的核心措施是,代码集成到主干之前,必须通过自动化测试。只要有一个测试用例失败,就不能集成。
-
通过持续集成, 团队可以快速的从一个功能到另一个功能,简而言之,敏捷软件开发很大一部分都要归功于持续集成。
-
持续集成的流程
-
根据持续集成的设计,代码从提交到生产,整个过程有以下几步
- 提交:
流程的第一步,是开发者向代码仓库提交代码。所有后面的步骤都始于本地代码的一次提交(commit)。
- 测试(第一轮)
代码仓库对commit操作配置了钩子(hook),只要提交代码或者合并进主干,就会跑自动化测试。
- 构建
通过第一轮测试,代码就可以合并进主干,就算可以交付了。交付后,就先进行构建(build),再进入第二轮测试。所谓构建,指的是将源码转换为可以运行的实际代码,比如安装依赖,配置各种资源(样式表、JS脚本、图片)等等。
- 测试(第二轮)
构建完成,就要进行第二轮测试。如果第一轮已经涵盖了所有测试内容,第二轮可以省略,当然,这时构建步骤也要移到第一轮测试前面。
- 部署
过了第二轮测试,当前代码就是一个可以直接部署的版本(artifact)。将这个版本的所有文件打包(tar filename.tar * )存档,发到生产服务器。
- 回滚
一旦当前版本发生问题,就要回滚到上一个版本的构建结果。最简单的做法就是修改一下符号链接,指向上一个版本的目录。
1.5. 持续集成的组成要素
-
一个自动构建过程, 从检出代码、 编译构建、 运行测试、 结果记录、测试统计等都是自动完成的, 无需人工干预。
-
一个代码存储库,即需要版本控制软件来保障代码的可维护性,同时作为构建过程的素材库,一般使用SVN或Git。
-
一个持续集成服务器, Jenkins 就是一个配置简单和使用方便的持续集成服务器。
1.6. 持续集成的好处
- 降低风险,由于持续集成不断去构建,编译和测试,可以很早期发现问题,所以修复的代价就少;
- 对系统健康持续检查,减少发布风险带来的问题;
- 减少重复性工作;
- 持续部署,提供可部署单元包;
- 持续交付可供使用的版本;
- 增强团队信心;
1.7. Jenkins介绍
-
Jenkins 是一款流行的开源持续集成(Continuous Integration)工具,广泛用于项目开发,具有自动化构建、测试和部署等功能。官网:http://jenkins-ci.org/。
-
Jenkins的特征:
-
开源的Java语言开发持续集成工具,支持持续集成,持续部署。
-
易于安装部署配置:可通过yum安装,或下载war包以及通过docker容器等快速实现安装部署,可方便web界面配置管理。
-
消息通知及测试报告:集成RSS/E-mail通过RSS发布构建结果或当构建完成时通过e-mail通知,生成JUnit/TestNG测试报告。
-
分布式构建:支持Jenkins能够让多台计算机一起构建/测试。
-
文件识别:Jenkins能够跟踪哪次构建生成哪些jar,哪次构建使用哪个版本的jar等。
-
丰富的插件支持:支持扩展插件,你可以开发适合自己团队使用的工具,如git,svn,maven,docker等
-
2. Jenkins安装
2.1. 持续集成流程说明
- 首先,开发人员每天进行代码提交,提交到Git仓库
- 然后,Jenkins作为持续集成工具,使用Git工具到Git仓库拉取代码到集成服务器,再配合JDK,Maven等软件完成代码编译,代码测试与审查,测试,打包等工作,在这个过程中每一步出错,都重新再执行一次整个流程。
- 最后,Jenkins把生成的jar或war包分发到测试服务器或者生产服务器,测试人员或用户就可以访问应用。
2.2. jenkins安装部署
- jenkins软件基于centos8系统,java-11-openjdk
#配置yum仓库
wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo
rpm --import https://pkg.jenkins.io/redhat-stable/jenkins.io-2023.key
#安装jenkins和java
yum -y install fontconfig java-11-openjdk java-11-openjdk-devel jenkins
#启动Jenkins
systemctl start jenkins
2.3. 打开浏览器访问:
192.168.2.100:8080
- 注意:本服务器把防火墙关闭了,如果开启防火墙,需要在防火墙添加端口
- 获取并输入admin账户密码
cat /var/lib/jenkins/secrets/initialAdminPassword
- 安装推荐的插件
- 添加一个管理员账户,并进入Jenkins后台
2.4. 持续集成环境-Jenkins插件管理
- Jenkins本身不提供很多功能,我们可以通过使用插件来满足我们的使用。例如从Gitlab拉取代码,使用Maven构建项目等功能需要依靠插件完成。接下来演示如何下载插件。
- Jenkins国外官方插件地址下载速度非常慢,所以可以修改为国内插件地址:
- Jenkins->Manage Jenkins->Plugins,点击Available plugins
- 这样做是为了把Jenkins官方的插件列表下载到本地,接着修改地址文件,替换为国内插件地址
cd /var/lib/jenkins/updates
sed -i 's/https:\/\/updates.jenkins.io\/download/https:\/\/mirrors.tuna.tsinghua.edu.cn\/jenkins/g' default.json && sed -i 's/https:\/\/www.google.com/https:\/\/www.baidu.com/g' default.json
- 最后,Jenkins->Manage Jenkins->Plugins->Advanced settings,把Update Site改为国内插件下载地址。
https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json
- Sumbit后,在浏览器输入: http://192.168.2.100:8888/restart ,重启Jenkins。
2.4.1. 下载中文汉化插件
- Jenkins->Manage Jenkins->Plugins,点击Available plugins
- 重启Jenkins后,就看到Jenkins汉化了!(PS:但可能部分菜单汉化会失败)
2.5. 持续集成环境-Jenkins用户权限管理
- 我们可以利用Role-based Authorization Strategy 插件来管理Jenkins用户权限
- 安装Role-based Authorization Strategy插件
- 开启权限全局安全配置
- 授权策略切换为"Role-Based Strategy",保存
2.5.1. 创建角色
-
在系统管理页面进入 Manage and Assign Roles
-
点击"Manage Roles"
-
Global roles(全局角色):管理员等高级用户可以创建基于全局的角色
-
item roles(项目角色):针对某个或者某些项目的角色
-
Agent roles (代理角色):节点相关的权限
-
我们添加以下三个角色:
- baseRole:该角色为全局角色。这个角色需要绑定Overall下面的Read权限,是为了给所有用户绑定最基本的Jenkins访问权限。注意:如果不给后续用户绑定这个角色,会报错误:用户名 ismissing the Overall/Read permission
- role1:该角色为项目角色。使用正则表达式绑定"test.*",意思是只能操作test开头的项目。
- role2:该角色也为项目角色。绑定"iot.*",意思是只能操作iot开头的项目。
- 保存
2.5.2. 创建用户
- 在系统管理页面进入 Users
- 分别创建两个用户:xiaow和xiaob
2.5.3. 给用户分配角色
- 系统管理页面进入Manage and Assign Roles,点击Assign Roles
- 绑定规则如下:
- xiaow用户分别绑定baseRole和role1角色
- xiaob用户分别绑定baseRole和role2角色
- 记得保存
2.5.4. 创建项目测试权限
- 以管理员账户创建两个项目:分别为test01、iot01
- 结果为:
- xiaow用户登录,只能看到test01项目
- xiaob用户登录,只能看到iot01项目
2.6. 持续集成环境-Jenkins凭证管理
- 凭据可以用来存储需要密文保护的数据库密码、Gitlab密码信息、Docker私有仓库密码等,以便Jenkins可以和这些第三方的应用进行交互。
2.6.1. 安装Credentials Binding插件
- 要在Jenkins使用凭证管理功能,需要安装Credentials Binding插件
2.7. 安装Git插件和Git工具
- 为了让Jenkins支持从Gitlab拉取源码,需要安装Git插件以及在CentOS8上安装Git工具。
2.7.1. 安装git插件
2.7.2. CentOS8上安装Git工具:
#检查系统是否安装git
rpm -q git
git-2.27.0-1.el8.x86_64
#如果没有安装,操作如下:
yum -y install git
2.8. 持续集成环境-Maven安装和配置
2.8.1. 安装maven插件
2.8.2. 安装Maven
#安装maven
cd /usr/local
wget https://dlcdn.apache.org/maven/maven-3/3.9.5/binaries/apache-maven-3.9.5-bin.tar.gz
tar -xf apache-maven-3.9.5-bin.tar.gz
mv apache-maven-3.9.5 maven# 配置环境变量
vim /etc/profile
#添加以下内容
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk
export MAVEN_HOME=/usr/local/maven
export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bisource /etc/profile 配置生效
mvn -v 查找Maven版本
2.8.3. 全局工具配置关联JDK和Maven
- Jenkins->Manage Jenkins->Tools->JDK安装->新增JDK,配置如下:
- Jenkins->Manage Jenkins->Tools->Maven安装->新增Maven,配置如下:
2.8.4. 修改Maven的settings.xml
- 添加阿里云私服地址:http://maven.aliyun.com/nexus/content/groups/public
#创建本地仓库目录
mkdir /usr/local/repo
#修改本地仓库为:/usr/local/repo
vim /usr/local/maven/conf/settings.xml
#修改如下:<localRepository>/usr/local/repo</localRepository><mirror><id>aliyun-maven</id><mirrorOf>central</mirrorOf><name>Aliyun Maven</name><url>http://maven.aliyun.com/nexus/content/groups/public</url></mirror>
3. jenkins配置maven+git自动构建jar包
jenkins->新建ltem->创建任务
4. 自动发布到测试服务并自动运行
4.1. 安装Publish Over SSH Version 插件
- "Publish Over SSH Version"插件是Jenkins中用于在构建过程中通过SSH协议将文件或目录上传到远程服务器的插件
- Jenkins->Manage Jenkins->Plugins
4.2. 配置测试服务器信息
- Jenkins->Manage Jenkins->System->Publish over SSH
4.3. 创建任务自动发布到测试服务并自动运行
- 这里就不展示测试服务器的执行结果了
5. 创建自动触发器自动构建任务
5.1. 构建触发器有以下几种:
- 快照依赖构建:Build whenever a SNAPSHOT dependency is built
- 当依赖的快照被构建时执行本job
- 触发远程构建: (例如,使用脚本)
- 远程调用本job的restapi时执行本job
- job依赖构建:Build after other projects are built
- 当依赖的job被构建时执行本job
- 定时构建:Build periodically
- 使用cron表达式定时构建本job
- 向GitHub提交代码时触发Jenkins自动构建:GitHub hook trigger for GITScm polling
- Github-WebHook出发时构建本job
- 定期检查代码变更:Poll SCM
- 使用cron表达式定时检查代码变更,变更后构建本job
5.2. 触发远程构建/gitlab上改动自动构建
- 代码改动自动可以使用gitlab的webhook回调钩子调起Jenkins的启动任务接口
5.2.1. 安装插件Build Authorization Token Root
- jnekins–>Manage Jenkins–>Plugins–>Available plugins
5.2.2. 在test02任务中修改创建触发远程构建
-
记得保存
-
前往gitlab配置Webhooks,这里我使用的是云效git,可能有些出入需要在百度查找如何修改。
-
这里不演示了
5.3. 构建触发器-定时构建
5.3.1. Jenkins cron表达式
- 标准cron:https://crontab.guru
- Jenkins cron不是标准的cron表达式
#第一个 * 表示每个小时的第几分钟,取值0~59H * * * * #每小时执行一次第二颗 * 表示小时,取值0~23* 15 * * * #表示每天下午3点
* 1 * * * #表示每天凌晨1点#第三颗 * 表示一个月的第几天,取值1~31
* 1 5 * * #表示每月5日凌晨1点#第四颗 * 表示第几月,取值1~12
* 15 5 1 * #表示每年几月执行#第五颗 * 表示一周中的第几天,取值0~7,其中0和7代表的都是周日/表示每隔多长时间,比如 */10 * * * * 表示 每隔10分钟Hhash散列值,以job名取值,获取到以job名为入参的唯一值,相同名称值也相同,这个偏移量会和实际时间相加,获得一个真实的运行时间意义在于:不同的项目在不同的时间运行,即使配置的值是一样的,比如 都是`15 * * * * ` ,表示每个小时的第15分钟开始执行任务,那么会造成同一时间内在Jenkins中启动很多job,
换成`H/15 * * * *`,那么在首次启动任务时,会有随机值参与进来,有的会在17分钟启动 有的会在19分钟启动,随后的启动时间也是这个值。这样就能错开相同cron值的任务执行了。H的值也可以设置范围`H * * * *`表示一小时内的任意时间`*/10 * * * *`每10分钟`H/10 * * * *`每10分钟,可能是7,17,27,起始时间hash,步长不变`45 3 * * 1-6 ` 每个周一至周六,凌晨3点45 执行1次`45 3-5 * * 1-6 ` 每个周一至周六,凌晨3点45 ,凌晨4点45,凌晨5点45 各执行1次`H(40-48) 3-5 * * 1-6 ` 在40~48之间取值 其他同上`45 3-5/2 * * 1-6 ` 每个周一至周六,凌晨3点45 ,凌晨5点45 各执行1次` 45 0-6/2 * * 1-6 * * 1-6 ` 0点开始,每间隔2小时执行一次 0:45、2:45、4:45
5.3.2. 在test02任务中修改构建触发定时构建
- 记得保存