文章目录
- 整体概述
- 一、准备工作
- 1.linux等软件安装
- 2.环境准备
- 二、安装docker-ce 18.09.9(所有机器)
- 三、设置k8s环境准备条件(所有机器)
- 四、安装k8s v1.16.0 master管理节点
- 五、安装k8s v1.16.0 node工作节点
- 六、安装flannel(安装flannel遇到很多问题)
- 七、k8s安装Dashboard(主节点安装)
- 八、命令汇总
- 九、其他
整体概述
提示:安装之前参考很多好文章,写此文章作为永久免费开放,同时增加自己安装k8s记忆和理解
节点信息:
节点名称 | 节点IP |
---|---|
master | 192.168.30.100 |
slave1 | 192.168.30.101 |
slave2 | 192.168.30.102 |
其他软件信息
软件名 | 版本信息 | 说明 |
---|---|---|
VMware Workstation | 17 Pro | 虚拟化软件(在win11平台安装) |
Windterm | 2.6.0 | linux连接工具(类似于xshell,但比它更强大,不用设置字体色彩更丰富) |
linux | centos7 | 必须是centos7或以上版本,否则低centos版本k8s不支持 |
k8s | v1.16.0 | 容器(如docker)编排框架。主要用于管理Docker容器 |
docker | 18.09.9 | 容器 |
flannel | Flannel是一个重要的网络插件。它的主要作用是为集群中的每个节点提供覆盖网络,从而实现跨主机Pod之间的相互通信 | |
dashboard | v2.0.3 | k8s web图表展示 |
win11 | win11 | win11虚拟化liunx安装k8s |
一、准备工作
1.linux等软件安装
安装Vmare,安装Wndterm,安装CentOS7(版本),这里不再介绍(安装centOS很简单)。
具体安装centOS请看我的另一篇文章(包含centos快速免费下载与安装):linux安装
2.环境准备
- linux网络(静态IP)
- 3个节点(每个节点2核4G内存。一主两从)
- 3个节点网络配置
###以主机端为例。IP设置为192.168.30.100。其他节点改为:192.168.30.101,192.168.30.102
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
[root@localhost ~]# service network restart
[root@localhost ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=25fb49af-232e-47cf-a854-7309219ba1bd
DEVICE=ens33
ONBOOT=yesIPADDR=192.168.30.100
NETMASK=255.255.255.0
GATEWAY=192.168.30.2
DNS1=114.114.114.114
DNS2=223.5.5.5
- 3个节点设置主机名
修改主机名永久生效:
[root@localhost ~]#hostnamectl set-hostname master
[root@localhost ~]#hostnamectl set-hostname slave1
[root@localhost ~]#hostnamectl set-hostname slave2
- 网络验证:
[root@master ~]# ping www.baidu.com
- 3个节点配置无密码互信(其他节点也要操作.下面以master节点举例):
生成密钥对(后面都按回车)
[root@master ~]# ssh-keygen -t rsa
再将刚刚生成的密钥发送到其他两个节点
[root@master ~]# ssh-copy-id slave1
[root@master ~]# ssh-copy-id slave2
将自己的节点都添加一下(其他节点也添加)
[root@master ~]# vim /etc/hosts
验证互信(即3个节点互不需要密码使用主机名登录其他节点)
[root@master ~]# ssh slave1
二、安装docker-ce 18.09.9(所有机器)
- 所有安装k8s的机器都需要安装docker,命令如下:
# 安装docker所需的工具
yum install -y yum-utils device-mapper-persistent-data lvm2
# 配置阿里云的docker源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 指定安装这个版本的docker-ce
yum install -y docker-ce-18.09.9-3.el7
# 启动docker
systemctl enable docker && systemctl start docker
- 安装docker节点验证(随机节点查看,如果没有安装成功则会报错)
docker version
三、设置k8s环境准备条件(所有机器)
- 所有安装k8s的机器都需要这一步操作。
# 关闭防火墙
systemctl disable firewalld
systemctl stop firewalld# 关闭selinux
# 临时禁用selinux
setenforce 0
# 永久关闭 修改/etc/sysconfig/selinux文件设置
sed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinux
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config# 禁用交换分区
swapoff -a
# 永久禁用,打开/etc/fstab注释掉swap那一行。
sed -i 's/.*swap.*/#&/' /etc/fstab# 修改内核参数
cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system
四、安装k8s v1.16.0 master管理节点
如果还没安装docker,请参照本文步骤二安装docker-ce 18.09.9(所有机器)安装
。如果没设置k8s环境准备条件,请参照本文步骤三设置k8s环境准备条件(所有机器)执行
。以上步骤检查完毕之后,继续以下步骤。
- 1.安装kubeadm、kubelet、kubectl
由于官方k8s源在google,国内无法访问,这里使用阿里云yum源# 执行配置k8s阿里云源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF# 安装kubeadm、kubectl、kubelet
yum install -y kubectl-1.16.0-0 kubeadm-1.16.0-0 kubelet-1.16.0-0# 启动kubelet服务
systemctl enable kubelet && systemctl start kubelet
- 2.初始化k8s
以下这个命令开始安装k8s需要用到的docker镜像,因为无法访问到国外网站,所以这条命令使用的是国内的阿里云的源(http://registry.aliyuncs.com/google_containers)。另一个非常重要的是:这里的–apiserver-advertise-address使用的是master和node间能互相ping通的ip,我这里是192.168.30.100,刚开始在这里被坑了一个晚上,你请自己修改下ip执行。这条命令执行时会卡在[preflight] You can also perform this action in beforehand using ''kubeadm config images pull,大概需要2分钟,请耐心等待。
# 下载管理节点中用到的6个docker镜像,你可以使用docker images查看到 # 这里需要大概两分钟等待,会卡在[preflight] You can also perform this action in beforehand using ''kubeadm config images pull #直接执行下面命令(主节点) kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.16.0 --apiserver-advertise-address 192.168.99.104 --pod-network-cidr=10.244.0.0/16 --token-ttl 0
- 上面安装完后,会提示你输入如下命令,复制粘贴过来,执行即可。
# 上面安装完成后,k8s会提示你输入如下命令,执行
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
- 3.记住node加入集群的命令
上面kubeadm init执行成功后会返回给你node节点加入集群的命令,等会要在node节点上执行,需要保存下来,如果忘记了,可以使用如下命令获取。
[root@master ~]# kubeadm token create --print-join-command
以上,安装master节点完毕。可以使用kubectl get nodes
查看一下,此时master处于NotReady状态
,暂时不用管。
五、安装k8s v1.16.0 node工作节点
如果还没安装docker,请参照本文步骤二安装docker-ce
18.09.9(所有机器)安装。如果没设置k8s环境准备条件,请参照本文步骤三设置k8s环境准备条件(所有机器)执行。以上两个步骤检查完毕之后,继续以下步骤。
- 1.安装kubeadm、kubelet
# 执行配置k8s阿里云源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF# 安装kubeadm、kubectl、kubelet
yum install -y kubeadm-1.16.0-0 kubelet-1.16.0-0# 启动kubelet服务
systemctl enable kubelet && systemctl start kubelet
- 2.加入集群
这里加入集群的命令每个人都不一样,可以登录master节点,使用kubeadm token create --print-join-command
来获取。获取后执行如下。
# 获取主节点token信息
[root@master ~]# kubeadm token create --print-join-command
# 下面是根据上面的命令打印的信息
kubeadm join 192.168.30.100:6443
--token 76dfm9.39v5atxr8um8y6c4
--discovery-token-ca-cert-hash sha256:4b1546002405c4bc2bbd8b79256edd9c149b5d34e3d7aa0f230e3a5f0ab2f950
加入成功后,可以在master节点上使用kubectl get nodes
命令查看到加入的节点还是NotReady状态
。
六、安装flannel(安装flannel遇到很多问题)
以上步骤安装完后,但状态还是NotReady状态,如上图,master机器需要安装flannel。
- 1.下载fannel配置文件(主节点)
不建议从其他博客中粘贴,会有看到不的字符或格式问题(我这边遇到过,很麻烦),直接在下面下载简单快捷。
kube-flannel.yml免费下载地址(提取码:000a)网盘 - 2.安装fannel
将下载的kube-flannel.yml文件上传到主节点/root目录下
[root@master ~]# pwd
/root
[root@master ~]# ls
anaconda-ks.cfg dashboard-adminuser.yaml kube-flannel.yml
开始安装(主节点执行)
[root@master ~]#kubectl apply -f kube-flannel.yml
- 安装完成后。在主节点查看状态命令:
kubectl get node
发现节点一直处于NotReady状态
通过命令在该节点查看相关kubectl日志提示如下错误信息(片段):
主节点输入这个命令:[root@master ~]# journalctl -f -u kubelet
[failed to find plugin “flannel” in path [/opt/cni/bin]]
查看很多资料发现是:
/opt/cni/bin 缺少 flannel
- 解决方式:CNI Plugins免费下载地址(提取码:000b):下载地址
需要下载CNI插件:
CNI plugins v0.8.6github下载地址:
https://github.com/containernetworking/plugins/releases/tag/v0.8.6
(在1.0.0版本后CNI Plugins中没有flannel)
上传到主节点这个位置:
[root@master bin]# pwd /opt/cni/bin
开始解压软件
[root@master bin]# tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz
在主节点解压完成后再次查看节点状态:
[root@master bin]# kubectl get nodes
此时只有主节点的状态为ready.
- 其他从节点也是同样操作(相同目录)
在其他从节点也是上传此文件并解压(从节点也需要)。
cni-plugins-linux-amd64-v0.8.6.tgz
从节点解压完成后在主节点查看所有节点状态都是ready
[root@master bin]# kubectl get nodes
至此,k8s集群搭建完成,如上图节点都已为Ready状态,大功告成。
七、k8s安装Dashboard(主节点安装)
- 下载yaml文件手动修改service部分
wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.3/aio/deploy/recommended.yaml
- yaml文件会下载到当前路径下(我这边是下载到主节点的/root目录下)
# 修改yaml文件
[root@master ~]#vim recommended.yaml
# 修改Service部分
-----------------------------------------------
kind: Service
apiVersion: v1
metadata:labels:k8s-app: kubernetes-dashboardname: kubernetes-dashboardnamespace: kubernetes-dashboard
spec:type: NodePortports:- port: 443targetPort: 8443nodePort: 30443selector:k8s-app: kubernetes-dashboard----------------------------------------------
# 更新配置
[root@master ~]kubectl apply -f recommended.yaml
- 登录dashboard
# 浏览器访问dashboard:
# https://<any_node_ip>:30443
# 我这边主节点IP是192.168.30.100则我的访问地址就是:
https://192.168.30.100:30443/
Dashboard 支持 Kubeconfig 和 Token 两种认证方式,我们这里选择Token认证方式登录。
- 创建dashboard-adminuser.yaml:
[root@master ~]# cat > dashboard-adminuser.yaml << EOFapiVersion: v1kind: ServiceAccountmetadata:name: admin-usernamespace: kubernetes-dashboard---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata:name: admin-userroleRef:apiGroup: rbac.authorization.k8s.iokind: ClusterRolename: cluster-adminsubjects:- kind: ServiceAccountname: admin-usernamespace: kubernetes-dashboard
> EOF
- 创建登录用户
[root@master ~]# kubectl apply -f dashboard-adminuser.yaml
serviceaccount/admin-user created
clusterrolebinding.rbac.authorization.k8s.io/admin-user created
说明:上面创建了一个叫admin-user的服务账号,并放在kubernetes-dashboard 命名空间下,并将cluster-admin角色绑定到admin-user账户,这样admin-user账户就有了管理员的权限。默认情况下,kubeadm创建集群时已经创建了cluster-admin角色,我们直接绑定即可。
- 查看admin-user账户的token
[root@master ~]# kubectl -n kubernetes-dashboard describe secret $(kubectl -n kubernetes-dashboard get secret | grep admin-user | awk '{print $1}')
Name: default-token-2gnk8
Namespace: kubernetes-dashboard
Labels: <none>
Annotations: kubernetes.io/service-account.name: defaultkubernetes.io/service-account.uid: 7e66657e-49df-48cb-8be9-ae26e7c00ae7Type: kubernetes.io/service-account-tokenData
====
ca.crt: 1025 bytes
namespace: 20 bytes
token: eyJhbGciOiJSUzI1NiIsImtpZCI6Ino4aEQ1UFg5Ui1BOVIwZW9PT0dKRmROblZnbHcxMXlDcnVrZ0VkUklkRlUifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia5ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0Z
把获取到的Token复制到登录界面的Token输入框中
,登陆成功。
八、命令汇总
# 网络重启
[root@localhost ~]# service network restart# 启动docker(所有)
systemctl enable docker && systemctl start docker# 启动kubelet服务(master节点)
systemctl enable kubelet && systemctl start kubelet# 启动kubelet服务(从节点)
systemctl enable kubelet && systemctl start kubelet# pod是否正常运行
[root@master ~]# kubectl get pods -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-58cc8c89f4-4qhst 0/1 Running 50 14d
coredns-58cc8c89f4-58mj7 0/1 Running 50 14d
etcd-master 1/1 Running 2 14d
kube-apiserver-master 1/1 Running 2 14d
kube-controller-manager-master 1/1 Running 2 14d
kube-flannel-ds-amd64-dh4hm 1/1 Running 0 25h
kube-flannel-ds-amd64-kz5tm 1/1 Running 0 25h
kube-flannel-ds-amd64-w5c4t 1/1 Running 0 25h
kube-flannel-ds-ksqvs 1/1 Running 11 13d
kube-flannel-ds-rxcc7 1/1 Running 0 13d
kube-flannel-ds-vqf6g 1/1 Running 0 13d
kube-proxy-w7cc8 1/1 Running 2 14d
kube-proxy-x5jkf 1/1 Running 2 14d
kube-proxy-x8gsv 1/1 Running 2 14d
kube-scheduler-master 1/1 Running 2 14d# 服务的端口暴露情况
kubectl get svc -n kube-system# 这对于监控Kubernetes节点的状态、排查问题或了解kubelet的行为非常有帮助
journalctl -f -u kubelet # 查看k8s节点状态
kubectl get nodes验证docker 是否启动成功
[root@slave2 ~]# docker version
九、其他
- 安装k8s时遇到最多问题是安装fannel。每次安装完成后查看3个节点状态都是NotReady状态
- 安装时遇到很多问题,但对主要的问题我这边写了一个安装问题:k8s问题整理
- 安装k8s借鉴学习很多优秀文章,如下:
https://blog.csdn.net/wenyichuan/article/details/107934267
https://zhuanlan.zhihu.com/p/266068973
https://blog.csdn.net/zhazhagu/article/details/109560199
https://segmentfault.com/a/1190000037682150#item-6
https://blog.csdn.net/lvjie13450/article/details/109290732