Kubeadm安装kubernetes

现在使用kubeadm安装kubernetes已经非常方便，极大的提高了部署效率，以下为测试验证过程。

软件版本：

组件名	版本	说明
kubernetes	v1.13.3	使用版本为v1.13.2
docker	17.03.2-ce
etcd	3.2.24
calico	v3.1.3
coredns	1.2.6
dashboard	v1.10.0
haepster	v1.4.2
influxdb	v1.3.3

以三个主机为例，详细角色信息如下：

主机名	角色	IP	OS	基础组件(yum安装)	角色组件(master创建)
k8s-node1	master	192.168.100.101	CentOS7.3_x64	kubeadm,kubelet,kubectl,docker	calico,proxy,etcd,coredns,apiserver,controller-manager,scheduler,dashboard,heapster,influxdb
k8s-node2	worker	192.168.100.102	CentOS7.3_x64	kubeadm,kubelet,kubectl,docker	calico,proxy
k8s-node3	worker	192.168.100.103	CentOS7.3_x64	kubeadm,kubelet,kubectl,docker	calico,proxy
k8s-node4	worker	192.168.100.104	CentOS7.3_x64	kubeadm,kubelet,kubectl,docker	calico,proxy

§一、各节点初始化

§1. 关闭防火墙

1
2
3

systemctl stop firewalld.service
systemctl disable firewalld.service
systemctl stop iptables

注：若要开启防火墙，在放行kubernetes集群及服务所有端口以外，还需要配置防火墙的FORWARD链接默认ACCEPT

§2. 永久关闭SELinux

1
2
3

setenforce 0     # 不重启的情况下
vim /etc/selinux/config
SELINUX=disabled

§3. 同步集群系统时间

1 2	yum -y install ntp ntpdate ntp4.aliyun.com

§4. 设置内核参数及加载ipvs模块

因安装网络插件，需要系统开启以下参数

vim /etc/sysctl.conf

net.ipv4.ip_forward=1
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.netfilter.nf_conntrack_max=1048576

sysctl -- system

若要启用ipvsadm，必须要加载以下内核模块

modprobe br_netfilter
modprobe ip_vs
modprobe ip_vs_rr
modprobe ip_vs_wrr
modprobe ip_vs_sh
modprobe nf_conntrack_ipv4

vim /etc/security/limits.conf

* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536
* soft memlock unlimited
* hard memlock unlimited

§5. 禁用swap

注释掉/etc/fstab里的swap行，并关闭swap：

1	swapoff -a

§6. 重启机器

reboot

§二、各节点基础软件安装与配置

因为GFW的存在，部分软件我们配置阿里云的安装源

§1. 安装docker

安装见官方文档

安装依赖包

yum install -y epel-release
yum  update -y
yum install -y yum-utils device-mapper-persistent-data lvm2 net-tools conntrack-tools wget ntpdate libseccomp libtool-ltdl
yum -y install docker-ce-17.03.2.ce

我们需要配置docker的默认目录和国内镜像源

1	vim /etc/docker/daemon.json

上面文件和目录，没有可以手动创建，配置如下：

{
  "insecure-registries":["192.168.100.100"],
  "registry-mirrors": ["192.168.100.100"],
  "live-restore": true,
  "log-opts":{"max-size" :"100m","max-file":"10"}
}

其中：192.168.100.100是指本地搭建好的harbor仓库，且kubernetes镜像已经在仓库内准备就绪

重新启动docker服务

1 2	systemctl enable docker systemctl restart docker

§2. 安装kubeadm,kubelet,kubectl

添加阿里云的kubernetes安装源

vim /etc/yum.repos.d/kubernetes.repo

[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

安装

1 2	yum -y install kubeadm kubelet kubectl ipvsadm systemctl enable kubelet

§三、master节点安装配置

§1. 获取被墙的google镜像

kubeadm初始化会从google镜像站点gcr.io拉取需要的镜像,为了获取被GFW墙掉的镜像，可以翻墙拉取到本地，改成相同的镜像名；或将各yaml文件中的gcr.io替换为国内（如阿里云）或本地（如harbor）镜像源地址，或docker使用代理方式获取，方法如下

在/usr/lib/systemd/system/docker.service配置中[Service]添加如下列

http代理方式

1	Environment="ALL_PROXY=http://IP:PORT"

sockt代理方式

1	Environment="ALL_PROXY=socks5://IP:PORT"

重新加载并重启docker

1 2	systemctl daemon-reload systemctl restart docker

此次实验我们已经创建好harbor本地镜像仓库

§2. 初始化master节点

1	kubeadm init --apiserver-advertise-address=192.168.100.101 --image-repository=192.168.100.100/k8s --pod-network-cidr=10.42.0.0/16 --service-cidr=10.43.0.0/16 --kubernetes-version=v1.13.2

参数详解：

–apiserver-advertise-address apiserver监听地址
–image-repository 指定默认镜像仓库地址（默认是gcr.io）,测试镜像均位于192.168.100.100/k8s树下
–pod-network-cidr pod网络的网段，请注意不要和k8s默认网段以及主机所有网段有冲突
–service-cidr service网络的网段
–kubernetes-version 指定kubernetes版本

请注意命令执行完后最下面的输出内容

Your Kubernetes master has initialized successfully!
To start using your cluster, you need to run (as a regular user):
  mkdir -p HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf HOME/.kube/config
  sudo chown $(id -u):$(id -g) HOME/.kube/config
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
 http://kubernetes.io/docs/admin/addons/
You can now join any number of machines by running the following on each node
as root:
  kubeadm join 192.168.100.101:6443 --token 5hagg1.8p1xtxtukam988lz --discovery-token-ca-cert-hash sha256:863923187d6a51bba146cfc9cbe2111b9223c11da10ca9e33e243b5f60dabb25

请记住kubeadmm join这一行，这即为node加入的完整命令

若忘记join token，可通过以下命令获取

1	kubeadm token create --print-join-command

集群启动后要获取集群的使用权限，上面提示了master节点需要配置环境变量（普通用户），若使用root用户连接和管理，我们需要在root家目录的.bash_profile文件中添加以下环境变量并使其生效：

1
2
3

export KUBECONFIG=/etc/kubernetes/admin.conf
cp -i /etc/kubernetes/admin.conf ~/.kube/config
chown $(id -u):$(id -g) HOME/.kube/config

可选：kubeadm init默认初始化生成单节点的etcd服务，为避免单点故障，可手动创建3节点的etcd集群；kubeadm init连接外部etcd集群的方式是使用–config参数外挂配置文件kubeadm-config.yaml，以下为示例：

---
apiVersion: kubeadm.k8s.io/v1alpha1
kind: MasterConfiguration
kubernetesVersion: v1.11.1
apiServerCertSANs:
- 192.168.10.14
networking:
  serviceSubnet: 10.96.0.0/12
  podSubnet: 10.128.0.0/16
api:
  advertiseAddress: 192.168.10.14
etcd:
  endpoints:
  - https://192.168.10.14:2379
  - https://192.168.10.15:2379
  - https://192.168.10.16:2379
  caFile: www.chaoyueyule.com /etc/etcd/ssl/etcd-ca.pem
  certFile: www.feifanyule.cn /etc/etcd/ssl/etcd.pem
  keyFile: www.thd178.com /etc/etcd/ssl/etcd-key.pem

§3. 安装CNI网络插件

网络插件Calico用于管理k8s集群规划的pod网络，保证分配到每个Node上的容器的IP唯一和连通性,kubernetes可供选择的网络插件有很多，
如Calico,Canal,flannel,Kube-router,Romana,Weave Net,详见官方文档

yaml文件地址：

1
2

https://docs.projectcalico.org/v3.3/getting-started/kubernetes/installation/hosted/rbac-kdd.yaml
https://docs.projectcalico.org/v3.3/getting-started/kubernetes/installation/hosted/kubernetes-datastore/calico-networking/1.7/calico.yaml

需要修改image参数为本地Harbor镜像源

calico_rbac.yml
calico.yml

记得修改网络地址为自己定义好的地址

1	"Network": "10.42.0.0/16",

1
2
3

cd /tmp
kubectl create -f calico_rbac.yml
kubectl create -f calico.yml

可以通过以下命令查看状态

1 2	kubectl -n kube-system get pods kubectl -n kube-system get rs

§三、添加node节点

只需要在node节点上执行上面master节点初始化后的join命令即可加入到k8s集群

1	kubeadm join 192.168.100.101:6443 --token 5hagg1.8p1xtxtukam988lz --discovery-token-ca-cert-hash sha256:863923187d6a51bba146cfc9cbe2111b9223c11da10ca9e33e243b5f60dabb25

注：添加master节点只需在上述命令后追加--experimental-control-plane参数即可

若添加成功，在master节点可以通过以下命令查看

[root@k8s-node1 tmp]# kubectl get nodes
NAME        STATUS   ROLES    AGE    VERSION
k8s-node1   Ready    master   7d2h   v1.13.3
k8s-node2   Ready    <none>   7d2h   v1.13.3
k8s-node3   Ready    <none>   7d2h   v1.13.3
k8s-node4   Ready    <none>   4d5h   v1.13.3

到此，集群创建完毕

§四、添加heapster监控插件

在master节点操作

参考：下载yaml文件到heapster目录，yaml文件地址：

1
2
3

https://github.com/kubernetes/heapster/blob/master/deploy/kube-config/influxdb/influxdb.yaml
https://github.com/kubernetes/heapster/blob/master/deploy/kube-config/influxdb/heapster.yaml
https://github.com/kubernetes/heapster/blob/master/deploy/kube-config/rbac/heapster-rbac.yaml

同样需要修改image参数为本地Harbor镜像源

k8s_heapster.yaml

启动

1 2	cd /tmp kubectl create -f k8s_heapster.yaml

默认的，kubernetes的master节点不会参与任务调度，可通过kubectl describe node node_name来查看

[root@k8s-node1 manifests]# kubectl describe k8s-node1
...
Taints:             node-role.kubernetes.io/master:NoSchedule
...

通过以下配置来取消些限制

1	kubectl taint nodes --all node-role.kubernetes.io/master-

成功后稍等一段时间，即可用kubectl top nodes/pods命令了

[root@k8s-node1 manifests]# kubectl top nodes
NAME      CPU(cores)   CPU%      MEMORY(bytes)   MEMORY%
k8s-node1    181m         9%        1235Mi          71%
k8s-node2    45m          2%        617Mi           35%
k8s-node3    51m          2%        635Mi           36%

§五、创建ingress反向代理及内部负载均衡器插件

记得修改image的本地仓库源，ingress对应yaml文件请至官方下载

k8s_ingress-nginx.yaml

创建ingress

1 2	cd /tmp kubectl create -f k8s_ingress-nginx.yaml

注：ingress插件需要匹配到selector有"type=lb"才会运行

[root@k8s-node1 ~]# kubectl get ds --all-namespaces
NAMESPACE     NAME                       DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
kube-system   calico-node                4         4         4       4            4           <none>          8d
kube-system   kube-proxy                 4         4         4       4            4           <none>          8d
kube-system   nginx-ingress-controller   0         0         0       0            0           type=lb         8d

设置节点标签

1 2	[root@k8s-node1 ~]# kubectl label node k8s-node3 type=lb node/k8s-node3 labeled

且已定义了如下几个服务的访问端口(通过ingress节点才能访问到)

dashboard: 59090
prometheus-operated: 49090

§六、添加Dashboard(WebUI)

官方文档

在master节点操作

§1. 下载官方yaml文件

yaml文件地址：

1 2	cd /tmp wget https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/recommended/kubernetes-dashboard.yaml

§2. 同样需要修改image参数为本地Harbor镜像源

k8s_dashboard.yml

§3. 启动dashboard

启动dashboard

1 2	cd /tmp kubectl create -f k8s_dashboard.yaml

§4. 登陆dashboard

方式一：因ingress已配置好dashboard，所以只需要访问ingress节点的59090端口即可

http://k8s-node3:59090

Kubernetes支持多种验证方式

我们使用token方式来登陆，只需要在master节点去获取admin角色的token信息并用此token登入即可（token有效时间见上面kubernetes-dashboard.yaml配置）

获取登陆token

1	kubectl -n kube-system get secret $(kubectl -n kube-system get secret \|grep ^kubernetes-dashboard-token- \|awk '{print $1}') -o jsonpath={.data.token}\| base64 -d

使用token登陆即可

方式二：若未配置，也可通过kube proxy来代理，如下：

首先需要在master节点为api创建proxy

1	kubectl proxy --address='192.168.100.101' --port=9443 --accept-hosts='^$' --disable-filter=true

合登陆URL为：http://192.168.100.101:9443/api/v1/namespaces/kube-system/services/kubernetes-dashboard:/proxy/#!/login