1.3 二进制高可用安装K8S集群（1.13.x和1.14.x）_再也不踩坑的kubernetes实战指南-QQ阅读中文现言网

书名：再也不踩坑的kubernetes实战指南
作者名：杜宽
本章字数：2167字
更新时间：2021-03-30 18:12:39

1.3　二进制高可用安装K8S集群（1.13.x和1.14.x）

上一节讲解了使用Kubeadm安装高可用Kubernetes集群，虽然现在kubeadm是官方默认的安装方式，但是在生产环境中仍然不建议使用Kubeadm安装方式。在实际测试中，二进制安装方式比Kubeadm安装方式更加稳定可靠，并且集群的恢复能力比Kubeadm要高。不过在线下的测试环境，为了能够快速实现测试及部署可以使用Kubeadm安装方式，等到在生产环境中时仍然建议采用二进制安装方式。

本节介绍Kubernetes 1.13.x和1.14.x版本的高可用集群的安装，在二进制安装方式下，很多步骤需要自己手动完成，比如证书和配置文件的生成等，在二进制安装过程中，其他版本的安装过程基本一致，替换二进制文件的版本即可。

关于基本环境的配置请参考1.1.1节（yum仓库配置可省略），同样采用5台主机，3台Master和2台Node。

注意

与之前不同的是，本例的VIP为192.168.20.110

1.3.1　基本组件安装

关于内核升级，请参考1.1.2节。

和Kubeadm安装方式一致，同样需要提前安装集群中必需的组件。

所有节点安装Docker：

所有节点开启Docker并设置为开机自启动：

    systemctl enable --now docker

下载Kubernetes，本例安装的是13.1，其他版本请自行修改：

也可在GitHub上下载：

下载Etcd文件，如果安装的是1.14.x版，则可以选择安装Etcd的3.3.10版：

将各组件分发至其他节点：

所有Master节点安装HAProxy和KeepAlived，可参考1.1.4节

1.3.2　CNI安装

CNI（Container Network Interface，容器网络接口）是CNCF旗下的一个项目，由一组用于配置容器的网络接口的规范和库组成。CNI主要用于解决容器网络互联的配置并支持多种网络模式。CNI的安装步骤如下。

所有节点创建CNI目录：

    mkdir -p /opt/cni/bin

Master01下载CNI，如果安装的是1.14.x版本，可以安装CNI的0.7.5版本：

将CNI分发至其他节点：

1.3.3　生成证书

在Kubeadm安装方式下，初始化时会自动生成证书，但在二进制安装方式下，需要手动生成证书，可以使用OpenSSL或者cfssl。具体操作步骤如下：

Master01安装cfssl：

所有Master节点创建Etcd证书目录：

    mkdir /etc/etcd/ssl -p

Master01生成Etcd证书：

将证书复制到其他节点，当前Etcd集群部署在Master节点上，在大规模集群环境中建议部署在集群之外，并且使用SSD硬盘作为Etcd的存储：

生成Kubernetes CA：

生成API Server证书，10.96.0.1是Cluster IP的Kubernetes端点，用于集群里的Pod调用K8S的API Server，使用时注意不要和公司网络在同一个网段：

创建Front Proxy证书：

生成ControllerManager证书：

创建ControllerManager的kubeconfig文件，注意修改--server的地址：

生成Scheduler证书：

生成Scheduler的kubeconfig文件，注意修改--server的地址：

生成Admin Certificate：

生成Admin的kubeconfig文件，注意修改--server的地址：

生成所有Master节点的Kubelet凭证：

复制证书到其他节点：

生成所有Master节点的kubeconfig文件，注意修改--server的地址：

创建ServiceAccount Key：

复制到其他节点：

1.3.4　系统组件配置

在二进制安装方式下，Kubernetes的组件都是以守护进程的方式运行在宿主机上，相比于Kubeadm安装方式，虽然配置过程较复杂，但是程序运行较稳定，并且恢复能力较强。

首先配置高可用Etcd集群。在Master01节点上创建etcd-master01的配置文件，注意修改对应的IP地址和name（名字）：

etcd-master02配置文件：

etcd-master03配置文件：

所有Master节点配置etcd.service：

所有Master节点启动Etcd：

    mkdir /etc/kubernetes/pki/etcd
    ln -s /etc/etcd/ssl/* /etc/kubernetes/pki/etcd/
    systemctl daemon-reload
    systemctl enable --now etcd

查看状态：

本例高可用配置同样使用的是HAProxy和KeepAlived，具体参考1.1.4节。

之后配置Kubernetes集群中的Master组件。

在所有节点创建相关目录：

所有Master创建kube-apiserver文件，主要修改advertise-address和etcd-servers，如果在之前修改了ClusterIP的网段（默认10.96.0.0），此时也要修改service-cluster-ip-range的值：

注意

Initializers选项在kube-apiserver 1.14.x版本的--enable-admission-plugins已停用。

所有Master节点启动kube-apiserver：

    systemctl enable --now kube-apiserver

所有Master创建kube-controller-manager.service，注意修改cluster-cidr的值，此值为Pod IP的网段，不要和宿主机在同一个网段：

所有Master节点启动kube-controller-manager：

    systemctl daemon-reload
    systemctl enable --now kube-controller-manager

所有Master创建kube-scheduler：

所有Master启动scheduler：

    systemctl daemon-reload
    systemctl enable --now kube-scheduler

查看集群状态。注意如果修改了ClusterIP的范围，kubernetes的端点Service就会有所不同，此时采用的是默认的10.96.0.0网段：

此时未配置网络组件，可能会出现如下报错，可忽略：

1.3.5　TLS Bootstrapping配置

建立TLS Bootstrapping RBAC与Secret，用来解决手动对每台节点单独签署凭证的问题。

建立bootstrap-kubelet.conf的kubernetes config文件：

建立bootstrap secret，注意token-id与token-secret的值和上述命令set-credentials的--token对应：

创建bootstrap：

    [root@K8S-master01 1.2.1]# kubectl create -f bootstrap-rbac.yaml

1.3.6　Node节点的配置

Node节点只需要启动Kubelet即可，具体配置步骤如下。

将证书复制到Node节点：

配置10-kubelet.conf文件，因为Node节点采用自动颁发证书的方式，所以此文件需要添加KUBELET_KUBECONFIG_ARGS参数，如果已经配置了，就无需再配置。

所有Node节点创建相关目录：

所有Node节点配置Kubelet，如果Master节点也需要运行Pod（在生产环境中不建议，在测试环境中为了节省资源可以运行Pod），同样需要配置kubelet，Master节点和Node节点的kubelet配置唯一的区别是Master节点的--node-labels为node-role.kubernetes.io/master=''，Node节点的为node-role.kubernetes.io/node=''。因为Master节点已经有证书，所以无需再次复制证书，直接创建kubelet的配置文件即可。Kubelet service文件如下：

Kubelet Service参数文件如下：

配置Kubelet配置文件。注意clusterDNS的地址，如果之前修改了ClusterIP的网段，需要将ClusterDNS的地址改成同网段的地址：

所有节点启动kubelet，启动后会自动生成kubelet.kubeconfig文件，并且controller-manager会自动为kubelet颁发证书：

    systemctl daemon-reload
    systemctl enable --now kubelet

查看集群状态：

1.3.7　Kube-Proxy配置

Kube-Proxy用于实现Pod和Pod之间以及外部到Pod的访问，这些访问主要有三种实现方式，在部署过程中无须理会实现方式，具体原理请参考本书的2.2.13节。

以下介绍kube-Proxy的配置步骤。

创建Kube-Proxy的ServiceAccount：

创建kube-proxy的kubeconfig：

复制kube-proxy的文件至所有节点：

所有节点启动kube-proxy：

    systemctl enable --now kube-proxy

1.3.8　Calico配置

安装Calico，请参考1.2.3节，更改<your-pod-cidr>的值为上述创建的PodIP网段：

    POD_CIDR="<your-pod-cidr>" \
    sed -i -e "s?192.168.0.0/16?$POD_CIDR?g" calico/v3.6.1/calico.yaml

创建Calico：

查看Calico Pods的状态：

查看集群的状态，此时报错日志已解决：

1.3.9　CoreDNS的配置

CoreDNS用于集群中Pod解析Service的名字，Kubernetes基于CoreDNS用于服务发现功能。

安装CoreDNS 1.3.1版本（写本书时的最新版）。如果之前修改了PodIP的网段，需要自行修改此文件的ClusterIP参数：

查看CoreDNS的Pods状态：

解析测试：

解析Kubernetes service：

1.3.10　Metrics-Server配置

安装metrics-server：

查看Pod状态：

查看Node资源使用：

1.3.11　Dashboard配置

安装heapster：

    [root@k8s-master01 1.2.1]# kubectl apply -f heapster/

安装Dashboard：

查看Pod的状态：

通过NodePort访问https://VIP:30000。

选择令牌，参考图1-4。

图1-4　Dashboard登录方式选择令牌

输入令牌（令牌获取参考1.1.9小节）后登录，即可登录到Dashboard页面，参考图1-5。

图1-5　Dashboard页面