Установка Kubernetes в отказоустойчивой конфигурации

Я в свободное время погружаюсь в Kubernetes. На текущий момент я решил на практике разобраться, как выполняется установка Kubernetes в отказоустойчивой конфигурации. Этому и будет посвящена данная публикация.

Я использовал конфигурацию ниже для знакомства с HA k8s и тестирования различных сценариев. Не уверен, что конфигурация ниже оптимальна для использования в продуктивной среде. Если вы решили использовать её в продуктивной среде, то только на свой страх и риск.

Архитектура решения

Общая архитектура отказоустойчивого решения приведена на странице документации.

Конкретно в моем случае архитектура была следующая:

Аппаратная конфигурация всех узлов идентичная — 4 vCPU, 4 GB RAM, 40 GB system drive.

Подготовка серверов

В качестве операционной системы я буду использовать Ubuntu Server 22.04. Материал ниже я взял со страницы документации, но немного адаптировал его под мое окружение.

Отключение swap

Также перед выполнение последующий действий необходимо отключить файл подкачки на всех узлах кластера:

sudo swapoff -a

Чтобы при последующий перезагрузках узлов кластера файл подкачки не активировался вновь необходимо добавить соответствующее задание в файл crontab на всех узлах кластера:

sudo crontab -e

Добавим следующее простое задание:

@reboot /sbin/swapoff -a

Сохраним внесенные изменения и закроем файл crontab. В случае успешного добавления задания должен отобразиться соответствующий вывод на консоль:

crontab: installing new crontabroman@master01:~$

Теперь приступим к выполнению других шагов.

Установка и настройка cri-o

В качестве интерфейса выполнения контейнеров (CRI) я буду использовать cri-o, т.к. начиная с версии Kubernetes 1.24 с docker не все так просто.

Теперь все готово для установки cri-o. Установим необходимые пакеты и подготовим переменные:

sudo apt updatesudo apt install -y apt-transport-https ca-certificates curl gnupg2 software-properties-commonexport OS_VERSION=xUbuntu_20.04export CRIO_VERSION=1.23

Установим gpg ключи:

curl -fsSL https://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable/$OS_VERSION/Release.key | sudo gpg —dearmor -o /usr/share/keyrings/libcontainers-archive-keyring.gpgcurl -fsSL https://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable:/cri-o:/$CRIO_VERSION/$OS_VERSION/Release.key | sudo gpg —dearmor -o /usr/share/keyrings/libcontainers-crio-archive-keyring.gpg

Добавим файлы репозитория:

echo «deb [signed-by=/usr/share/keyrings/libcontainers-archive-keyring.gpg] https://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable/$OS_VERSION/ /» | sudo tee /etc/apt/sources.list.d/devel:kubic:libcontainers:stable.listecho «deb [signed-by=/usr/share/keyrings/libcontainers-crio-archive-keyring.gpg] https://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable:/cri-o:/$CRIO_VERSION/$OS_VERSION/ /» | sudo tee /etc/apt/sources.list.d/devel:kubic:libcontainers:stable:cri-o:$CRIO_VERSION.list

Запустим установку пакетов для cri-o:

sudo apt updatesudo apt install -y cri-o cri-o-runc

Создадим конфигурационные файлы для cri-o:

cat <<EOF | sudo tee /etc/modules-load.d/crio.confoverlaybr_netfilterEOF# Set up required sysctl params, these persist across reboots.cat <<EOF | sudo tee /etc/sysctl.d/99-kubernetes-cri.confnet.bridge.bridge-nf-call-iptables = 1net.ipv4.ip_forward = 1net.bridge.bridge-nf-call-ip6tables = 1EOF

Загрузим модули для корректной работы сети нашего кластера:

sudo modprobe overlaysudo modprobe br_netfilter

Перечитаем параметры конфигурации ядра со всех конфигурационных файлов:

sudo sysctl —system

Запустим службы:

sudo systemctl daemon-reloadsudo systemctl enable crio —now

Установка kubeadm, kubelet и kubectl

Установим gpg ключи и добавим репозитории:

echo «deb [signed-by=/etc/apt/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main» | sudo tee /etc/apt/sources.list.d/kubernetes.list

Установим kubelet, kubeadm и kubectl:

curl -fsSL https://dl.k8s.io/apt/doc/apt-key.gpg | sudo gpg —dearmor -o /etc/apt/keyrings/kubernetes-archive-keyring.gpgsudo apt update -ysudo apt install -y kubelet kubeadm kubectlsudo apt-mark hold kubelet kubeadm kubectl

Предварительная настройка узлов

1. Сначала настроим сервис kubelet, чтобы он имел более высший приоритет, чем тот, который был настроен автоматически при установке kubelet выше. Это действие необходимо выполнить для каждого узла, где будет размешаться etcd:

cat << EOF > /etc/systemd/system/kubelet.service.d/kubelet.conf# Replace «systemd» with the cgroup driver of your container runtime. The default value in the kubelet is «cgroupfs».# Replace the value of «containerRuntimeEndpoint» for a different container runtime if needed.#apiVersion: kubelet.config.k8s.io/v1beta1kind: KubeletConfigurationauthentication: anonymous: enabled: false webhook: enabled: falseauthorization: mode: AlwaysAllowcgroupDriver: systemdaddress: 127.0.0.1containerRuntimeEndpoint: unix:///var/run/crio/crio.sockstaticPodPath: /etc/kubernetes/manifestsEOFcat << EOF > /etc/systemd/system/kubelet.service.d/20-etcd-service-manager.conf[Service]ExecStart=ExecStart=/usr/bin/kubelet —config=/etc/systemd/system/kubelet.service.d/kubelet.conf

Restart=alwaysEOF

systemctl daemon-reload

systemctl restart kubelet

Проверим статус сервиса:

systemctl status kubelet

2. Теперь создадим конфигурационный файл для kubeadm. Файл необходимо будет сгенерировать для каждого узла с etcd. Скрипт по генерации конфигурации приведен ниже (только измените IP-адреса и имена узлов). Я сгенерирую все файлы на первом узле (etc01):

# Update HOST0, HOST1 and HOST2 with the IPs of your hostsexport HOST0=10.10.10.46

export HOST1=10.10.10.43

export HOST2=10.10.10.39

# Update NAME0, NAME1 and NAME2 with the hostnames of your hostsexport NAME0=»etc01″export NAME1=»etc02″export NAME2=»etc03″

# Create temp directories to store files that will end up on other hosts

mkdir -p /tmp/${HOST0}/ /tmp/${HOST1}/ /tmp/${HOST2}/HOSTS=(${HOST0} ${HOST1} ${HOST2})NAMES=(${NAME0} ${NAME1} ${NAME2})

for i in «${!HOSTS[@]}»; doHOST=${HOSTS[$i]}NAME=${NAMES[$i]}cat << EOF > /tmp/${HOST}/kubeadmcfg.yaml—api

Version: «kubeadm.k8s.io/v1beta3»

kind: Init

ConfigurationnodeRegistration: name: ${NAME}localAPIEndpoint: advertiseAddress: ${HOST}—apiVersion: «kubeadm.k8s.io/v1beta3″kind: ClusterConfigurationetcd: local: serverCertSANs: — «${HOST}» peerCertSANs: — «${HOST}» extraArgs: initial-cluster: ${NAMES[0]}=https://${HOSTS[0]}:2380,${NAMES[1]}=https://${HOSTS[1]}:2380,${NAMES[2]}=https://${HOSTS[2]}:2380 initial-cluster-state: new name: ${NAME} listen-peer-urls: https://${HOST}:2380 listen-client-urls: https://${HOST}:2379 advertise-client-urls: https://${HOST}:2379 initial-advertise-peer-urls: https://${HOST}:2380EOFdone

Результат работы скрипта:

ls -l /tmp/10*root@etc01:/home/roman# ls -l /tmp/10*/tmp/10.10.10.39:total 4-rw-r—r— 1 root root 772 Aug 12 11:39 kubeadmcfg.yaml/tmp/10.10.10.43:total 4-rw-r—r— 1 root root 772 Aug 12 11:39 kubeadmcfg.yaml/tmp/10.10.10.46:total 4-rw-r—r— 1 root root 772 Aug 12 11:39 kubeadmcfg.yamlroot@etc01:/home/roman#

3. Сгенерируем необходимые сертификаты:

kubeadm init phase certs etcd-ca

Результат работы команды:

ls -l /etc/kubernetes/pki/etcd/

root@etc01:/home/roman# ls -l /etc/kubernetes/pki/etcd/

total 8

-rw-r—r— 1 root root 1094 Aug 12 11:41 ca.crt

-rw——- 1 root root 1675 Aug 12 11:41 ca.key

4. Сгенерируем сертификаты для остальных узлов:

kubeadm init phase certs etcd-server —config=/tmp/${HOST2}/kubeadmcfg.yaml

kubeadm init phase certs etcd-peer —config=/tmp/${HOST2}/kubeadmcfg.yaml

kubeadm init phase certs etcd-healthcheck-client —config=/tmp/${HOST2}/kubeadmcfg.yaml

kubeadm init phase certs apiserver-etcd-client —config=/tmp/${HOST2}/kubeadmcfg.yaml

cp -R /etc/kubernetes/pki /tmp/${HOST2}/

# cleanup non-reusable certificates

find /etc/kubernetes/pki -not -name ca.crt -not -name ca.key -type f -delete

kubeadm init phase certs etcd-server —config=/tmp/${HOST1}/kubeadmcfg.yaml

kubeadm init phase certs etcd-peer —config=/tmp/${HOST1}/kubeadmcfg.yaml

kubeadm init phase certs etcd-healthcheck-client —config=/tmp/${HOST1}/kubeadmcfg.yaml

kubeadm init phase certs apiserver-etcd-client —config=/tmp/${HOST1}/kubeadmcfg.yaml

cp -R /etc/kubernetes/pki /tmp/${HOST1}/find /etc/kubernetes/pki -not -name ca.crt -not -name ca.key -type f -delete

kubeadm init phase certs etcd-server —config=/tmp/${HOST0}/kubeadmcfg.yaml

kubeadm init phase certs etcd-peer —config=/tmp/${HOST0}/kubeadmcfg.yaml

kubeadm init phase certs etcd-healthcheck-client —config=/tmp/${HOST0}/kubeadmcfg.yaml

kubeadm init phase certs apiserver-etcd-client —config=/tmp/${HOST0}/kubeadmcfg.yaml

# No need to move the certs because they are for HOST0

# clean up certs that should not be copied off this host

find /tmp/${HOST2} -name ca.key -type f -delete

find /tmp/${HOST1} -name ca.key -type f -delete

Листинг работы команд выше:

# No need to move the certs because they are for HOST0

# clean up certs that should not be copied off this hostfind /tmp/${HOST2} -name ca.key -type f -delete

find /tmp/${HOST1} -name ca.key -type f -delete

[certs] Generating «etcd/server» certificate and key

[certs] etcd/server serving cert is signed for DNS names [etc03 localhost] and IPs [10.10.10.39 127.0.0.1 ::1]

[certs] Generating «etcd/peer» certificate and key

[certs] etcd/peer serving cert is signed for DNS names [etc03 localhost] and IPs [10.10.10.39 127.0.0.1 ::1]

[certs] Generating «etcd/healthcheck-client» certificate and key[certs] Generating «apiserver-etcd-client» certificate and key

[certs] Generating «etcd/server» certificate and key

[certs] etcd/server serving cert is signed for DNS names [etc02 localhost] and IPs [10.10.10.43 127.0.0.1 ::1]

[certs] Generating «etcd/peer» certificate and key

[certs] etcd/peer serving cert is signed for DNS names [etc02 localhost] and IPs [10.10.10.43 127.0.0.1 ::1]

[certs] Generating «etcd/healthcheck-client» certificate and key[certs] Generating «apiserver-etcd-client» certificate and key

[certs] Generating «etcd/server» certificate and key

[certs] etcd/server serving cert is signed for DNS names [etc01 localhost] and IPs [10.10.10.46 127.0.0.1 ::1]

[certs] Generating «etcd/peer» certificate and key

[certs] etcd/peer serving cert is signed for DNS names [etc01 localhost] and IPs [10.10.10.46 127.0.0.1 ::1]

[certs] Generating «etcd/healthcheck-client» certificate and key

[certs] Generating «apiserver-etcd-client» certificate and key

5. Скопируем сгенерированные файлы в соответствующие директории на всех хостах etcd (только скорректируйте имя пользователя для подключения):

USER=roman

HOST=${HOST1}

scp -r /tmp/${HOST}/* ${USER}@${HOST}:ssh ${USER}@${HOST}USER@HOST

$ sudo -Esroot@HOST

$ chown -R root:root pkiroot@HOST

$ mv pki /etc/kubernetes/

Листинг команды выше:

root@etc01:/home/roman# USER=roman

root@etc01:/home/roman# HOST=${HOST1}

root@etc01:/home/roman# scp -r /tmp/${HOST}/* ${USER}@${HOST}:

roman@10.10.10.43’s password:

root@etc01:/home/roman# ssh ${USER}@${HOST}

roman@10.10.10.43’s password:

roman@etc02:~$ sudo -Es

[sudo] password for roman:

root@etc02:~# chown -R root:root pki

root@etc02:~# mv pki /etc/kubernetes/

Выполняем аналогичное копирование и для последнего узла etcd:

USER=romanHOST=${HOST2}scp -r /tmp/${HOST}/* ${USER}@${HOST}:ssh ${USER}@${HOST}USER@HOST

$ sudo -Es

root@HOST

$ chown -R root:root pkiroot@HOST

$ mv pki /etc/kubernetes/

6. Убедитесь, что в директории /tmp у вас подготовлен конфигурационный файл kubeadmcfg.yaml для каждого из узлов:

ls -l /tmp/10.10.10.*/kubeadmcfg.yaml

root@etc01:/home/roman# ls -l /tmp/10.10.10.*/kubeadmcfg.yaml

-rw-r—r— 1 root root 772 Aug 12 11:39 /tmp/10.10.10.39/kubeadmcfg.yaml

-rw-r—r— 1 root root 772 Aug 12 11:39 /tmp/10.10.10.43/kubeadmcfg.yaml

-rw-r—r— 1 root root 772 Aug 12 11:39 /tmp/10.10.10.46/kubeadmcfg.yaml

root@etc01:/home/roman#

Также убедитесь, что на каждый узел были скопированы необходимые файлы в директорию /etc/kubernetes/pki:

tree /etc/kubernetes/pki

root@etc01:/home/roman#

tree /etc/kubernetes/pki

/etc/kubernetes/pki

├── apiserver-etcd-client.crt

├── apiserver-etcd-client.key

└── etcd ├── ca.crt

├── ca.key

├── healthcheck-client.crt

├── healthcheck-client.key

├── peer.crt ├── peer.key

├── server.crt

└── server.key

1 directory, 10 files

root@etc01:/home/roman#

7. Теперь необходимо создать манифесты. Выполним вот эту команду на первом узле:

kubeadm init phase etcd local —config=/tmp/${HOST0}/kubeadmcfg.yamlroot@etc01:/home/roman# kubeadm init phase etcd local —config=/tmp/${HOST0}/kubeadmcfg.yaml[etcd] Creating static Pod manifest for local etcd in «/etc/kubernetes/manifests»

А вот такой командой создаем манифесты на двух других узлах etcd:

kubeadm init phase etcd local —config=$HOME/kubeadmcfg.yamlroman@etc02:~$ sudo kubeadm init phase etcd local —config=$HOME/kubeadmcfg.yaml[sudo] password for roman: [etcd] Creating static Pod manifest for local etcd in «/etc/kubernetes/manifests»

8. Теперь можно установить etcdctl и проверить состояние здоровье кластера etcd:

ETCDCTL_API=3 etcdctl —cert /etc/kubernetes/pki/etcd/peer.crt —key /etc/kubernetes/pki/etcd/peer.key —cacert /etc/kubernetes/pki/etcd/ca.crt —endpoints https://${HOST0}:2379 endpoint healthroot@etc01:/home/roman/etcd-v3.5.9-linux-amd64# ETCDCTL_API=3 etcdctl —cert /etc/kubernetes/pki/etcd/peer.crt —key /etc/kubernetes/pki/etcd/peer.key —cacert /etc/kubernetes/pki/etcd/ca.crt —endpoints https://${HOST0}:2379 endpoint healthhttps://10.10.10.46:2379 is healthy: successfully committed proposal: took = 11.053467ms

Команда выше должна выполниться успешно для каждого узла — ${HOST0}, ${HOST1} и ${HOST2}.

Подготовка узлов плоскости управления и рабочей нагрузки

Нетеперь для узлов, на которых будет размещена нагрузка плоскости управления и рабочей нагрузки необходимо выполнить предварительную подготовку серверов. Установить среду выполнения контейнеров, kubeadm и kubectl. Подготовка выполняется аналогично подготовке узлов для etcd. В качестве операционной системы я буду использовать Ubuntu Server 22.04.