В данной инструкции попробуем охватить как можно больше примеров работы с Hashicorp Vault. Мы выполним установку на системы Linux, настоим сервер, сохраним несколько секретов и попробуем получить доступ к данным секретам из различных систем. В качестве Linux рассмотрим Debian и CentOS 7 и 8.
Подготовка
Установка пакетов
Нам понадобятся некоторые утилиты. Команды для их установки зависят от используемой системы.
apt-get install wget chrony curl apt-transport-httpsyum install wget chrony curl- wget — утилита для загрузки файлов.
- chrony — сервис для синхронизации времени.
- curl — утилита для отправки POST и GET запросов на веб-сервер.
- apt-transport-https — дополнение для возможности использовать репозитории по https.
Настройка времени
timedatectl set-timezone Europe/Moscow* полный перечень вариантов можно посмотреть командой timedatectl list-timezones.
vi /etc/chrony/chrony.confvi /etc/chrony.confpool dmosk.local
#pool ...server dmosk.local
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburstРазрешаем автоматический запуск для сервиса синхронизации времени и перезапускаем его.
systemctl enable chronysystemctl restart chronysystemctl enable chronydsystemctl restart chronydНастройка брандмауэра
а) Iptables (как правило, Debian):
iptables -I INPUT -p tcp --dport 8200 -j ACCEPTДля сохранения правила можно воспользоваться утилитой iptables-persistent:
apt-get install iptables-persistentnetfilter-persistent saveб) Firewalld (как правило, для CentOS):
firewall-cmd --permanent --add-port=8200/tcpfirewall-cmd --reloadУстановка и запуск
Подключаем официальный репозиторий и устанавливаем пакет vault.
curl -fsSL https://apt.releases.hashicorp.com/gpg | sudo apt-key add -echo "deb [arch=amd64] https://apt.releases.hashicorp.com $(lsb_release -cs) main" > /etc/apt/sources.list.d/hashicorp.listapt-get updateapt-get install vaultwget https://rpm.releases.hashicorp.com/RHEL/hashicorp.repo -O /etc/yum.repos.d/hashicorp.repoyum install vaultРазрешаем автозапуск службы и если она не запущена, стартуем ее:
systemctl enable vault --nowНастройка рабочего окружения
При попытке выполнить любую операцию в командной строке, мы получим ошибку:
Error checking seal status: Get "https://127.0.0.1:8200/v1/sys/seal-status": x509: cannot validate certificate for 127.0.0.1 because it doesn't contain any IP SANsexport VAULT_ADDR=http://127.0.0.1:8200Она укажет текущему окружению подключаться к серверу по http. Однако, это приведет к другой ошибке:
Error checking seal status: Error making API request.
URL: GET http://127.0.0.1:8200/v1/sys/seal-status
Code: 400. Raw Message:
Client sent an HTTP request to an HTTPS server.Для решения проблемы открываем файл:
vi /etc/vault.d/vault.hclИ снимаем комментарии со следующих строк, а также меняем значение для поля address:
listener "tcp" {
address = "127.0.0.1:8201"
tls_disable = 1
}systemctl restart vaultОбновляем системную переменную VAULT_ADDR:
export VAULT_ADDR=http://127.0.0.1:8201* обратите внимание, что мы поменяли порт подключения на 8201.
Пробуем вывести на экран статус:
Мы должны получить что-то на подобие:
Key Value
--- -----
Seal Type shamir
Initialized false
Sealed true
Total Shares 0
Threshold 0
Unseal Progress 0/0
Unseal Nonce n/a
Version 1.7.1
Storage Type file
HA Enabled falsevi /etc/environmentVAULT_ADDR=http://127.0.0.1:8201Распечатывание
При попытке выполнить любую операцию с хранилищем секретов мы получим ошибку:
* Vault is sealedИнициализация, распечатывание и вход
Для начала, нам необходимо инициализировать наш сервер. Это выполняется командой:
vault operator initИ так, распечатаем наш сервер, введя по очереди 3 команды.
vault operator unsealvault operator unsealvault operator unsealSealed falseЭто значит, что сервер больше не запечатан и с ним можно работать.
Теперь необходимо залогиниться в систему командой:
vault login… и ввести ключ root, который мы получили после инициализации.
Мы можем выполнять команды для работы с Hashicorp Vault.
Автоматическое распечатывание
Выполним настройку в несколько шагов.
Создадим каталог для хранения скриптов:
mkdir /scriptsvi /scripts/unseal.sh#!/bin/bash
PATH=/etc:/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin
sleep 10
vault operator unseal w1SgHSWyXm+7kwmYk4bFX2rBLG5jKxIn01DMkj57071D
vault operator unseal 38s4+FkxKTTANFZgCwEPFOgJIMwTvLca1j36yYPc3gdx
vault operator unseal 4xlpKVwPuNlskydM/qmCmW22x7WZdfuiFu92HGRNOa8oРазрешаем запуск скрипта на выполнение:
chmod +x /scripts/unseal.shМожно, даже, выполнить скрипт:
/scripts/unseal.shВ итоге, мы распечатаем наш сервер.
2. Автозапуск скрипта при старте системы:
vi /etc/systemd/system/vault-unseal.service[Unit]
Description=Vault Auto Unseal Service
After=network.target
After=vault.service
[Service]
Environment="VAULT_ADDR=http://127.0.0.1:8201"
ExecStart=/scripts/unseal.sh
Type=oneshot
RemainAfterExit=no
[Install]
WantedBy=multi-user.targetПеречитаем конфигурацию для systemd:
systemctl daemon-reloadРазрешаем автозапуск созданного сервиса:
systemctl enable vault-unsealПробуем перезагрузить сервер — vault должен оказаться распечатанным.
Работа с секретами
Наша система полностью готова, чтобы ей пользоваться.
Для начала дадим разрешение на хранение секретов по пути secret:
vault secrets enable -path=secret/ kvSuccess! Enabled the kv secrets engine at: secret/vault kv put secret/hello foo=worldSuccess! Data written to: secret/helloПосмотреть содержимое можно командой:
vault kv get secret/hello===== Data =====
Key Value
--- -----
foo worldТакже можно внести за раз множество значений:
vault kv put secret/hello foo=world excited=yesПосмотреть список созданных секретов можно командой:
vault kv list secretТеперь удалим секрет командой:
vault kv delete secret/helloПолный перечень команд можно увидеть так:
vault -helpПосле чего можно будет получить помощь по конкретной команде vault, например:
vault kv -helpДанной информации достаточно, чтобы познакомиться с продуктом. Пойдем дальше.
Версионность и метаданные
Metadata not supported on KV Version 1Для решения необходимо создание механизма kv с поддержкой версии 2. Это делается командой:
vault secrets enable -version=2 kvИли для ранее созданного пути включаем ведение версионности командой:
vault kv enable-versioning secret/vault kv put secret/hello foo=worldvault kv put secret/hello foo=world2Посмотреть данные определенной версии можно командой:
vault kv get -version=1 secret/hello=== Data ===
Key Value
--- -----
foo world* то есть значение, которое вводилось первой командой.
Посмотреть метаданные секрета можно командой:
vault kv metadata get secret/helloДля удаления определенной версии секрета вводим:
vault kv destroy -versions=1 secret/helloДинамические секреты
Рассмотрим пример настройки динамических секретов для базы данных MariaDB/MySQL.
mysql -uroot -pСоздаем учетную запись, под которой будет подключаться vault к СУБД:
> CREATE USER 'vaultuser'@'localhost' IDENTIFIED BY 'vaultpass';Дадим права созданной учетной записи создавать других пользователей и назначать им права:
> GRANT CREATE USER ON *.* TO 'vaultuser'@'localhost' WITH GRANT OPTION;> exit;Теперь разрешаем механизм секретов базы данных (database secrets engine):
vault secrets enable databaseSuccess! Enabled the database secrets engine at: database/Создадим настройку для подключения к нашей базе:
vault write database/config/test
plugin_name=mysql-database-plugin
connection_url="{{username}}:{{password}}@tcp(127.0.0.1:3306)/"
allowed_roles="test-role"
username="vaultuser"
password="vaultpass"- test — имя базы, для которой vault сможет создать временную учетную запись.
- plugin_name — имя плагина для создания учетной записи. Важный параметр, который должен правильно быть подобран в зависимости от версии СУБД. Ниже будет комментарий, с какой ошибкой мы можем столкнуться, выбрав неправильный плагин.
- test-role — роль, которая будет использоваться vault (ее создадим ниже).
- vaultuser — пользователь, под которым мы подключаемся к СУБД (создали выше).
- vaultpass — пароль, с которым мы подключаемся к серверу баз данных.
Создадим роль, по сути, зададим команду для создания временной учетной записи:
vault write database/roles/test-role
db_name=test
creation_statements="CREATE USER '{{name}}'@'%' IDENTIFIED BY '{{password}}'; GRANT SELECT ON *.* TO '{{name}}'@'%';"
default_ttl="1h"
max_ttl="24h"- db_name — имя базы данных, для которой мы будем создавать пользователя.
- creation_statements — команды SQL для создания нового пользователя. {{name}} и {{password}} являются специальными переменными, вместо которых vault подставит сгенерированные значения. Обратите внимание, что в данном примере создается пользователь с правами подключения с любого хоста, однако, в зависимости от версии MariaDB, именно с локального хоста подключиться под данным пользователем будет нельзя. При такое необходимости, меняем % на localhost.
- default_ttl — время, в течение которого будет действовать пароль.
- max_ttl — время, в течение которого пользователю можно будет обновлять пароль.
И так, теперь давайте создадим пользователя и пароль:
vault read database/creds/test-role* после ввода команды vault сгенерирует и создаст в базе нового пользователя и пароль.
Мы должны увидеть что-то на подобие:
Key Value
--- -----
lease_id database/creds/test-role/JpEmEh2MJV115Lr4S4Lx5UHW
lease_duration 1h
lease_renewable true
password 7v9jC-XHXJjQ2sicLI42
username v-test--gVPavnGVrТакже для создания пользователя мы можем использовать API запрос:
curl --header "X-Vault-Token: s.e0YKJEOHlpfgQiWqZlzVuUbY" http://127.0.0.1:8201/v1/database/creds/test-role> SELECT user, host FROM mysql.user;Мы должны увидеть в списках нужную запись (в нашем примере, v-test—gVPavnGVr).
Теперь зайдем под учетной записью, которая была создана с помощью vault:
mysql -h192.168.0.15 -u'v-test--gVPavnGVr' -p'7v9jC-XHXJjQ2sicLI42'Мы должны подключиться к базе.
Отменить доступ можно командой:
vault lease revoke database/creds/test-role/JpEmEh2MJV115Lr4S4Lx5UHWПосмотреть список всех идентификатором можно командой:
vault list sys/leases/lookup/database/creds/test-role* где test-role — имя созданной нами роли.
Продлить lease_duration или default_ttl (пароль) можно с помощью команды:
vault lease renew database/creds/test-role/JpEmEh2MJV115Lr4S4Lx5UHWАутентификация и политики
Работа с токенами
Для начала научимся управлять токенами. Простая команда для создания нового:
vault token createСистема сгенерирует новый ключ и сделает вывод на экран.
Также мы можем создать временный токен:
vault token create -period=1hПосмотреть информацию о токене можно через его аксессор. Сначала получим список аксессоров:
vault list auth/token/accessorsПосле смотрим токен по аксессору:
vault token lookup -accessor uW9Ajr8VzFiCwHzHWn75qWVeВойти в систему с помощью токена можно командой:
vault loginПосле вводим наш токен. Или одной командой:
vault login s.Db9j6Q4TvyFDr3j2aQmXttrXПосмотреть информацию о токене, под которым мы зарегистрировались в системе, можно командой:
vault token lookupА данной командой мы создаем пользователя и привязываем его к политике my-policy:
vault token create -policy=my-policyЕсли политики нет в системе, то мы получим предупреждение:
WARNING! The following warnings were returned from Vault:
* Policy "my-policy" does not existНас это не должно заботить — на следующем шаге мы ее создадим.
При необходимости привязать токен к нескольким политикам, перечисляем из в опциях policy:
vault token create -policy=my-policy -policy=my-policy2Работа с политиками
Выше мы создали токен и привязали его к политике my-policy. Создадим ее:
vault policy write my-policy - << EOF
path "secret/data/foo/*" {
capabilities = ["read", "create", "update"]
}
path "secret/data/hello/*" {
capabilities = ["read", "update"]
}
path "secret/data/*" {
capabilities = ["read"]
}
EOFПосмотреть список политик можно командой:
vault policy listПосмотреть информацию о конкретной политике можно командой:
vault policy read my-policyПроверка политики
Если нужно, можно создать еще токен и привязать его к нашей политике:
vault token create -policy=my-policyЗарегистрируемся с нужным нам токеном (который привязан к проверяемой политике):
vault loginПопробуем сначала создать секрет в ветке secret/foo и в нем указать пару ключ-значение:
vault kv put secret/foo/new foo=worldКоманда должна выполниться успешно.
Теперь сделаем то же самое для secret/hello
vault kv put secret/hello/new foo=worldError writing data to secret/data/hello/new: Error making API request.
URL: PUT http://127.0.0.1:8201/v1/secret/data/hello/new
Code: 403. Errors:
* 1 error occurred:
* permission deniedТеперь логинимся под токеном с полными правами и добавим запись:
vault kv put secret/hello/new foo=worldИ снова заходим под токеном с ограниченными правами. Пробуем обновить запись:
vault kv put secret/hello/new foo=world2Команда должна выполниться успешно, так как мы разрешили политикой обновлять записи.
Аутентификация на основе пользователей
Разрешаем метод auth по пути userpass:
vault auth enable userpassvault write auth/userpass/users/dmosk password="test-pass" policies="my-profile"Войти в систему можно командой:
vault login -method=userpass username=dmoskВводим пароль и попадаем в систему под пользователем dmosk. Можно выполнить тесты, которые мы делали выше.
Одноразовые SSH пароли
Настройка на сервере Vault
vault secrets enable sshСоздаем роль для создания одноразового пароля:
vault write ssh/roles/otp_key_role
key_type=otp
default_user=test
cidr_list=10.0.2.0/24- key_type — тип создаваемого ключа. Оставляем otp.
- default_user — имя учетной записи.
- cidr_list — подсеть, для которой будет разрешен доступ. Это должна быть подсеть компьютеров, на которых мы будем проходить аутентификацию по одноразовому паролю.
На сервере, пока, все. Переходим к настройке клиента.
Настройка на клиенте
На клиенте необходимо выполнить настройку, которая позволит выполнять две задачи:
- Создавать одноразовые пароли на стороне Vault.
- Осуществлять проверку подлинности при подключении по SSH.
Данной задачей занимается vault-ssh-helper. Рассмотрим процесс его установки и настройки.
apt-get install unzipб) для CentOS / Red Hat / Fedora:
yum install unzipУстановка vault-ssh-helper выполняется простым копированием бинарника. Переходим на официальный сайт для загрузки и выбираем последнюю версию пакета. На следующей страницы копируем ссылку на нужный вариант архива, в зависимости от архитектуры нашего сервера:
С помощью скопированной ссылки загружаем архив:
wget https://releases.hashicorp.com/vault-ssh-helper/0.2.1/vault-ssh-helper_0.2.1_linux_amd64.zip
Распаковываем его:
unzip vault-ssh-helper_*.zip -d /usr/bin
Создадим каталог для конфигурационных файлов vault-ssh-helper:
mkdir /etc/vault-ssh-helper
Создадим конфигурационный файл:
vi /etc/vault-ssh-helper/config.hcl
vault_addr = "https://192.168.0.20:8200"
ssh_mount_point = "ssh"
tls_skip_verify = true
allowed_roles = "*"
* где:
- vault_addr — адрес нашего сервера секретов.
- ssh_mount_point — путь на стороне Vault, по которому будут храниться секреты. Настраивается при включении механизма SSH.
- tls_skip_verify — стоит ли пропускать проверку подлинности сертификата. Так как у нас еще не настроен валидный сертификат, устанавливаем значение в true.
- allowed_roles — на стороне сервера можно создавать разным пользователей от разных ролей. В данной настройке мы можем определить, пользователям с какой ролью будет разрешен вход по SSH.
Открываем конфигурационный файл pamd для sshd:
vi /etc/pam.d/sshd
И в самый верх добавляем:
auth sufficient pam_exec.so quiet expose_authtok log=/tmp/vaultssh.log /usr/bin/vault-ssh-helper -config=/etc/vault-ssh-helper/config.hcl
auth optional pam_unix.so not_set_pass use_first_pass nodelay
...
* в данной конфигурации мы, по-прежнему, сможем авторизоваться под учетными записями, созданными на самом сервере. Если необходимо это отключить, разрешив вход только с OTP, комментируем @include common-auth и меняем sufficient на required.
Наконец, редактируем конфигурационный файл sshd. Открываем его:
vi /etc/ssh/sshd_config
Выставляем следующие значения для опций:
ChallengeResponseAuthentication yes
...
UsePAM yes
* где ChallengeResponseAuthentication разрешает авторизацию с применением интерактивного ввода пароля; UsePAM разрешает использование модуля pam.
Перезапустим сервис ssh:
systemctl restart sshd
Выполняем проверку нашей настройки командой:
vault-ssh-helper -verify-only -config /etc/vault-ssh-helper/config.hcl
Мы должны получить ответ:
2021/05/18 14:07:14 [INFO] using SSH mount point: ssh
2021/05/18 14:07:14 [INFO] using namespace:
2021/05/18 14:07:14 [INFO] vault-ssh-helper verification successful!
Значит настройка на клиенте выполнена коррекнто.
Создаем учетную запись на клиенте, под которой будем входить в систему с одноразовым паролем:
useradd test -m
* в нашей политике будет создаваться пароль для учетной записи test.
Создаем одноразовый пароль
Вводим команду:
vault write ssh/creds/otp_key_role ip=192.168.0.25
* в данном примере мы создаем одноразовый пароль для компьютера с IP-адресом 192.168.0.25.
Мы должны получить, примерено, такой вывод:
Key Value
--- -----
lease_id ssh/creds/otp_key_role/5SYfW5VDZ3qGnaMtPhUEHbNr
lease_duration 768h
lease_renewable false
ip 192.168.0.25
key 83a57021-74b0-3ce3-8179-6fb92288c0ce
key_type otp
port 22
username test
* мы получили одноразовый пароль 83a57021-74b0-3ce3-8179-6fb92288c0ce.
Пробуем войти в систему:
ssh test@192.168.0.25
Вводим тот пароль, который нам выдала система (key). Войти мы сможем только один раз, после нужно будет уже генерировать новый пароль.
Настройка SSL
Первое, что нам нужно, это получить сертификат. Правильнее всего купить сертификат или запросить через Let’s Encrypt. После прописать в конфигурационном файле vault путь до данного сертификата. Но мы рассмотрим процесс получения самоподписанного сертификата, но при этом, который примет система. Для этого необходимо выполнить несколько условий:
- Сертификат должен быть выдан для hostname, по которому мы будем отправлять запросы.
- Для сертификата мы должны указать альтернативное имя subjectAltName.
И так, создаем каталог для хранения сертификатов:
mkdir /etc/ssl/vault
Проверяем версию openssl:
openssl version
Она должна быть 1.1.1 и выше. В противном случае, необходимо выполнить обновление OpenSSL. Как правило, данное действие требуется только на CentOS 7.
Генерируем сертификат:
openssl req -new -x509 -days 1461 -nodes -out /etc/ssl/vault/cert.pem -keyout /etc/ssl/vault/cert.key -subj "/C=RU/ST=SPb/L=SPb/O=Global Security/OU=IT Department/CN=vault.dmosk.local" -addext "subjectAltName = DNS:vault.dmosk.local"
* в данном примере мы сгенерируем необходимые ключи по пути /etc/ssl/vault; обязательно, нужно поменять значения vault.dmosk.local на имя сервера, который используется у вас.
Если команда вернет ошибку, проверяем, что у нас обновленная версия openssl, которая поддерживает ключ addext.
Теперь откроем конфигурационный файл hashicorp vault:
vi /etc/vault.d/vault.hcl
Приведем секцию HTTPS listener к виду:
# HTTPS listener
listener "tcp" {
address = "0.0.0.0:8200"
tls_cert_file = "/etc/ssl/vault/cert.pem"
tls_key_file = "/etc/ssl/vault/cert.key"
}
* необходимо поменять пути до файлов tls_cert_file и tls_key_file.
Перезапускаем сервис:
После перезагрузки сервиса, он станет запечатанным и нам нужно будет снова ввести 3 части ключа (команды vault operator unseal).
systemctl restart vault
Меняем в окружении переменную VAULT_ADDR:
export VAULT_ADDR=https://vault.dmosk.local:8200
* мы указываем протокол https, обращения должны выполняться по доменному имени, для которого мы получили сертификат; также указываем порт 8200.
Выполняем команду:
vault status
Мы должны получить состояние системы. Значит запросы по https работают.
И последнее, снова открываем файл:
vi /etc/environment
И также меняем значение для переменной VAULT_ADDR:
VAULT_ADDR=https://vault.dmosk.local:8200
Запуск в виде контейнера Docker
Для начала, необходимо установить в систему Docker. После загружаем образ
docker pull vault
Для запуска vault в режиме сервера вводим:
docker run --cap-add=IPC_LOCK --name vault -d -p 8200:8200 -e 'VAULT_LOCAL_CONFIG={"backend": {"file": {"path": "/vault/file"}}, "default_lease_ttl": "168h", "max_lease_ttl": "720h", "listener": {"tcp": {"address": "127.0.0.1:8200", "tls_disable": "true"}}}' vault server
После заходим внутрь контейнера:
docker exec -it vault sh
Задаем системную переменную для подключения к vault по http:
export VAULT_ADDR=http://127.0.0.1:8200
Инициализируем сервер:
vault operator init
… и так далее.
Установка клиента и удаленное подключение
а) для Debian / Ubuntu / Mint:
apt-get install wget apt-transport-httpsecho "deb [arch=amd64] https://apt.releases.hashicorp.com $(lsb_release -cs) main" > /etc/apt/sources.list.d/hashicorp.listapt-get updateapt-get install vaultб) для CentOS / Red Hat / Fedora:
yum install wgetwget https://rpm.releases.hashicorp.com/RHEL/hashicorp.repo -O /etc/yum.repos.d/hashicorp.repoyum install vaultПосле чего задаем переменную системного окружения
export VAULT_ADDR=https://vault.dmosk.local:8200Также, если у нас самоподписанный сертификат, вводим:
export VAULT_SKIP_VERIFY=true* данная системная переменная указывает системе не проверять валидность сертификата.
Пробуем посмотреть статус удаленного сервера:
vault statusvault login -method=userpass username=dmosk* в данном примере мы заходим под пользователем dmosk. Также мы можем войти с использованием токена.
Можно выполнять действия согласно разрешениям.
источник: https://www.dmosk.ru/instruktions.php?object=vault-hashicorp
