Итак сегодня речь пойдет об инструменте в задачу которого входит выполнение централизованного резервного копирования конфигурационных файлов (те которые выполняются с расширением rsc) оборудования Mikrotik. Плюс инструмент умеет отображать разницу в изменениях, а делает он это через складирование изменений посредством системы контроля версий GIT. Я если честно давно искал такой инструмент и вот я воплотил свою задумку разобрав от и до все шаги по разворачиванию сервиса oxidized в систему Ubuntu 18.04 Server amd64. Узнал я о нем это просматривая опубликованные презентации посвященные Mikrotik, к примеру если через поисковую систему Google ввести «Автоматизируем бэкап — MUM — MikroTik»

Предварительные действия: На всех Mikrotik(ах) для которых Вы хотите осуществлять резервное копирование нужно сделать учетную записи с минимальными правами, к примеру только на чтение:

ekzorchik@srv-bionic:~$ ssh -l admin 172.33.33.22
 
[admin@MikroTik] > user add name=test password=Aa1234567 group=read
 
[admin@MikroTik] > quit

Connection to 172.33.33.22 closed.

ekzorchik@srv-bionic:~$

Шаг №1: Настраиваю систему

ekzorchik@srv-bionic:~$ hg clone --insecure https://ekzorchik@172.35.35.8/hg/dproject
 
ekzorchik@srv-bionic:~$ sudo ./dproject/default

Полученная текущая система с учетом моего скрипта настройки который я применяю в своей локальной сети:

ekzorchik@srv-bionic:~$ uname -a && lsb_release -a

Linux srv-bionic 4.15.0-43-generic #46-Ubuntu SMP Thu Dec 6 14:45:28 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux

No LSB modules are available.

Distributor ID: Ubuntu

Description: Ubuntu 18.04.2 LTS

Release: 18.04

Codename: bionic

ekzorchik@srv-bionic:~

Шаг №2: Устанавливаю пакет Oxidized в систему Ubuntu 18.04 Server amd64:

ekzorchik@srv-bionic:~$ sudo apt-get install ruby ruby-dev libsqlite3-dev libssl-dev pkg-config cmake libssh2-1-dev libicu-dev -y
 
ekzorchik@srv-bionic:~$ gem install oxidized oxidized-script oxidized-web

Fetching: asetus-0.3.0.gem (100%)

ERROR: While executing gem ... (Gem::FilePermissionError)

You don't have write permissions for the /var/lib/gems/2.5.0 directory.

ekzorchik@srv-bionic:~$ sudo gem install oxidized oxidized-script oxidized-web

Done installing documentation for charlock_holmes, rack, tilt, rack-protection, sinatra, emk-sinatra-url-for, temple, haml, htmlentities, puma, rb-fsevent, ffi, rb-inotify, sass-listen, sass, backports, rack-test, multi_json, sinatra-contrib, oxidized-web after 675 seconds

22 gems installed

ekzorchik@srv-bionic:~$

Шаг №3: Cоздаю пользователя oxidized, с правами которого будет запускаться система бэкапа:

ekzorchik@srv-bionic:~$ sudo useradd -m -p 712mbddr@ -s /bin/bash oxidized

На время даю права повышения привилегий, в конце заметки заберу.

ekzorchik@srv-bionic:~$ sudo usermod -aG sudo oxidized

Шаг №4: Создаю структуру запуска приложения oxidized

ekzorchik@srv-bionic:~$ sudo su - oxidized

oxidized@srv-bionic:~$ oxidized -v

0.26.1

oxidized@srv-bionic:~$

oxidized@srv-bionic:~$ whereis oxidized

oxidized: /usr/local/bin/oxidized

oxidized@srv-bionic:~$ oxidized

edit ~/.config/oxidized/config

oxidized@srv-bionic:~$ mkdir ~/.config/oxidized/crashes

oxidized@srv-bionic:~$ mkdir ~/.config/oxidized/mikrotik/

oxidized@srv-bionic:~$ sudo find / -name oxidized

/home/oxidized

/home/oxidized/.config/oxidized

/run/sudo/ts/oxidized

/usr/local/bin/oxidized

/var/lib/gems/2.5.0/gems/oxidized-web-0.13.1/lib/oxidized

/var/lib/gems/2.5.0/gems/oxidized-0.26.1/lib/oxidized

/var/lib/gems/2.5.0/gems/oxidized-0.26.1/bin/oxidized

/var/lib/gems/2.5.0/gems/oxidized-script-0.6.0/lib/oxidized

/var/lib/gems/2.5.0/doc/oxidized-web-0.13.1/ri/lib/oxidized

oxidized@srv-bionic:~$

Шаг №5: Преднастраиваем GIT для устройств Mikrotik бекапы которых будут хранится в репозитарии:

oxidized@srv-bionic:~$ sudo apt-get install git -y

oxidized@srv-bionic:~$ git config --global user.email "oxidized@ekzorchik.ru"

oxidized@srv-bionic:~$ git config --global user.name "oxidized"

oxidized@srv-bionic:~/.config/oxidized$ git init oxidized.git

Initialized empty Git repository in /home/oxidized/.config/oxidized/oxidized.git/.git/

oxidized@srv-bionic:~/.config/oxidized$ git init devices.git

Initialized empty Git repository in /home/oxidized/.config/oxidized/devices.git/.git/

Шаг №6: Настраиваем конфигурационный файл

oxidized@srv-bionic:~$ nano ~/.config/oxidized/config

---
 
model: routeros
resolve_dns: true
 
#Как часто делать бекапы

interval: 3600
use_syslog: false
debug: false
threads: 30
timeout: 20
retries: 3
prompt: !ruby/regexp /^([w.@-]+[#>]s?)$/
rest: 0.0.0.0:8888
next_adds_job: false
vars: {}
groups: {}
models: {}
pid: "/home/oxidized/.config/oxidized/pid"
log: "/home/oxidized/.config/oxidized/log"
crash:
directory: "/home/oxidized/.config/oxidized/crashes"
hostnames: false
stats:
history_size: 10
input:

#Тип подключения к устройству

default: ssh
 
#Расширенное логирование отключено
 
debug: false
ssh:
secure: false
map:
verify_host_key: never
utf8_encoded: true
 
#где хранится конфигурации GIT
 
output:
default: git
git:
user: oxidized
email: oxidized@ekzorchik.ru
repo: "/home/oxidized/.config/oxidized/oxidized.git"
git:
user: oxidized
email: oxidized@ekzorchik.ru
repo: "/home/oxidized/.config/oxidized/devices/devices.git"

#Откуда берется информация об устройства которые бекапятся
 
source:
default: csv
csv:
file: "/home/oxidized/.config/oxidized/mikrotik/router.db"
delimiter: !ruby/regexp /:/
 
#Структура строки в router.db: name:model:ip:port:username:password
 
map:
name: 0
model: 1
ip: 2
port: 3
username: 4
password: 5
model_map:
cisco: ios
juniper: junos
mikrotik: routeros

На заметку: Если не настроена авторизация на Mikrotik через публичный ключ, т. е. Вход на Mikrotik с одним лишь указанием логина, то в конфигурационный файл oxidized следует добавить параметр: verify_host_key: never

Шаг №7: Копируем публичный ssh—ключ на Mikrotik:

oxidized@srv-bionic:~$ ssh-keygen

Your identification has been saved in /home/oxidized/.ssh/id_rsa.

Your public key has been saved in /home/oxidized/.ssh/id_rsa.pub.

oxidized@srv-bionic:~$ cp ~/.ssh/id_rsa.pub idrsa
 
oxidized@srv-bionic:~$ ftp 172.33.33.22

Connected to 172.33.33.22.

220 MikroTik FTP server (MikroTik 6.42.5) ready

Name (172.33.33.22:ekzorchik): admin

ftp> put idrsa

ftp> quit

oxidized@srv-bionic:~$
 
oxidized@srv-bionic:~$ ssh admin@172.33.33.22
 
[admin@MikroTik] > user ssh-keys import public-key-file=idrsa user=test
 
[admin@MikroTik] > quit

Connection to 172.33.33.22 closed.

oxidized@srv-bionic:~$

oxidized@srv-bionic:~$ ssh test@172.33.33.22 — подключение проходит без каких либо запросов на ввод пароля.

Шаг №8: Теперь создаю файл подключения к оборудованию Mikrotik:

oxidized@srv-bionic:~$ nano ~/.config/oxidized/mikrotik/router.db
 
mikrotik:routeros:172.33.33.22:22:test:Aa1234567

Шаг №9: Проверяю запуск и соответственно на предмет каких-либо ошибок препятствующих запуску:

oxidized@srv-bionic:~$ oxidized ~/.config/oxidized/config

Puma starting in single mode...

* Version 3.11.4 (ruby 2.5.1-p57), codename: Love Song

* Min threads: 0, max threads: 16

* Environment: development

* Listening on tcp://0.0.0.0:8888

Use Ctrl-C to stop

У каждой строчке есть колонка «Actions»

• Первая иконка: Посмотреть текущий конфигурационный файл
• Вторая иконка: Посмотреть историю изменений конфигурационного файла
• Третья иконка: Это запуск процедуры снятия изменения в репозитарий

Шаг №10: См.логи если что-то пошло не так

ekzorchik@srv-bionic:~$ tail -f /home/oxidized/.config/oxidized/log

W, [2019-03-04T11:34:49.491810 #28328] WARN -- : /mikrotik status no_connection, retries exhausted, giving up

I, [2019-03-04T11:36:11.666786 #28380] INFO -- : Oxidized starting, running as pid 28380

I, [2019-03-04T11:36:11.669229 #28380] INFO -- : lib/oxidized/nodes.rb: Loading nodes

I, [2019-03-04T11:36:11.812262 #28380] INFO -- : lib/oxidized/nodes.rb: Loaded 1 nodes

I, [2019-03-04T11:36:14.351899 #28380] INFO -- : Configuration updated for /mikrotik

Шаг №11: Для того, чтобы oxidized стартовал как служба, сделайте следующее:

oxidized@srv-bionic:~$ sudo find / -name oxidized.service

/var/lib/gems/2.5.0/gems/oxidized-0.26.1/extra/oxidized.service

oxidized@srv-bionic:~$ sudo cp /var/lib/gems/2.5.0/gems/oxidized-0.26.1/extra/oxidized.service /lib/systemd/system/

oxidized@srv-bionic:~$ sudo nano /lib/systemd/system/oxidized.service

[Unit]
Description=Oxidized - Network Device Configuration Backup Tool
After=network-online.target multi-user.target
Wants=network-online.target
 
[Service]
ExecStart=/usr/local/bin/oxidized
User=oxidized
KillSignal=SIGKILL
Environment="OXIDIZED_HOME=/home/oxidized/.config/oxidized/"
 
[Install]
WantedBy=multi-user.target

oxidized@srv-bionic:~$ sudo systemctl enable oxidized.service

Created symlink /etc/systemd/system/multi-user.target.wants/oxidized.service → /lib/systemd/system/oxidized.service.

oxidized@srv-bionic:~$ sudo systemctl start oxidized

oxidized@srv-bionic:~$ sudo systemctl status oxidized | head -n5

● oxidized.service - Oxidized - Network Device Configuration Backup Tool

Loaded: loaded (/lib/systemd/system/oxidized.service; enabled; vendor preset: enabled)

Active: active (running) since Mon 2019-03-04 12:16:53 MSK; 9s ago

Main PID: 29039 (oxidized)

Tasks: 7 (limit: 2322)

Проверяю, что ожидаются соединения на порт 8888

oxidized@srv-bionic:~$ sudo netstat -tulpn | grep :8888

tcp 0 0 127.0.0.1:8888 0.0.0.0:* LISTEN 29039/puma 3.11.4 (

oxidized@srv-bionic:~$

Шаг №12: По умолчанию у сервиса нет возможности указать авторизацию, а потому в конфиге config изменяю доступ на 172.0.0.1

oxidized@srv-bionic:~$ nano ~/.config/oxidized/config

#rest: 0.0.0.0:8888

rest: 127.0.0.1:8888

oxidized@srv-bionic:~$ sudo apt-get install nginx -y

oxidized@srv-bionic:~$ sudo rm /var/www/html/index.nginx-debian.html

oxidized@srv-bionic:~$ sudo unlink /etc/nginx/sites-available/default

oxidized@srv-bionic:~$ sudo unlink /etc/nginx/sites-enabled/default

Создаю файл связки логина и пароля для аутентификации через Web—интерфейс:

oxidized@srv-bionic:~$ sudo sh -c "echo -n 'ekzorchik:' >> /var/www/html/.htpasswd"

oxidized@srv-bionic:~$ openssl passwd -apr1

Password: 712mbddr@

Verifying - Password: 712mbddr@

$apr1$rwseclUD$ANBsXcpdvR.07mthC2PLO.

oxidized@srv-bionic:~$ sudo sh -c "openssl passwd -apr1 >> /var/www/html/.htpasswd"

Password: 712mbddr@

Verifying - Password: 712mbddr@

oxidized@srv-bionic:~$ cat /var/www/html/.htpasswd

ekzorchik:$apr1$V6ZTHWcF$bdDbxqPJAQAzfdXw7Z9n/0

oxidized@srv-bionic:~$ sudo chown -R www-data:www-data /var/www/html/.htpasswd

oxidized@srv-bionic:~$ sudo nano /etc/nginx/sites-available/oxidized

server { 
listen 172.33.33.4:80; 
server_name _; 
root /usr/share/nginx/html; 
include /etc/nginx/default.d/*.conf; 
location / { 
auth_basic "UserName and Password Please"; 
auth_basic_user_file /var/www/html/.htpasswd; 
proxy_pass http://127.0.0.1:8888/; 
} 
}

oxidized@srv-bionic:~$ sudo ln -s /etc/nginx/sites-available/oxidized /etc/nginx/sites-enabled/oxidized

oxidized@srv-bionic:~$ sudo nginx -t

nginx: the configuration file /etc/nginx/nginx.conf syntax is ok

nginx: configuration file /etc/nginx/nginx.conf test is successful

oxidized@srv-bionic:~$ sudo systemctl restart nginx && sudo systemctl status nginx | head -n5

● nginx.service - A high performance web server and a reverse proxy server

Loaded: loaded (/lib/systemd/system/nginx.service; enabled; vendor preset: enabled)

Active: active (running) since Mon 2019-03-04 12:19:27 MSK; 34ms ago

Docs: man:nginx(8)

Process: 29084 ExecStop=/sbin/start-stop-daemon --quiet --stop --retry QUIT/5 --pidfile /run/nginx.pid (code=exited, status=0/SUCCESS)

oxidized@srv-bionic:~$

Работает! Итого я для себя разобрал, как использовать инструмент oxidized на Ubuntu 18.04 Server amd64 для создания резервных копий с оборудования Mikrotik и просмотра внесенных изменений через Web-интерфейс с применением системы контроля версий на базе GIT. Жалко что нельзя использовать Mercurial — мне данная система контроля версий ближе, у меня все на ней построено: скрипты, конфигурационные файлы и т. д. А пока на этом у меня всё, с уважением автор блога Олло Александр aka ekzorchik.

Источник: https://www.ekzorchik.ru/2019/03/backing-up-mikrotik-via-oxidized/

Git проекта: https://github.com/ytti/oxidized