Архив метки: Linux

Команда tail Linux

Все знают о команде cat, которая используется для просмотра содержимого файлов. Но в некоторых случаях вам не нужно смотреть весь файл, иногда достаточно посмотреть только то, что находится в конце файла. Например, когда вы хотите посмотреть содержимое лог файла, то вам не нужно то, с чего он начинается, вам будет достаточно последних сообщений об ошибках.




Для этого можно использовать команду tail, она позволяет выводить заданное количество строк с конца файла, а также выводить новые строки в интерактивном режиме. В этой статье будет рассмотрена команда tail Linux.




КОМАНДА TAIL В LINUX




Перед тем как мы будем рассматривать примеры tail linux, давайте разберем ее синтаксис и опции. А синтаксис очень прост:




$ tail опции файл




По умолчанию утилита выводит десять последних строк из файла, но ее поведение можно настроить с помощью опций:




  • -c — выводить указанное количество байт с конца файла;
  • -f — обновлять информацию по мере появления новых строк в файле;
  • -n — выводить указанное количество строк из конца файла;
  • —pid — используется с опцией -f, позволяет завершить работу утилиты, когда завершится указанный процесс;
  • -q — не выводить имена файлов;
  • —retry — повторять попытки открыть файл, если он недоступен;
  • -v — выводить подробную информацию о файле;




В качестве значения параметра -c можно использовать число с приставкой b, kB, K, MB, M, GB, G T, P, E, Z, Y. Еще есть одно замечание по поводу имен файлов. По умолчанию утилита не отслеживает изменение имен, но вы можете указать что нужно отслеживать файл по дескриптору, подробнее в примерах.




ИСПОЛЬЗОВАНИЕ TAIL




Теперь, когда вы знаете основные опции, рассмотрим приемы работы с утилитой. Самый простой пример — выводим последние десять строк файла:




tail /var/log/syslog







Если вам недостаточно 10 строк и нужно намного больше, то вы можете увеличить этот параметр с помощью опции -n:




tail -n 100 /var/log/syslog







Когда вы хотите отслеживать появление новых строк в файле, добавьте опцию -f:




tail -f /var/log/syslog







Вы можете открыть несколько файлов одновременно, просто перечислив их в параметрах:




tail /var/log/syslog /var/log/Xorg.0.log







С помощью опции -s вы можете задать частоту обновления файла. По умолчанию данные обновляются раз в секунду, но вы можете настроить, например, обновление раз в пять секунд:




tail -f -s 5 /var/log/syslog







При открытии нескольких файлов будет выводиться имя файла перед участком кода. Если вы хотите убрать этот заголовок, добавьте опцию -q:




tail -q var/log/syslog /var/log/Xorg.0.log







Если вас интересует не число строк, а именно число байт, то вы можете их указать с помощью опции -c:




tail -c 500 /var/log/syslog







Для удобства, вы можете выбирать не все строки, а отфильтровать интересующие вас:




tail -f /var/log/syslog | grep err







Особенно, это полезно при анализе логов веб сервера или поиске ошибок в реальном времени. Если файл не открывается, вы можете использовать опцию retry чтобы повторять попытки:




tail -f --retry /var/log/syslog | grep err




Как я говорил в начале статьи, по умолчанию опция -f или —follow отслеживает файл по его имени, но вы можете включить режим отслеживания по дескриптору файла, тогда даже если имя измениться, вы будете получать всю информацию:




tail --follow=descriptor /var/log/syslog | grep err







ВЫВОДЫ




В этой статье была рассмотрена команда tail linux. С помощью нее очень удобно анализировать логи различных служб, а также искать в них ошибки. Надеюсь, эта информация была полезной для вас.




Источник: https://losst.ru/komanda-tail-linux



2021-03-10T23:37:18
Утилиты командной строки

Шпаргалка по tmux

Tmux — это терминальный мультиплексор или иными словами, вы можете в одном терминале запустить несколько терминальных сессий и переключаться между ними или даже разместить их в одном окне, а также отключиться от сессии оставив её работать в фоне, а затем вернуться и посмотреть результат, это может быть очень удобно при работе по SSH. Если вы раньше пользовались утилитой screen, то tmux — это её аналог, который имеет намного больше функций.




Эта статья — небольшая шпаргалка по Tmux, в которой мы разберем установку программы, основные её возможности и команды, а также некоторые приемы использования. После прочтения статьи вы сможете полноценно пользоваться утилитой.




УСТАНОВКА TMUX




Здесь все просто. Для установки программы в Ubuntu выполните следующую команду:




sudo apt install tmux







А для установки в CentOS:




sudo yum install tmux




СИНТАКСИС И ОПЦИИ КОМАНДЫ TMUX




Синтаксис команды предельно простой, для создания новой сессии достаточно запустить утилиту без параметров. Для подключения к уже существующей придется использовать дополнительные опции. Вот основной синтаксис:




tmux команда опции




Что касается опций, то в большинстве вам придется использовать только две — это -t (target) — которая указывает цель, к которой будет применяться команда, например, идентификатор сессии или подключенного клиента, а также -s (session) — который обычно используется для обозначения источника, над которым будет выполняться действие.




Команды tmux для управления сессиями, которые вы можете использовать:




  • attach-session (attach) — подключиться к уже существующей сессии. В параметре необходимо передать опцию -t и идентификатор сессии;
  • detach-session (detach) — отключить всех клиентов (или переданного с помощью опции -t) от сессии, переданной в опции -s;
  • has-session — проверить существует ли сессия, аналогично, надо передать идентификатор сессии;
  • kill-server — остановить все запущенные сессии;
  • kill-session — завершить сессию переданную в параметре -t;
  • list-clients — посмотреть клиентов, подключенных к сессии -t;
  • list-sessions (ls) — вывести список всех запущенных сессий;
  • new-session — создать новую сессию, можно передать имя сессии в опции -s и стартовую директорию в опции -c;
  • rename-session — переименовать сессию, нужно передать идентификатор сессии и новое имя;




Конечно, у tmux намного больше команд, но мы не будем рассматривать их в этой статье. В основном, команды будут использоваться для подключения и отключения от сессий, все остальные действия выполняются с помощью горячих клавиш и их тут тоже достаточно.




По умолчанию для активации сочетания клавиш нужно нажать Ctrl+B, отпустить, а потом нажать нужную клавишу. Вот основные сочетания клавиш tmux, которые вам понадобятся:




  • Ctrl+b c — создать новое окно;
  • Ctrl+b w — выбрать окно из списка;
  • Ctrl+b 0-9 — открыть окно по его номеру;
  • Ctrl+b , — переименовать текущее окно;
  • Ctrl+b % — разделить текущую панель по горизонтали;
  • Ctrl+b « — разделить текущую панель по вертикали;
  • Ctrl+b стрелка — перейти на панель, находящуюся в стороне, куда указывает стрелка;
  • Ctrl+b Ctrl+стрелка — изменить размер текущей панели;
  • Ctrl+b o — перейти на следующую панель;
  • Ctrl+b ; — переключаться между текущей и предыдущей панелью;
  • Ctrl+b x — закрыть текущую панель;
  • Ctrl+b [ — войти в режим копирования (подробнее ниже);
  • Ctrl+b ] — вставить из внутреннего буфера обмена tmux;
  • Ctrl+b d — отключится от текущей сессии;
  • Ctrl+b : — открыть командную строку.




Для начала работы этих горячих клавиш будет достаточно. Шпаргалка tmux завершена, теперь перейдем к примерам работы с программой.




КАК ПОЛЬЗОВАТЬСЯ TMUX




1. СОЗДАНИЕ СЕССИИ




Чтобы создать новую сессию достаточно выполнить команду без параметров:




tmux




Также можно создать сессию командой new-session и задать ей удобное имя:




tmux new-session -s losst







2. РАЗДЕЛЕНИЕ ОКНА НА ПАНЕЛИ




Окно сессии можно разделить на несколько панелей. Чтобы выполнить разделение по горизонтали нажмите Ctrl+b отпустите, а затем нажмите Shift+»:







Аналогично можно разделить панель по вертикали, нажав Ctrl+b, а затем Shift+%:







Размер активной панели можно менять нажав Ctrl+b, а потом Ctrl и стрелка:







А для переключения между панелями используйте клавиши Ctrl+b и стрелка. Сначала не привычно, но потом удобно.




3. ПОДДЕРЖКА МЫШКИ




По умолчанию поддержка мышки отключена, но если вы работаете в графическом окружении, вы можете её включить. Это даст несколько преимуществ: вы сможете выбирать активную панель мышкой, копировать текст во внутренний буфер обмена, менять размер панелей, использовать прокрутку для просмотра истории вывода и так далее. Для этого откройте файл ~/.tmux.conf и добавьте туда следующие строки:




nano ~/.tmux.conf




set-option -g -q mouse on

bind-key -T root WheelUpPane if-shell -F -t = "#{alternate_on}" "send-keys -M" "select-pane -t =; copy-mode -e; send-keys -M"

bind-key -T root WheelDownPane if-shell -F -t = "#{alternate_on}" "send-keys -M" "select-pane -t =; send-keys -M"







Сохраните изменения, нажмите Ctrl+b :, а потом выполните такую команду чтобы перезагрузить tmux:




source ~/.tmux.conf







Настройка tmux завершена, теперь мышь будет работать.




4. КОПИРОВАНИЕ И ВСТАВКА




Одна из достаточно важных операций при работе с терминалом — это возможность что-то скопировать и куда-то перенести. После активации поддержки мышки вы можете просто выделить участок текста мышкой и он автоматически скопируется во внутренний буфер tmux.







Если вы хотите иметь возможность скопировать в системный буфер обмена, перед тем как выполнять действия мышкой зажмите Shift:







Кроме того, в tmux есть управление копированием и вставкой с помощью клавиш. Для перехода в режим копирования нажмите Ctrl+B [, затем переместите курсор к нужному месту с помощью стрелок. Кстати, этот режим можно использовать также для прокрутки. Потом нажмите Ctrl+пробел для начала выделения, выделите нужный фрагмент стрелками и нажмите Ctrl+w для копирования.







Чтобы вставить текст из внутреннего буфера обмена нужно нажать сочетание клавиш Ctrl+b ]. Для выхода из режима копирования используйте q или Esc.




5. ОКНА TMUX




Кроме панелей в tmux можно открывать окна. Это аналог рабочих столов в Linux. Каждое окно привязано к определенной цифровой кнопке и имеет свой набор панелей. Для создания нового окна нажмите Ctrl+b c:







Список окон выводится внизу окна терминала. Для переключения на нужное окно нажмите Ctrl+b и номер окна.




6. ОТКЛЮЧЕНИЕ ОТ СЕССИИ




Чтобы отключиться от текущей сессии достаточно нажать сочетание клавиш Ctrl+b d.




После отключения все запущенные в сессии программы продолжат работать и вы всегда сможете снова подключиться и посмотреть их вывод. Это удобно при подключении по SSH, которое всегда может разорваться.




7. ПОДКЛЮЧЕНИЕ К СЕССИИ




Посмотреть список сессий можно командой ls:




tmux ls







А для подключения используйте attach:




tmux attach -t losst







Ещё можно посмотреть список клиентов, подключенных к сессии:




tmux lc







ВЫВОДЫ




В этой статье мы разобрали основные команды tmux, а также как пользоваться этой утилитой. Я для себя открыл tmux не давно. Слышал о программе довольно давно, но никак не доходили руки попробовать, а потом попробовал и уже не могу без неё обойтись.




Источник: https://losst.ru/shpargalka-po-tmux



2021-03-10T23:31:45
Утилиты командной строки

Как пользоваться iperf

Утилита iperf — это генератор сетевого трафика, предназначенный для проверки скорости и пропускной способности сети. Программа кроссплатформена, и распространяется с открытым исходным кодом. Вы можете использовать её для проверки пропускной способности VPS серверов или для настройки и улучшения производительности сети.




Программа состоит из клиентской и серверной части, поэтому для работы вам понадобится как минимум два компьютера, подключённых к сети. В этой статье мы рассмотрим как установить и как пользоваться iperf. Обратите внимание, что мы будем говорить об последней версии программы iperf3.




УСТАНОВКА IPERF




Как я уже сказал, программа кроссплатформенная, поэтому вы можете использовать её как в Windows, так и в Linux. Для установки в Ubuntu или Debian выполните:




sudo apt install iperf3







А для установки iperf в CentOS или Fedora:




sudo dnf install iperf3




В Windows программа ставится немного по другому. Просто скачайте утилиту из официального сайта и распакуйте куда-нибудь. Сразу же после этого вы сможете её использовать.




СИНТАКСИС И ОПЦИИ IPERF




Поскольку утилита имеет как серверную часть так и клиентскую, надо рассматривать обе отдельно. Для запуска сервера используется такой синтаксис:




$ iperf3 -s опции




Для запуска клиента используется ключ -c, которому надо передать адрес сервера:




$ iperf3 -c адрес_сервера опции




Теперь давайте рассмотрим общие опции программы:




  • -p, —port — указать порт для сервера или к какому порту надо подключаться;
  • -f, —format — формат выводимых данных, доступны значения: k,m,g,t,K,M,G,T;
  • -i, —interval — интервал времени между выводами результата тестирования;
  • -F, —file — использовать данные из файла вместо генерации случайных данных;
  • -V, —verbose — вывод максимально подробной информации;
  • -J, —json — вывод в формате JSON;
  • —logfile — записывать информацию в лог файл;
  • —forceflush — очищать историю вывода перед выводом следующего результата тестирования;
  • -v, —version — версия программы.




Теперь разберемся с опциями только для серверной части:




  • -D, —daemon — запустить сервер в фоновом режиме;
  • -I, —pidfile — путь для записи PID файла процесса;
  • -1, —one-off — обработать только одно подключение клиента, а затем выйти.




У клиентской части опций чуть больше:




  • —sctp — использовать SCTP вместо TCP;
  • -u, —udp — использовать UDP вместо TCP;
  • —connect-timeout — таймаут для первого соединения с сервером в миллисекундах;
  • -b, —bitrate — битрейт, для UDP используется по умолчанию 1 Мбит/сек, для TCP не ограничено;
  • -t, —time — время одного теста в секундах, по умолчанию 10 секунд;
  • -R, —reverse — обратный тест, не клиент отправляет данные серверу, а сервер клиенту;
  • -P — количество потоков;
  • -w — размер окна TCP;
  • -4, —version4 — использовать только IPv4;
  • -6, —version6 — использовать только IPv6.




Мы рассмотрели далеко не все опции, а только самые интересные и те, которые будут использоваться в нашей статье. Для просмотра всех опций выполните такую команду после установки программы:




man iperf3




Теперь вы знаете как установить iperf, а также основные её опции, но на этом инструкция не заканчивается. Дальше давайте перейдем к примерам использования iperf3.




КАК ПОЛЬЗОВАТЬСЯ IPERF




Для примеров я буду использовать сервер с адресом 192.168.0.101. Адрес клиента не имеет значения. Сначала необходимо запустить серверную часть программы. Для этого выполните:




iperf3 -s







Вы можете сразу указать в каких единицах измерения хотите видеть результаты. Для этого используется опция -f. Доступны такие варианты:




  • k — килобиты;
  • m — мегабиты;
  • g — гигабиты;
  • K — килобайты;
  • M — мегабайты;
  • G — гигабайты;
  • T — терабайты.




Например:




iperf3 -s -f K




Аналогично для сервера можно задать порт с помощью опции -p. По умолчанию он работает на порту 5201:




ipref3 -s -p 4000




В любом случае, если на сервере установлен брандмауэр, то вам надо разрешить в нём подключение к порту 5201 или тому, который вы выбрали. Например, для ufw команда будет выглядеть так:




sudo ufw allow 5201




А для firewalld:




sudo firewall-cmd --permanent --add-port=5201/tcp

sudo firewall-cmd --permanent --add-port=5201/udp

sudo firewall-cmd --reload




И если вы хотите запустить программу в фоновом режиме, можете использовать опцию -D и перенаправить вывод в лог файл:




iperf3 -s -D --logfile /var/log/ipref.log




Убедится, что сервер запущен можно с помощью команды ss:




ss -tulpn | grep 5201







Обратите внимание на IP адрес, на котором слушает сервер, звездочка означает IPv4 соединения, а [::] — IPv6. Поэтому, возможно вам придется вручную указать откуда надо ждать подключений:




iperf3 -s -4 -D --logfile /var/log/ipref.log




Теперь к серверу можно подключаться. Для этого используйте опцию -c. Если вы меняли порт сервера, то здесь его надо указать с помощью опции -p:




iperf3 -c 192.168.0.101 -f K







В данном примере тест выполняется 10 секунд. Чтобы понять какая сейчас у вас пропускная способность сети следует смотреть на колонку Bitrate. Обращайте внимание на строки под чертой, они отображают среднее значение. В данном примере было передано 113 мебабайт со скоростью 11534 килобайт в секунду.




По умолчанию утилита выводит промежуточный результат каждую секунду, вы можете изменить это поведение с помощью опции -i. Например, 5 секунд:




iperf3 -c 192.168.0.101 -f M -i 5







А общую продолжительность теста можно задать с помощью опции -t. Например, 30 секунд:




iperf3 -c 192.168.0.101 -f M -i 5 -t 30




По умолчанию клиент отправляет данные серверу. Вы можете использовать опцию -R, чтобы сервер отправлял данные клиенту:




iperf3 -c 192.168.0.101 -f K -R







Если вы хотите видеть вывод сервера на клиенте, достаточно использовать опцию —get-server-output:




iperf3 -c 192.168.0.101 -f K --get-server-output




С помощью опции -P можно указать количество параллельных потоков тестирования, например, два:




iperf3 -c 192.168.0.101 -f K -P 2




Чтобы использовать UDP пакеты вместо TCP используйте опцию -u:




iperf3 -c 192.168.0.101 -f K -u







Если вы хотите узнать скорость работы вашего сетевого провайдера и у вас нет сервера в сети, можете использовать один из публичных iperf серверов. Полный список таких серверов можно найти здесь. Например:




iperf3 -c iperf.volia.net







ВЫВОДЫ




В этой статье мы рассмотрели как пользоваться iperf 3 для проверки пропускной способности сети, а также разобрались как узнать скорость вашего провайдера с помощью публичных серверов iperf. Как видите, всё не так уж сложно. А какие вы используете утилиты для проверки скорости работы сети? Напишите в комментариях!




Источник: https://losst.ru/kak-polzovatsya-iperf



2021-03-10T23:25:19
Утилиты командной строки

Как добавить команду в Cron

При администрировании и настройке серверов очень часто надо настраивать автоматическое выполнение определенных скриптов или программ через равные промежутки времени. Это может быть резервное копирование, отправка отчётов о состоянии сервера или другие тому подобные вещи.




Служба cron — это стандартный планировщик задач в Linux. С помощью него вы можете запланировать выполнение команды или скрипта один или несколько раз, в определенную минуту, час, день, неделю и месяц. В этой статье мы подробно рассмотрим как выполняется настройка Cron в Linux на примере дистрибутива Ubuntu.




КАК ПОСМОТРЕТЬ ЗАДАНИЯ CRON




Думаю, что начать следует не с настройки, а именно как посмотреть уже настроенные задачи cron. На самом деле задачи хранятся в трёх местах:




  • База данных crontab — здесь хранятся все записи cron пользователя, которые вы настраиваете вручную;
  • /etc/crontab и /etc/cron.d/ — системные записи cron и записи cron различных пакетов;
  • /etc/cron.hourly, /etc/cron.daily, /etc/cron.weekly, /etc/cron.monthly — здесь лежат скрипты, которые надо выполнять раз в час, день, неделю и месяц соответственно, обычно эти папки используются различными пакетами, но вы тоже можете их использовать для своих скриптов.




Чтобы посмотреть задания cron добавленные текущим пользователем используйте команду crontab и опцию -l:




crontab -l




Все задачи cron разделены по пользователям, и команды из этих задач будут выполнятся от имени того пользователя, для которого они были добавлены. Чтобы посмотреть задачи другого пользователя используйте опцию -u:




sudo crontab -u root -l




А теперь давайте поговорим о том, как добавить команду cron для нужного вам пользователя.




ДОБАВЛЕНИЕ КОМАНДЫ В CRON




Чтобы добавить задание cron из терминала можно использовать утилиту crontab. Для открытия временного файла с текущими заданиями этого пользователя выполните:




crontab -e




Все запланированные действия будут выполнятся от текущего пользователя, если вы хотите указать другого пользователя используйте опцию -u:




sudo crontab -u имя_пользователя -e




Команда откроет текстовый редактор, где вы сможете добавлять или редактировать задания cron. Будет использован установленный по умолчанию редактор, например, vim:







Каждая задача формируется следующим образом:




минута(0-59) час(0-23) день(1-31) месяц(1-12) день_недели(0-7) /полный/путь/к/команде




Чтобы подставить любое значение используйте звездочку «*«. Первые пять параметров характеризуют время выполнения, а последний, это путь к команде или скрипту, который нужно выполнить. Обратите внимание, что значение переменной PATH здесь не действует, поэтому путь надо писать полностью либо объявлять свою переменную PATH в начале файла настройки. Давайте сделаем простой скрипт, который будет выводить в лог дату своего запуска и поможет отладить всё это:




sudo vi /usr/local/bin/script.sh




#!/bin/bash

echo $(date) >> /var/log/testcron.log







Сделайте скрипт исполняемым:




sudo chmod ugo+x /usr/local/bin/script.sh




Самый простой пример как запускать cron каждую минуту. Вместо всех параметров ставим просто звездочку:




* * * * * /usr/local/bin/script.sh







Или только в нулевую минуту, то есть в начале каждого часа или другими словами запуск cron каждый час:




0 * * * * /usr/local/bin/script.sh




Можно указать несколько значений через запятую, для того чтобы определить несколько точек запуска. Например, будем запускать скрипт cron каждые 15 минут:




0,14,29,44 * * * * /usr/local/bin/script.sh




Можно записывать значения через дефис чтобы указывать промежутки точек запуска. Например, для того чтобы запускать скрипт каждую минуту, но только первые 10 минут каждого часа используйте:




0-10 * * * * /usr/local/bin/script.sh




Чтобы чтобы настроить интервал выполнения более тонко можно использовать слеш (/) с помощью этого символа и звездочки можно указать шаг с которым будет выполнятся команда. Например, каждые пять минут:




0/5 * * * * /usr/local/bin/script.sh




Чтобы запустить cron каждые 10 минут используйте:




0/10 * * * * /usr/local/bin/script.sh




А для запуска cron каждые 30 минут:




0/30 * * * * /usr/local/bin/script.sh




Аналогичным образом задаются часы, например, выполнять скрипт только 6:00 и 18:00:




0 6,18 * * * /usr/local/bin/script.sh




А вот запустить cron каждую секунду или раз в 30 секунд не получится. Минимальная единица времени в cron это минута. Но можно создать команду, которая будет запускаться раз в минуту и по 30 секунд спать и затем снова делать:




* * * * * /usr/local/bin/script.sh && sleep 30 && /usr/local/bin/script.sh




Это довольно плохой подход и лучше так не делать. Кроме того, для экономии времени при работе с cron можно использовать специальные слова-маркеры времени. Вот они:




  • @reboot — при перезагрузке;
  • @yearly, @annually — раз в год (0 0 1 1 *);
  • @monthly — раз в месяц (0 0 1 * *);
  • @weekly — раз в неделю (0 0 * * 0);
  • @daily, @midnight — раз в день в полночь (0 0 * * *);
  • @hourly — раз в час (0 * * * *).




Для подбора правильной комбинации даты можно использовать сервис crontab.guru. Он позволяет в реальном времени посмотреть когда будет выполнено то или иное условие:







Когда настройка cron linux будет завершена, сохраните изменения и закройте файл. Для этого в Nano нажмите Ctrl+O для сохранения и Ctrl+X для закрытия редактора, а в Vim нажмите Esc и наберите :wq. Теперь новые задания Cron будут добавлены и активированы. Посмотреть как выполняется ваш Cron вы можете с помощью скрипта, который я привел выше либо в лог файле. Сервис cron пишет свои логи в стандартный журнал syslog. В Ubuntu они сохраняются в файле /var/log/syslog:




cat /var/log/syslog | grep CRON







Если во время работы возникнут ошибки cron, они тоже будут здесь. Если же вам надо добавить задание Cron из какого либо скрипта, то вы всегда можете поместить свой скрипт в папку /etc/cron.d или /cron/hourly,… чтобы выполнять его когда надо, только не забудьте сделать скрипт исполняемым.




ВЫВОДЫ




В этой статье мы разобрались как выполняется настройка cron linux на примере Ubuntu. Как видите, все только кажется сложным, но на самом деле просто если разобраться.




Источник: https://losst.ru/kak-dobavit-komandu-v-cron



2021-03-10T23:09:16
Утилиты командной строки

Примеры синхронизации Rsync

Потребность передачи файлов между серверами и компьютерами возникает довольно часто, особенно при администрировании нескольких устройств. Обычно для этих целей удобно использовать ssh и scp, но если файл очень большой, а изменена была только небольшая его часть, или вы хотите настроить постоянную автоматическую синхронизацию, то scp уже явно неидеальный вариант. Для этого существуют специальные утилиты. В этой статье мы рассмотрим одну из них. А именно будет рассмотрена rsync синхронизация в linux.




Rsync — это программное обеспечение с открытым исходным кодом, которое можно использовать для синхронизации файлов и папок с локального компьютера на удаленный и наоборот. Примечательная особенность Rsync — возможность передавать зашифрованные файлы с помощью SSH и SSL. Кроме того, здесь передача файлов выполняется в один поток, в отличие от других подобных программ, создающий отдельный поток для передачи каждого файла. Это увеличивает скорость и убирает дополнительные задержки, которые становятся проблемой при передаче большого количества маленьких файлов.




Возможно использование rsync для синхронизации файлов, каталогов, при этом может применяться сжатие и шифрование. Программа впервые была применена в июне 1996 года, она разработана Эндрю Тридгелом и Полом Маккерасом. Rsync синхронизация выполняется по протоколу RSYNC, который специально разработан не просто для передачи файлов между двумя компьютерами, а для их синхронизации. Если точнее, то передается не файл полностью, а только то, что было изменено.




Как вы уже поняли, в этой статье мы рассмотрим rsync примеры синхронизации, настройку rsync, а также ее основные возможности и опции.




ОСОБЕННОСТИ RSYNC




Давайте сначала рассмотрим примечательные особенности Rsync:




  • Возможность поддерживать синхронизацию целых деревьев каталогов;
  • Можно сохранять символические ссылки, жесткие ссылки,  владельцев и права файла, метаданные и время создания;
  • Не требует особых привилегий;
  • Передача файлов одним потоком;
  • Поддержка RSH, SSH в качестве транспорта;
  • Поддержка анонимного Rsync.




СИНТАКСИС RSYNC




Мы не будем подробно останавливаться на установке этой утилиты в системе. Она очень популярна, поэтому вы можете установить ее с помощью своего пакетного менеджера из официальных репозиториев. В Ubuntu команда установки будет выглядеть вот так:




 sudo apt-get install rsync




А теперь, уже по традиции подобных статей, рассмотрим синтаксис команды rsync:




$ rsync опции источник приемник




В качестве источника и приемника может выступать удаленная или локальная директория. Например, ssh, rsync, samba сервер или локальная директория. Опции задают дополнительные параметры rsync.




ОПЦИИ RSYNC




Теперь давайте кратко рассмотрим параметры rsync. Здесь перечислены не все опции. Для более подробной информации смотрите man rsync:




  • -v — Выводить подробную информацию о процессе копирования;
  • -q — Минимум информации;
  • -c — Проверка контрольных сумм для файлов;
  • -a — Режим архивирования, когда сохраняются все атрибуты оригинальных файлов;
  • -R — Относительные пути;
  • -b — Создание резервной копии;
  • -u — Не перезаписывать более новые файлы;
  • -l — Копировать символьные ссылки;
  • -L — Копировать содержимое ссылок;
  • -H — Копировать жесткие ссылки;
  • -p — Сохранять права для файлов;
  • -g — Сохранять группу;
  • -t — Сохранять время модификации;
  • -x — Работать только в этой файловой системе;
  • -e — Использовать другой транспорт, например, ssh;
  • -z — Сжимать файлы перед передачей;
  • —delete — Удалять файлы которых нет в источнике;
  • —exclude — Исключить файлы по шаблону;
  • —recursive — Перебирать директории рекурсивно;
  • —no-recursive — Отключить рекурсию;
  • —progress — Выводить прогресс передачи файла;
  • —stat — Показать статистику передачи;
  • —version — Версия утилиты.




НАСТРОЙКА СЕРВЕРА RSYNC




Как вы понимаете, нельзя просто так взять и закинуть на первую попавшуюся машину файлы без установки на нее специального программного обеспечения. На удаленной машине должен быть установлен и настроен RSYNC, SSH, Samba или FTP сервер, с помощью которого Rsync сможет авторизоваться на машине и передавать туда файлы.




Рассмотрим минимальную настройку сервера rsync, для того чтобы могло быть выполнено копирование файлов rsync. Он позволит нам не только синхронизировать файлы на машину, но и получать их от туда.




Сначала создайте конфигурационный файл со следующим содержимым:




sudo vi /etc/rsyncd.conf

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsync.log

[share]

path = /tmp/share/

hosts allow = 192.168.56.1

hosts deny = *

list = true

uid = root

gid = root

read only = false







Здесь мы задаем путь к нашей папке для синхронизации, разрешаем доступ к серверу только с ip адреса (192.168.56.1) и запрещаем все остальные подключения. Параметры uid и gid указывают пользователя и группу, от которых будет запущен демон. Лучше не использовать root, а указать пользователя nobody и выдать ему права на ту папку, в которую будет выполняться синхронизация каталогов rsync.




Настройка rsync завершена, остается сохранить файл, запустить сервер rsync и добавить его в автозагрузку:




sudo systemctl start rsync

sudo systemctl enable rsync







Сервер будет предоставлять доступ к файлам без запроса пароля.




ПРИМЕРЫ СИНХРОНИЗАЦИИ RSYNC




Дальше давайте рассмотрим использование rsync, примеры синхронизации.




1. КОПИРОВАНИЕ И СИНХРОНИЗАЦИЯ ФАЙЛОВ НА ЛОКАЛЬНОМ КОМПЬЮТЕРЕ




Rsync позволяет синхронизировать файлы и папки в пределах одной машины. Давайте сначала рассмотрим использование rsync для синхронизации файла на локальном компьютере:




rsync -zvh file /tmp/backups/







Указав опцию —progress вы можете видеть сколько процентов уже скопировано, а сколько еще осталось:




rsync -zvh --progress file /tmp/backups/







2. СИНХРОНИЗАЦИЯ ПАПОК НА ЛОКАЛЬНОЙ МАШИНЕ




Синхронизация папок rsync выполняется так же просто, как и файлов:




rsync -zvh /home/user/documents /tmp/backups/




Если вы хотите, чтобы все атрибуты файлов, такие, как дата изменения и создания сохранялись, необходимо использовать опцию -a:




rsync -azvh /home/user/documents /tmp/backups/







3. СИНХРОНИЗАЦИЯ С УДАЛЕННЫМ СЕРВЕРОМ




Ненамного сложнее синхронизировать файлы с удаленным сервером. Скопируем локальную папку documents, на удаленный сервер:




 rsync -avz /home/sergiy/tmp/ root@192.168.56.102:/home/




По умолчанию rsync попытается использовать транспорт ssh. Если вы хотите использовать ранее созданный сервер rsync, нужно указать это явно:




rsync -avz /home/sergiy/tmp/ rsync://192.168.56.102:/share




Точно также можно синхронизировать файлы с rsync из удаленного сервера:




rsync -avz root@192.168.56.102:/home/ /home/sergiy/tmp/




Адрес удаленного сервера записывается в таком формате:




имя_пользователя@адрес_машины/папка/на/удаленной_машине




Синхронизация папок rsync будет выполняться на стандартном порту.




4. СИНХРОНИЗАЦИЯ ФАЙЛОВ ПО SSH




Чтобы задать протокол подключения используется опция -e. При использовании SSH все передаваемые данные шифруются и передаются по защищенному каналу, таким образом, чтобы никто не мог их перехватить. Для использования SSH вам нужно знать пароль пользователя в системе.




Синхронизация файлов rsync с удаленного сервера по ssh будет выглядеть вот так:




 rsync -avzhe ssh root@192.168.56.102:/root/install.log /tmp/




Если вы используете другой порт для ssh, то здесь его можно указать:




rsync -avzhe "ssh -p 22" root@192.168.56.102:/root/install.log /tmp/







А теперь передадим данные на тот же сервер:




 rsync -avzhe ssh backup.tar root@192.168.0.101:/backups/




5. ПРОСМОТР ПРОГРЕССА ПРИ СИНХРОНИЗАЦИИ




Для просмотра прогресса копирования файла с одной машины на другую используется опция progress:




 rsync -avzhe ssh --progress /home/user/documents root@192.168.56.102:/root/documents




6. СИНХРОНИЗАЦИЯ НЕ ВСЕХ ФАЙЛОВ В RSYNC




Опции include и exclude позволяют указать какие файлы нужно синхронизировать, а какие исключить. Опции работают не только с файлами но и с директориями.




Например, скопируем все файлы, начинающиеся на букву R:




 rsync -avze ssh --include 'R*' --exclude '*' root@192.168.56.102:/root/documents/ /root/documents




7. УДАЛЕНИЕ ПРИ СИНХРОНИЗАЦИИ




Во время синхронизации можно удалять файлы, которых нет на машине откуда идет rsync синхронизация, для этого используется опция —delete.




Например:




 rsync -avz --delete root@192.168.56.102:/documents/ /tmp/documents/




Если перед выполнением этой команды создать в папке файл которого нет на удаленном сервере, то он будет удален.




8. МАКСИМАЛЬНЫЙ РАЗМЕР ФАЙЛОВ




Вы можете указать максимальный размер файлов, которые нужно синхронизировать. Для этого используется опция —max-size. Например, будем синхронизировать только файлы меньше 200 килобайт:




 rsync -avzhe ssh --max-size='200k' /user/documents/ root@192.168.56.102:/root/documents




9. УДАЛЕНИЕ ИСХОДНЫХ ФАЙЛОВ




Есть возможность удалять исходные файлы после завершения синхронизации с удаленным сервером:




 rsync --remove-source-files -zvh backup.tar /tmp/backups/




Таким образом, файл backup.tar будет удален после завершения копирования в папку /tmp/backups.




10. РЕЖИМ СИМУЛЯЦИИ RSYNC




Если вы новичок, и еще не использовали rsync, то возможно захотите посмотреть как отработает команда без применения реальных действий в файловой системе. Для этого есть опция dry-run. Команда только выведет все выполняемые действия в терминал, без выполнения реальных изменений:




 rsync --dry-run --remove-source-files -zvh backup.tar /tmp/backups/




11. ОГРАНИЧИТЬ СКОРОСТЬ ПЕРЕДАЧИ




Вы можете ограничить использование пропускной способности сети с помощью опции —bwlimit:




 rsync --bwlimit=100 -avzhe ssh /user/home/documents/ root@192.168.56.102:/root/documents/




Как я уже писал выше, rsync синхронизирует только части файла, если вы хотите синхронизировать файл целиком используйте опцию -W:




 rsync -zvhW backup.tar /tmp/backups/backup.tar

backup.tar




12. АВТОМАТИЧЕСКАЯ СИНХРОНИЗАЦИЯ ПАПОК RSYNC




Можно расписать автоматическую синхронизацию с помощью cron. Но в случае доступа к серверу по SSH необходимо будет создать ключ и загрузить его на сервер, чтобы аутентификация проходила без запроса пароля.




Создаем ключ:




 ssh-keygen -t rsa




Загружаем ключ на сервер к с которым собираемся синхронизироваться:




 ssh-copy-id -i /home/sk/.ssh/id_rsa.pub sk@192.168.1.250




Теперь можем переходить к настройке расписания cron. Будем запускать синхронизацию каждый день:




crontab -e

00 05 * * * rsync -azvre ssh /home/user/Downloads/ 192.168.56.102:/share




rsync синхронизация каталогов будет выполняться каждый день в пять утра. Подробнее о настройке расписаний Cron можно почитать в отдельной статье.




ВЫВОДЫ




Теперь вы знаете все что нужно, чтобы настройка rsync была выполнена правильно. Мы рассмотрели некоторые примеры rsync синхронизации. И теперь вы можете использовать все это для решения своих задач. Я упустил какую-то полезную информацию или у вас остались вопросы? Напишите в комментариях!




Источник: https://losst.ru/rsync-primery-sinhronizatsii



2021-03-10T23:03:25
Утилиты командной строки

Установка и начальная настройка сервера мониторинга Zabbix на Ubuntu Server

Сервер Zabbix используется для сбора и анализа информации о состоянии узлов сети. В данной статье будет рассмотрен процесс его установки и развертывания веб-интерфейса для его управления. В качестве сервера баз данных мы будем использовать MariaDB/MySQL. Версия операционной системы, которая использовалась для написания инструкции — 18.04 (LTS), версия Zabbix — 4.2.




Подготовка сервера




Перед установкой Zabbix выполняем подготовительные процедуры.




1. Правильное время




Для получения актуальной информации необходимо, чтобы на сервере было правильное время.




Для этого сначала задаем правильную временную зону:




timedatectl set-timezone Europe/Moscow




* в данном примере задается московское время.




Затем устанавливаем и запускаем сервис синхронизации времени:




apt-get install chrony

systemctl enable chrony

systemctl start chrony




2. Настройка брандмауэра




Для работы сервера, открываем следующие порты:




ufw allow 80,443,10050,10051/tcp

ufw allow 10050,10051/udp




* где 80 — порт для http запросов (веб-интерфейс); 443 — для https запросов (веб-интерфейс); 10050 — порты для получения информации от zabbix агентов.




Установка веб-сервера




Управление сервером Zabbix будет осуществляться посредством веб-интерфейса. Для этого необходимо установить и настроить веб-сервер, СУБД и PHP.




СУБД




В данному инструкции мы будем использовать сервер баз данных mariadb.




Для установки вводим:




apt-get install mariadb-server




Разрешаем автозапуск сервера баз данных и запускаем mariadb:




systemctl enable mariadb

systemctl start mariadb




Задаем пароль для суперпользователя СУБД:




mysqladmin -u root password




* после ввода команды система потребует ввести пароль два раза.




Веб-сервер




Для наших целей будем использовать веб-сервер NGINX.




Для его установки вводим команду:




apt-get install nginx




Запускаем nginx и разрешаем его автозапуск:




systemctl enable nginx

systemctl start nginx




Открываем веб-браузер и переходим по ссылке http://<IP-адрес сервера>/ — мы должны увидеть окно приветствия:







PHP и PHP-FPM




Интерфейс zabbix разработан на PHP — наш веб-сервер должен обрабатывать скрипты, написанные на нем.




Устанавливаем php и необходимые компоненты:




apt-get install php php-fpm php-mysql php-pear php-cgi php-common php-ldap php-mbstring php-snmp php-gd php-xml php-gettext php-bcmath




Для настройки php, открываем файл:




nano /etc/php/7.2/fpm/php.ini




* где 7.2 — версия PHP. В вашем случае это может быть другая версия. Проверить можно командой php -v.




Редактируем следующие параметры:




date.timezone = "Europe/Moscow"

...

max_execution_time = 300

...

post_max_size = 16M

...

max_input_time = 300

...

max_input_vars = 10000




Разрешим запуск php-fpm и перезапустим его:




systemctl enable php7.2-fpm

systemctl restart php7.2-fpm




NGINX + PHP




Для того, чтобы NGINX обрабатывал PHP, открываем конфигурационный файл:




nano /etc/nginx/sites-enabled/default




В секции location добавляем параметр index:




location / {

        index  index.php;

        ...

    }




Внутри секции server добавим следующее:




  location ~ .php$ {

        set $root_path /var/www/html;

        fastcgi_buffer_size 32k;

        fastcgi_buffers 4 32k;

        fastcgi_pass unix:/run/php/php7.2-fpm.sock;

        fastcgi_index index.php;

        fastcgi_param SCRIPT_FILENAME $root_path$fastcgi_script_name;

        include fastcgi_params;

        fastcgi_param DOCUMENT_ROOT $root_path;

    }




* где /var/www/html — корневой путь хранения скриптов; /run/php/php7.2-fpm.sock — путь до сокетного файла php-fpm (точное расположение файла можно посмотреть в конфигурационном файле /etc/php/7.2/fpm/pool.d/www.conf).




Проверяем настройки nginx:




nginx -t




И перезагружаем его:




systemctl restart nginx




Создаем index.php со следующим содержимым:




nano /var/www/html/index.php




<?php phpinfo(); ?>




Открываем веб-браузер и переходим по ссылке http://<IP-адрес сервера>/ — теперь мы должны увидеть сводную информацию по PHP и его настройкам:







Веб-сервер готов для работы с Zabbix Web.




Установка и настройка сервера Zabbix




Переходим к установке самого Zabbix сервера.




Установка




Сначала установим репозиторий последней версии Zabbix. Для этого переходим на страницу https://repo.zabbix.com/zabbix/ и переходим в раздел с самой последней версией пакета — затем переходим в ubuntu/pool/main/z/zabbix-release/ — копируем ссылку на последнюю версию релиза:







* в моем случае это ссылка на https://repo.zabbix.com/zabbix/4.2/ubuntu/pool/main/z/zabbix-release/zabbix-release_4.2-1+bionic_all.deb. Чтобы понять, какое кодовое название нашей системы, вводим команду cat /etc/lsb-release | grep DISTRIB_CODENAME.




Скачиваем файл репозитория командой:




wget https://repo.zabbix.com/zabbix/4.2/ubuntu/pool/main/z/zabbix-release/zabbix-release_4.2-1%2Bbionic_all.deb




Устанавливаем его:




dpkg -i zabbix-release_4.2-1+bionic_all.deb




Обновляем списки пакетов:




apt-get update




Устанавливаем сервер, вводя команду:




apt-get install zabbix-server-mysql zabbix-frontend-php zabbix-get




Настройка базы данных




Входим в оболочку ввода sql-команд:




mysql -uroot -p




Создаем базу данных:




> CREATE DATABASE zabbix DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_bin;




* мы создали базу zabbix.




Создаем пользователя для подключения и работы с созданной базой:




> GRANT ALL PRIVILEGES ON zabbix.* TO zabbix@localhost IDENTIFIED BY 'zabbixpassword';




* в данном примете мы создали пользователя zabbix с доступом к базе zabbix и паролем zabbixpassword.




Выходим из sql-оболочки:




> q




В составе zabbix идет готовая схема для СУБД MySQL/MariaDB или postgreSQL. В нашем случае, нам нужен MySQL.




Для применения схемы переходим в каталог:




cd /usr/share/doc/zabbix-server-mysql/




Распаковываем архив с дампом базы:




gunzip create.sql.gz




Восстанавливаем базу их дампа:




mysql -v -u root -p zabbix < create.sql




* после ввода команды система запросит пароль. Необходимо ввести пароль, который мы задали после установки mariadb.




Настройка zabbix




Открываем конфигурационный файл zabbix:




nano /etc/zabbix/zabbix_server.conf




Добавляем строку:




DBPassword=zabbixpassword




* мы настраиваем портал на подключение к базе с паролем zabbixpassword, который задали при создании базы для zabbix.




И проверяем следующие строки:




...

DBName=zabbix

...

DBUser=zabbix

...




* имя базы и пользователя должны быть zabbix (как мы и создали в mariadb).




Создаем каталог для инклудов конфигурационных файлов (по какой-то причине, он может быть не создан при установке):




mkdir /etc/zabbix/zabbix_server.conf.d




Также создаем каталог для логов и задаем владельца:




mkdir /var/log/zabbix-server

chown zabbix:zabbix /var/log/zabbix-server




Запуск zabbix-server




Разрешаем автозапуск сервера мониторинга:




systemctl enable zabbix-server




После запускаем сам сервер zabbix:




systemctl start zabbix-server




Настройка nginx




При установке zabbix-web файлы портала копируются в каталог /usr/share/zabbix. Наш веб-сервер работает с каталогом /var/www/html.




Меняем это — открываем конфигурационный файл nginx:




vi /etc/nginx/sites-enabled/default




nano /etc/nginx/sites-enabled/default




Редактируем параметры root и set $root_path:




...

root /usr/share/zabbix;

...

set $root_path /usr/share/zabbix;

...




Перезапускаем nginx:




systemctl restart nginx




Установка портала для управления Zabbix




Открываем браузер и переходим по адресу http://<IP-адрес сервера>/ — откроется страница установки Zabbix Web. Кликаем по ссылке Next Step:







В следующем окне внимательно смотрим на результаты проверки нашего веб-сервера — справа мы должны увидеть все OK. Если это не так, проверяем настройки и исправляем предупреждения и ошибки, после перезапускаем страницу F5 для повторной проверки настроек.




Когда все результаты будут OK, кликаем по Next Step:







В следующем окне мы оставляем настройки подключения к базе как есть — дополнительно прописываем пароль, который задали при создании пользователя zabbix. После нажимаем Next Step:







* в нашем случае, пароль был zabbixpassword;




В следующем окне оставляем все как есть:







… и нажимаем Next Step.




В последнем окне мы проверяем настройки и кликаем Next Step.




Установка завершена — нажимаем Finish:







В открывшемся окне вводим логин Admin и пароль zabbix (по умолчанию) — откроется окно со сводной информацией по мониторингу:







Zabbix Agent




В качестве примера установим и настроим zabbix agent на наш сервер. Так как мы уже устанавливали репозиторий, установка агента выполняется командой:




apt-get install zabbix-agent




Откроем конфигурационный файл:




nano /etc/zabbix/zabbix_agentd.conf




Отредактируем следующую опцию:




Server=localhost




* в данном примере мы указываем агенту сервер Zabbix — мы может указать его имя или IP-адрес.




Разрешаем автозапуск агента и запускаем его:




systemctl enable zabbix-agent

systemctl start zabbix-agent




Источник: https://www.dmosk.ru/miniinstruktions.php?mini=zabbix-server-ubuntu



2021-03-07T22:10:22
Software