Архив метки: Backup

Rsync – синхронизация директорий в Linux

Сегодня рассмотрим примеры синхронизации директорий в операционных системах Linux с помощью распространенной утилиты Rsync.




Rsync – утилита для копирования и синхронизации файлов и директорий в Linux системах. Используется для синхронизации директорий как на локальном сервере, так и для синхронизации директорий с локального на удаленный и наоборот. Rsync позволяет копировать ваши данные между серверами внутри защищенного SSH соединения. Так же, rsync, поддерживает сжатие данных на лету, что повышает производительность системы. Чтобы исключить потерю информации при отправке файлов, rsync сначала копирует всю передаваемую информацию во временный файл.




Опции Rsync




Давайте кратко рассмотрим опции rsync. В данной статье перечислены не все опции. Для более подробной информации смотрите мануал данной утилиты при помощи команды man rsync:




  • -v – Выводить информацию о копировании файла;




  • -q – Минимум информации;




  • -c – Копировать только измененные файлы;




  • -a – Сохранять все атрибуты оригинальных файлов;




  • -R – Относительные имена пути;




  • -b – Создание резервной копии;




  • -u – Не перезаписывать файлы, которые являются более новыми на приемном конце;




  • -l – Копировать символьные ссылки;




  • -L – Копировать содержимое ссылок;




  • -H – Копировать жесткие ссылки;




  • -p – Сохранять права для файлов;




  • –partial – сохранять частично переданные файлы;




  • -g – Сохранять группу;




  • –no-group – Не сохранять группу;




  • -o – Сохранить владельца;




  • –no-owner – Не сохранять владельца;




  • -t – Сохранять время модификации;




  • -x – Работать только в этой файловой системе;




  • -e – Использовать другой транспорт, например, ssh;




  • -z – Сжимать файлы перед передачей;




  • –delete – Удалять файлы которых нет в источнике;




  • –exclude – Исключить файлы по шаблону;




  • -r – Перебирать директории рекурсивно;




  • –no-recursive – Отключить рекурсию;




  • –no-links – Отключить копирование символических ссылок;




  • -P – Выводить прогресс копирования файла;




  • –stat – Показать статистику передачи;




  • –version – Версия утилиты;




  • –inplace – Обновление файлов назначения налету;




  • –existing – Пропустить создание файлов (включая каталоги), которые еще не существуют в месте назначения;




  • –ignore-existing – Пропустить обновление файлов, которые существуют в месте назначения.




  • –temp-dir – Указываем директорию для временных файлов




Синхронизация директорий только на локальном сервере




Давайте синхронизируем две директории между собой, но только на локальном сервере. Директории конечно же должны существовать. Допустим у нас имеется директория /home/user/download и директория /home/user/install. Для их синхронизации давайте наберем следующую команду:




rsync -r /home/user/download/ /home/user/install/  --temp-dir=/tmp --no-owner --no-group




Тут мы синхронизируем директорию download с директорий install, также указываем куда размещать временные файлы и отказываемся от переноса владельца и группы у копируемых файлов.




Тоже самое, но без создания temp файла.




rsync -r /home/user/download/ /home/user/install/  --temp-dir=/tmp --no-owner --no-group --inplace




  • –inplace – в этом случае rsync не будет создавать при копировании новый файл и затем им замещать старый, а сразу начнет перезапись старого файла. Такой алгоритм не сможет сохранить целостность файла в случае сбоя соединения между компьютерами, за исключением использования совместно с параметром --backup. Этот параметр полезен в случае копирования файлов на одном компьютере или при копировании больших файлов таких как видео.




Синхронизируем файлы c Облаком cloud.mail.ru




Вот пример синхронизации двух каталогов. Один каталог локальный /home/local/foto – в нем удобно работать по сети. Второй каталог /home/CloudDisk/ подключен по технологии WebDAV.




Вот тут и тут уже писал про настройку облака от mail.ru на Debian системах.




rsync -zvraP --delete /home/local/foto/ /home/CloudDisk/  --temp-dir=/tmp




  • -z – Сжимаем содержимое при копировании;




  • -v – Информация о копировании;




  • -r – рекурсивно перебираем все директории;




  • -a – Cохранить все атрибуты файла;




  • -P – показывает прогресс копирования;




  • –delete – удаляет файлы из облака, которых нет в директории /home/local/foto;




  • –temp-dir=/tmp – директория для tmp файлов;




Данная команда пригодится если вам надо синхронизировать неизменяющиеся данные, например фотографии или видео.




Если же у вас данные в файлах меняются, например как в Word документах (имя файла остается прежним, а его размер меняется), то для их синхронизации необходимо набрать вот такую команду:




rsync -zvarcP --delete /home/local/doc/ /home/CloudDisk/doc/ --modify-window=0 --size-only




  • -c – Копировать только изменившиеся файлы в директории /home/local/doc/;




Если после копирования хотите еще оптимизировать фотографии, то вам сюда.




Настройка синхронизации с удаленным сервером при помощи rsync




Чаще всего копирование/синхронизация директорий с удаленным сервером используется для резервного копирования или синхронизации конфигурации сервера. При таком методе можно выполнять автоматическую синхронизацию данных с рабочего сервера на резервный, и в случае проблем на рабочем севере быстро все перевести на резервный. Это довольно удобный и простой в настройке вариант.




Сегодня версия rsync использует протокол SSH для передачи файлов по-умолчанию. Однако вы можете использовать и демон rsyncd. Для этого клиент rsync должен быть установлен на удаленном компьютере, и его демон добавлен в автозагрузку:




sudo systemctl enable rsyncd




Конфигурационный файл rsync — /etc/rsyncd.conf. В этом файле можно настроить параметры rsync и настройки для синхронизации для разных ресурсов.




Для синхронизации через демона rsync адрес удаленного сервера указывается так rsync://:




rsync -zvarP /var/www/site/ rsync://IP_сервера/backup/




Чтобы скопировать файл на удаленный сервер через протокол SSH, используйте команду:




rsync -az /var/www/site/package.zip ваш_user@IP_сервера:/backup/




После запуска команды, удаленный сервер запросит пароль пользователя (если включена авторизация по паролю). Для автоматической авторизации нужно настроить доступ по SSH ключу.




Копирование с локального хоста на удаленный хост




Скопируем директорию с локального сервера на удаленный:




rsync -zvraP /var/www/site/ ваш_user@IP_сервера:/backup/




То есть, все тоже самое, что и с локальными директориями, только мы указываем адрес удаленного сервера вместо адреса нашей директории.




Копирование с удаленного хоста на локальный хост




Так же вы можете синхронизировать файлы и с удаленного сервера на локальный, команда для этого немного изменится:




rsync -zvraP ваш_user@IP_сервера:/backup/ /backup/




Для принудительного использования SSH протокола, а также если вы изменили порт для SSH или для авторизации требуется указать явно где расположен сертификат SSL, команды будут выглядеть следующим образом.




Принудительное использование протокола SSH




Подключение по стандартному порту:




rsync -zvraPe ssh ваш_user@IP_сервера:/backup/ /backup/




Если удаленный SSH сервер имеет отличный от стандартного порт:




rsync -zvrae "ssh -p 2222" ваш_user@IP_сервера:/backup/ /backup/




Если надо явно указать порт и ключ:




rsync -zvrae "ssh -p 2222 -i ~/.ssh/id_rsa" ваш_user@IP_сервера:/backup/ /backup/




Синхронизация с использованием опций исключений




Также очень удобный опции --include и --exclude, с помощью этих опций, можно делать исключения по копированию директорий или файлов:




rsync -zvra --exclude=administrator/ /var/www/site ваш_user@IP_сервера:/backup/




В данном случае мы исключили директорию “administrator” при копировании на удаленный сервер.




rsync -zvra --include='*.php' --exclude='*' /var/www/site/administrator/ ваш_user@IP_сервера:/backup/




Добавлением опции --include мы смогли задать фильтр по файлам, скопировали только файлы с расширением “*.php“.




Вывод




Сегодня показал вам как можно синхронизировать директории в Linux на одном рабочем ПК и между удаленными серверами.



[endtxt]




RSS




2020-03-29T11:33:09
BackUp

Установка и настройка Systemback Debian | Ubuntu | Linux

Сегодня рассмотрим очень полезную утилиту под названием SystemBack.




SystemBack – позволяет создавать резервные копии и точки восстановления вашей системы, а также создавать Live-образа и iso-образа, основанного на вашей системе, с возможностью инсталляции на другие компьютеры.




Имеется ещё ряд полезных функций таких как:




  • обновление системы,




  • удаления старых ядер,




  • резервное копирование по расписанию,




  • восстановление системы.




Установка Systemback в Debian | Ubuntu | Linux




Дня начала давайте скачаем сам пакет Systemback по следующей ссылке:




Скачать SystemBack




Далее необходимо распаковать и установить скаченный архив. Откройте терминал и выполните следующие действия:




cd /путь/куда/загрузили/пакет
tar -xvf systemback-install_pack-1.9.3.tar.xz
cd systemback-install_pack-1.9.3/
sudo sh ./install.sh




или можно пойти другим путем, добавить репозиторий в source лист:




sudo add-apt-repository ppa:nemh/systemback
sudo apt update 
sudo apt install systemback




По окончании установки вы можете открыть Systemback из системного меню.




Программу нужно запускать с правами суперпользователя (root). При запуске из главного меню системы пароль будет запрошен автоматически. При запуске из терминала может возникнуть сообщение: «Root privileges are required for running the Systemback!».




Чтобы сообщение не появлялось необходимо запускать утилиту через sudo:




sudo systemback




Если программа установилась без поддержки русского языка, тогда доустановите пакеты локализации:




sudo apt-get install systemback-locales




Настройка русского языка в SystemBack




Если по какой либо причине русская локализация работает некорректно, например созданный iso-образ отображается при загрузке кракозябрами, то чтобы исправить это, вам необходимо загрузить исправленный языковой пакет, которым заменим пакет в SystemBack.
Загрузите и распакуйте языковый пакет по следующей ссылке:




Скачать SystemBack_ru-uk




Или так




cd /home/ваш_юзер/ 
wget https://yadi.sk/d/8ERBrAHRpyzXk




Распаковываем скачанный архив в директории юзера:




unzip systemback_lang.zip




После распаковки в директории будут располагаться файлы языковых пакетов которыми надо заменить существующие файлы в утилите SystemBack.




Для замены локализации проделаем следующие действия:




  • Удалить файл systemback_ru.qm установленный в системе. Для этого в терминале набираем следующую команду:




sudo rm /user/share/systemback/lang/systemback_ru.qm




  • Копируем нужный языковой файл в директорию с программой:




sudo cp /home/ваш_юзер/systemback_lang/systemback_ru.qm /user/share/systemback/lang/




  • После замены файла, откройте Systemback – Настройки:




  • Перейдите в пункты и язык.




После всех этих изменений вы можете создать live-систему и iso-образ, основанных на вашей системе, с возможностью установки на другие компьютеры:




Все созданные файлы находятся в директории home, файловой системы дистрибутива:




Запишите iso-образы на флешку специальной программой (Cоздание загрузочного диска; mintinstall, Etcher и т.д.) и загрузитесь с неё.




Теперь Systemback Live будет отображаться без кракозябров:




Примечание. Подобное можно выполнить если у вас украинская локализация. В этом случае применяется второй файл из архива:




systemback_uk.qm.




Исправляем ошибку XDG_RUNTIME_DIR




Если после запуска у вас появляется предупреждение вроде этого:




QStandardPaths: XDG_RUNTIME_DIR not set, defaulting to ‘/tmp/runtime-root’

Небезопасная авторизация X Windows




То для исправления данной ошибки нам необходимо сделать следующее:




Создадим файл для sudoers




sudo visudo -f /etc/sudoers.d/local




внесем в него следующее:




Defaults env_keep += "DISPLAY XAUTHORITY"




После данной манипуляции предупреждение должно исчезнуть.



[endtxt]




. . . .




2019-03-20T07:46:30
BackUp

Простой скрипт для бэкапа MySQL баз

#!/bin/bash

# Variables
CNF=/etc/mysql/debian.cnf
BACKUPDIR=/var/backups/mysql/
DATE=`date +%F`
OLDDAYS=7

# Main part
for DATABASE in `echo SHOW DATABASES | mysql —defaults-file=${CNF} —skip-column-names`;do
BACKUPNAME=${BACKUPDIR}${DATABASE}.sql.${DATE}
BZBACKUPNAME=${BACKUPNAME}.bz2
echo Dumping ${DATABASE} into ${BZBACKUPNAME}
mysqldump —defaults-file=${CNF} ${DATABASE} > ${BACKUPNAME}; bzip2 -f ${BACKUPNAME}
done

# Deleting old backups

find ${BACKUPDIR} -mtime +${OLDDAYS} -delete

Дампит и сжимает базы данных.
Можно (и нужно) добавить его в крон, например:

00 05 * * * root /usr/local/sbin/mysqlbackup.sh

P.S. Ах да, это юбилейный, сотый пост в моём бложике:)

Автор: AlexWinner