Stratis 3.3 уже выпущен и имеет улучшения стабильности.

Stratis — это демон конфигурации пользовательского пространства, который настраивает и контролирует существующие базовые компоненты хранилища Linux.

Стало известно выход новой версии проекта Stratis 3.3 и в этой новой версии наиболее важным является то, что Stratis 3.3.0 расширяет свою функциональность, чтобы пользователи могли указывать многослойный которые включают дополнительное пространство, которое могло быть доступно на компонентном устройстве данных в пространстве, доступном для группы устройств.

Тем, кто не знаком со Stratis, следует знать, что выделяется в предоставлении таких возможностей, как динамическое выделение памяти, снимки, согласованность и слои кеширования. Поддержка Stratis была интегрирована в дистрибутивы Fedora и RHEL начиная с Fedora 28 и RHEL 8.2.

Читать →

Сервер логов Rsyslog+Loganalyzer на ОС Ubuntu20.

На этой странице представлено описание установки и настройки сервера для централизованного сбора логов с оборудования в локальной сети.

Rsyslog – это высокопроизводительный сервер логов на Linux с возможностью сохранять информацию в базу данных. Поставляется вместе с пакетами Ubuntu20. Официальный сайт.

Loganalyzer – это веб-интерфейс для доступа к базе данных логов от Rsyslog. Через него можно просматривать и анализировать сообщения логов. Официальный сайт.

Все это ПО распространяется бесплатно.

Логи поступают от различного сетевого оборудования внутри локальной сети.

От Интернета сеть отделена сетевым экраном и считается условно безопасной. Вопросы информационной безопасности в описании не рассматриваются, но обязательны.

Сервер установлен на ПК(не ВМ) со следующими параметрами:

Процессор: Intel Core I5-3450 3.1ГГцх4.

ОЗУ: 8Гб.

HDD: 2Tb.

Сетевая карта 1Гбит/сек.

Сервер подключен в сеть, ему раздается IP-адрес по DHCP с доступом к Интернету.

Установка ОС.

Скачиваем Ubuntu 20. Desktop image с графическим интерфейсом.

Создаем установочную флэшку и переносим скачанный образ на нее.

Подготовка установочной флэшки.

Создание происходит с помощью ПО Rufus. Выбираем флэшку, скачанный образ Ubuntu, нажимаем кнопку «Старт».

Возможно, появится сообщение о загрузке необходимых данных. Нажимаем ДА.

Режим записи – Записать в ISO-образ режиме. ОК.

Следует учитывать, что все данные на флэшке будут уничтожены. Подтверждаем это.

Через пару минут флэшка готова.

С использованием созданной флэшки устанавливаем операционную систему.

Установка ОС Ubuntu20 — кратко.

Загружаемся с установочной флэшки.

Выбираем – Try or Install Ubuntu.

Далее откроется мастер установки.

Выбраны следующие параметры:

Install Ubuntu – установить Ubuntu.

English – язык системы.

Keyboard layout – English – язык клавиатуры.

Normal installation – тип установки – нормальная.

Download updates while installing Ubuntu – загрузить обновления вовремя установки (если подключен Интернет).

Erase disk and install Ubuntu – стереть диск и установить Ubuntu (все данные с диска удаляются!).

Where are you – выбираем часовой пояс.

Who are you – имя ПК, логин, пароль.

После установки вытаскиваем из ПК флэшку и нажимаем кнопку «Ввод» на клавиатуре.

Система установлена. Вводим указанный ранее логин и пароль и попадаем на рабочий стол.

Компьютер подключен в сеть. IP-адрес присвоился по DHCP.

Запускаем терминал Ctrl+Alt+T.

Входим с правами root.

<br />
sudo su — root

1	sudo su — root

Вводим пароль админа. Ввод пароля не отображается.

Далее все действия в терминале выполняются с правами root!

В командах ниже это ни как не обозначено (например $ или sudo перед командой).

Настраиваем удаленный доступ к серверу.

Настройка удаленного доступа.

Работы будут выполняться в локальной сети. Подключение будет происходить от ПК с Windows 10 к ПК с Ubuntu 20 по этому решено воспользоваться протоколом RDP.

Запускаем терминал.

Вводим команды.

<br />
apt install xrdp -y

1	apt install xrdp —y

(-y = yes подтверждение установки)

Проверка статуса

<br />
systemctl status xrdp

1	systemctl status xrdp

Подключаемся по RDP из Windows на IP-адрес ПК с Ubuntu.

Предварительно пользователь на Ubuntu должен выйти из системы, чтоб удаленный пользователь из Windows вошел.

Переходим на ПК с Windows.

Пуск >> Все программы >> Стандартные — Windows >> Подключение к удаленному рабочему столу.

Или через командную строку:

Win+R >> mstsc.

Вводим IP-адрес.

Вводим логин-пароль (без указания домена).

Попадаем на рабочий стол Ubuntu.

Если дополнительно появится окно аутентификации, то нужно ввести пароль и подтвердить 2 раза (или нажать отмену).

Существуют другие альтернативные варианты удаленного доступа, например с использованием AnyDesk и подобных программ.

AnyDesk скачивается через браузер с официального сайта и устанавливается через менеджер установок (Software install).

Перед дальнейшей установкой желательно выполнить обновление.

Обновляем систему.

<br />
apt-get update

1	apt—get update

<br />
apt-get upgrade

1	apt—get upgrade

После второй команды начнется обновление всех установленных пакетов. Это может происходить продолжительное время.

Установка Rsyslog.

Для работы Rsyslog потребуются следующие компоненты:

Apache

PHP

MYSQL

Loganalyzer

Установка Apache2.

Устанавливаем apach2 и модуль работы с php.

<br />
apt-get install apache2 -y

1	apt—get install apache2 —y

<br />
apt-get install libapache2-mod-php -y

1	apt—get install libapache2—mod—php —y

Включаем автозапуск.

<br />
systemctl enable apache2

1	systemctl enable apache2

Запускаем службу

<br />
systemctl start apache2

1	systemctl start apache2

Проверяем статус

<br />
systemctl status apache2

1	systemctl status apache2

Active (running) – значит работает.

Можно посмотреть страницу приветствия перейдя в браузере по адресу:

<br />
http://localhost

1	http://localhost

Установка PHP.

Информация о пакете php.

<br />
apt show php

1	apt show php

(текущая версия 7.4)

Можно посмотреть какие есть модули.

<br />
apt-cache search php7.4

1	apt—cache search php7.4

Установка.

<br />
apt-get install php7.4

1	apt—get install php7.4

Установка дополнительных модулей.

Для работы, ускорения и прочих особенностей выбраны сл. модули.

<br />
apt-get install php7.4-mysql

1	apt—get install php7.4—mysql

(работа с bd mysql)

<br />
apt-get install php7.4-curl

1	apt—get install php7.4—curl

(библиотека для передачи через протоколы http https)

<br />
apt-get install php7.4-xml

1	apt—get install php7.4—xml

(взаимодействие с xml)

<br />
apt-get install php7.4-gd

1	apt—get install php7.4—gd

(работа с графикой, без этого модуля не отображаются диаграммы статистики)

Эти два модуля возможно уже присутствуют.

<br />
apt-get install php7.4-json

1	apt—get install php7.4—json

(сериализация объектов в текст )

<br />
apt-get install php7.4-opcache

1	apt—get install php7.4—opcache

(кэш кода php для ускорения обработки большого кол-ва запросов)

Проверка работы php.

В командной строке создаем файл info.php с помощью редактора vi.

<br />
vi /var/www/html/info.php

1	vi /var/www/html/info.php

Содержание файла

<br />
<?php phpinfo(); ?>

1	<?php phpinfo(); ?>

Выходим из редактора vi — нажимаем кнопку Esc

Затем пишем в командной строке.

<br />
:wq

:wq

(сохранить и закрыть)

Можно создать этот файлик вручную если не получается через редактор в терминале.

В браузере проверяем ссылку.

<br />
http://localhost/info.php

1	http://localhost/info.php

Если видим эту страницу, значит все сделано правильно и php работает.

Установка MYSQL.

<br />
apt-get install mysql-server -y

1	apt—get install mysql—server —y

Модуль для Rsyslog

<br />
apt-get install rsyslog-mysql -y

1	apt—get install rsyslog—mysql —y

В появившемся сообщении нажимаем <No> создадим БД позже.

Добавление в автозагрузку и старт

<br />
systemctl enable mysql

1	systemctl enable mysql

<br />
systemctl start mysql

1	systemctl start mysql

Проверка версии mysql

<br />
mysqld —version

1	mysqld —version

Результат.

<br />
/usr/sbin/mysqld  Ver 8.0.30-0ubuntu0.20.04.2 for Linux on x86_64 ((Ubuntu))

1	/usr/sbin/mysqld Ver 8.0.30—0ubuntu0.20.04.2 for Linux on x86_64 ((Ubuntu))

Проверка статуса mysql

<br />
systemctl status mysql.service

1	systemctl status mysql.service

Результат.

После всех установок нужно перезапустить веб-сервер

<br />
systemctl restart apache2

1	systemctl restart apache2

Установка RSYSLOG.

Проверяем какой Rsyslog уже есть в UBUNTU

<br />
apt list -a rsyslog

1	apt list —a rsyslog

Создадим базу данных для логов с названием rsyslog.

Заходим в mysql с правами root.

<br />
mysql -u root

1	mysql —u root

(пароля нет)

Далее создаем БД с названием rsyslog.

<br />
create database rsyslog;

1	create database rsyslog;

Создаем пользователя для доступа к базе данных.

Имя пользователя любое, например syslogmaster.

Пароль – password.

<br />
create user syslogmaster@localhost identified by ‘password’;

1	create user syslogmaster@localhost identified by ‘password’;

Назначаем привилегии.

<br />
grant all privileges on rsyslog.* to syslogmaster@localhost;

1	grant all privileges on rsyslog.* to syslogmaster@localhost;

Перечитываем конфигурацию.

<br />
flush privileges;

1	flush privileges;

Выходим.

<br />
exit;

exit;

Импорт схемы для БД.

<br />
mysql -u syslogmaster -D rsyslog -p < /usr/share/dbconfig-common/data/rsyslog-mysql/install/mysql

1	mysql —u syslogmaster —D rsyslog —p < /usr/share/dbconfig—common/data/rsyslog—mysql/install/mysql

(-u -юзер, -D-бд, -p-пароль)

вводим пароль password

Если не выполнить эту настройку, то в БД не создадутся таблицы.

Просмотр содержания БД.

Можно посмотреть базу данных и пользователя соответствующими командами:

<br />
mysql -u root

1	mysql —u root

(вход в mysql)

<br />
select user from mysql.user;

1	select user from mysql.user;

(список пользователей)

<br />
show databases;

1	show databases;

(список баз данных)

Содержание БД rsyslog.

Выбираем БД.

<br />
use rsyslog;

1	use rsyslog;

Вводим команду чтоб показать таблицы.

<br />
show tables;

1	show tables;

<br />
exit;

exit;

Изменим конфигурацию rsyslog в файле rsyslog.conf, чтоб он слушал UDP и TCP 514 порт.

Переходим в редактор vi. Выбираем файл.

<br />
vi /etc/rsyslog.conf

1	vi /etc/rsyslog.conf

Стрелками спускаемся до нужной строки и удаляем # (которая означает начало комментария).

Раcкомментируем строки как на картинке:

Выходим из редактора vi

Нажимаем Esc, затем:

<br />
:wq

:wq

(сохранить и закрыть)

Настроим отправку логов в базу данных.

Отредактируем файл mysql.conf через редактор vi.

<br />
vi /etc/rsyslog.d/mysql.conf

1	vi /etc/rsyslog.d/mysql.conf

Изменим имя БД, пользователя и его пароль, см картинку.

Наводим на букву в строке, нажимаем i, редактируем, нажимаем Esc. Идем дальше…

Удаление пустых строк быстрое нажатие dd.

Если что-то неправильно введено, то нужно выйти без сохранения с помощью команды:

<br />
:q!

:q!

Выходим из редактора vi

Esc

<br />
:wq

:wq

(сохранить и закрыть)

Перезапускаем rsyslog

<br />
systemctl restart rsyslog

1	systemctl restart rsyslog

Проверка статуса Rsyslog

<br />
systemctl status rsyslog

1	systemctl status rsyslog

Установка Loganalyzer.

Подготовка БД.

Создаем базу данных для Loganalyzer, так ее и назовем.

<br />
mysql -u root

1	mysql —u root

<br />
create database loganalyzer;

1	create database loganalyzer;

(все буквы нижнего регистра)

База нужна в основном для пользователей.

Создаем пользователя для БД.

<br />
create user logan@localhost identified by ‘password’;

1	create user logan@localhost identified by ‘password’;

Назначаем привилегии.

<br />
grant all privileges on loganalyzer.* to logan@localhost;

1	grant all privileges on loganalyzer.* to logan@localhost;

Перечитываем конфигурацию.

<br />
flush privileges;

1	flush privileges;

Выходим.

<br />
exit;

exit;

Установка приложения Loganalyzer.

Скачиваем и устанавливаем.

Переходим во временную папку.

<br />
cd /tmp

cd /tmp

Скачиваем последнюю актуальную версию ПО.

<br />
wget http://download.adiscon.com/loganalyzer/loganalyzer-4.1.12.tar.gz

1	wget http://download.adiscon.com/loganalyzer/loganalyzer-4.1.12.tar.gz

Распаковываем архив.

<br />
tar -xzvf loganalyzer-4.1.12.tar.gz

1	tar —xzvf loganalyzer—4.1.12.tar.gz

Возврат в корень.

<br />
cd

Создаем папку для Loganalyzer в apach2

<br />
mkdir /var/www/html/loganalyzer

1	mkdir /var/www/html/loganalyzer

Копируем из временной папки в созданную

<br />
cp -r /tmp/loganalyzer-4.1.12/src/* /var/www/html/loganalyzer

1	cp —r /tmp/loganalyzer—4.1.12/src/* /var/www/html/loganalyzer

Создаем файл конфигурации.

Переходим в папку.

<br />
cd /var/www/html/loganalyzer

1	cd /var/www/html/loganalyzer

Создаем пустой файл конфигурации.

<br />
touch config.php

1	touch config.php

Меняем владельца.

<br />
chown www-data:www-data config.php

1	chown www—data:www—data config.php

(www-data:www-data это пользователь и группа которой мы даем права на файл config.php)

Задаем права на чтение и запись для config.php .

<br />
chmod 666 config.php

1	chmod 666 config.php

Цифра 6 означает права на чтение и запись.

6 – для владельца.

6 – для группы.

6 – для пользователя.

Возвращаемся в корень.

<br />
cd

Меняем владельца всех файлов в папке на www-data

<br />
chown www-data:www-data -R /var/www/html/loganalyzer/

1	chown www—data:www—data —R /var/www/html/loganalyzer/

(-R указывается чтоб применилось для всех вложенных объектов)

Теперь переходим в браузере по адресу

<br />
http://localhost/loganalyzer

1	http://localhost/loganalyzer

Видим страницу.

Если ничего не открылось нужно перезапустить все службы и попробовать еще раз (или перезагрузить ПК).

Проверить все статусы и файлы конфигурации, сверится с эталоном настроек из описания выше.

Нажимаем на ссылку Click here to Install Adiscon LogAnalyzer.

На первом шаге просто нажимаем Next.

Шаг 2 — проверка разрешения файла – перезаписываемый (Writeable).

Шаг 3 — вводим данные для БД. В данном случае это база loganalyzer.

Пользователь logan, пароль password (создан ранее). Нажимаем Next.

Может возникнуть ошибка при неправильном вводе логина-пароля. Вводим правильно.

Шаг 4 — нажимаем Next.

Шаг 5 — проверка SQL, нажимаем Next.

Шаг 6 — создание аккаунта администрирования. Пользователь может быть любой. Пароль придумываем. Нажимаем Next.

На следующем шаге 7 указываем источник логов – это база rsyslog. Вводим логин и пароль для этой базы.

Название таблицы — SystemEvents (с учетом регистра букв).

Настройка завершена.

Нажимаем кнопку Finish.

Проверяем.

Логи от разных устройств начали приходить. Они были предварительно настроены на IP-адрес этого сервера логов.

К веб-интерфейсу можно подключатся по IP-адресу с других компьютеров, например так:

<br />
http://192.168.5.120/loganalyzer/

1	http://192.168.5.120/loganalyzer/

Следует помнить про информационную безопасность и разрешить доступ к серверу логов только с доверенных адресов.

В процессе настроек могут появиться некоторые ошибки.

Syslog file is not readable, read access may be denied.

Решается эта проблема добавлением строчки в файле конфигурации

Открываем редактор vi в терминале

<br />
vi /etc/group

1	vi /etc/group

Добавляем в самом низу строчку

<br />
adm:x:4:www-data

1	adm:x:4:www—data

Выходим с сохранением.

<br />
:wq

:wq

Перезапускаем apach2.

<br />
systemctl restart apache2

1	systemctl restart apache2

Could not find the configured database.

Ошибка связана с несоответствующей базой данных указанной в шаге №7.

Переходим в Admin Center >> Sources и редактируем настройку БД.

Проверяем или изменяем параметры.

LogAnalyzer is already configured.

Если в процессе настроек страница зависла и потом открылось начало настроек. Клик на ссылку не реагирует.

Нужно удалить файл config.php и начать настройку заново.

/var/www/html/loganalyzer/config.php

Белая страница

Ошибка – белая страница после определенного шага.

Смотрим лог в apache2 /var/log/apache2/error.log

Часто такая ошибка связана с неправильной работой PHP. Возможна несовместимость версий Loganalyzer и php или mysql.

Проверяем версии, устанавливаем php другой версии. Выполняем настройку сначала.

С php8.1 на Ubuntu22, Loganalyzer 4.1.12 не работает.

Краказябры в логах на кириллице

Чтоб не получить краказябры, нужно указать кодировку utf8 в административном центре Loganalyzer.

Так же нужно проверить кодировку БД mysql. Она тоже должна быть utf8.

Проверка кодировки БД.

<br />
mysql -u root

1	mysql —u root

<br />
use rsyslog;

1	use rsyslog;

<br />
show tables;

1	show tables;

Результат вывода таблиц.

<br />
SystemEvents<br />
SystemEventsProperties

1 2	SystemEvents SystemEventsProperties

Просмотр.

<br />
show full columns from SystemEvents;

1	show full columns from SystemEvents;

Если не удобно работать с БД mysql через командную строку, то можно воспользоваться веб-интерфейсом phpMyAdmin.

Установка phpMyAdmin

Установка phpMyAdmin

<br />
apt-get install phpmyadmin -y

1	apt—get install phpmyadmin —y

Модуль для работы с utf8.

<br />
apt-get install php-mbstring -y

1	apt—get install php—mbstring —y

Проверяем страницу входа.

<br />
http://localhost/phpmyadmin

1	http://localhost/phpmyadmin

Удаление (при необходимости).

<br />
apt-get purge phpmyadmin -y

1	apt—get purge phpmyadmin —y

Чтоб иметь доступ к всем БД проще создать нового пользователя и задать ему необходимые привилегии, чем пытаться настроить пользователя root.

Входим в mysql

<br />
mysql -u root

1	mysql —u root

Выбираем БД.

<br />
use phpmyadmin;

1	use phpmyadmin;

Создаем пользователя для доступа к БД.

Имя пользователя любое, например phplocal.

Пароль – password.

<br />
create user phplocal@localhost identified by ‘password’;

1	create user phplocal@localhost identified by ‘password’;

(password — для примера, в реальности сложный пароль из букв разного регистра, цифр и спец.символов).

Назначаем привилегии root чтоб видеть все БД.

<br />
grant all privileges on *.* to ‘phplocal’@’localhost’ with grant option;

1	grant all privileges on . to ‘phplocal’@‘localhost’ with grant option;

Перечитываем конфигурацию.

<br />
flush privileges;

1	flush privileges;

Выходим.

<br />
exit;

exit;

Заходим через любой браузер.

<br />
http://localhost/phpmyadmin

1	http://localhost/phpmyadmin

Вводим параметры созданного ранее пользователя.

Видим все БД и можем с ними работать.

Отправка логов на сервер.

Чтоб логи приходили на сервер с различных сетевых устройств нужно на этих устройствах выполнить настройку. Для примера представлена краткая настройка некоторого оборудования. Принцип везде примерно одинаковый. Нужно указать IP-адрес сервера логов и порт на котором Rsyslog принимает сообщения.

Отправка логов на сервер из сетевого хранилища QSAN.

Control Panel >> Notification >> Syslog.

Галочками можно указать какие типы событий отправлять на сервер логов.

Device можно изменить на Local 0.

Сохраняем настройку.

Отправка логов на сервер из сетевого хранилища QNAP D2 D4.

В зависимости от версии прошивки в NAS настройка может выполнятся из QuLog Center.

Отправка логов на сервер из сетевого экрана Kerio Control.

На вкладке журналов выбираем нужный тип логов.

Далее на поле где сообщения правой кнопкой мыши выбираем из меню настройку логов (Log Settings).

На вкладке внешнего логирования активируем галочкой отправку логов на Syslog-сервер и указываем его IP-адрес.

Отправка логов на сервер из роутера MikroTik.

System >> Logging >> Actions

В правиле remote указываем IP-адрес сервера логов и порт с которым он работает

На вкладке Rules выбираем тип логов для отправки.

Отправка логов на сервер из ПК с ОС Windows.

Самый простой и бесплатный способ – Event Log to Syslog. Приложение в виде службы отправляет логи по указанному IP-адресу.

Скачиваем архив последней версии для обычного размера пакетов, без LP.

Распаковываем в папку C:WindowsSystem32

Запускаем через cmd с правами админа и с указанием IP-адреса сервера.

<br />
evtsys.exe -i -h 192.168.5.120

1	evtsys.exe —i —h 192.168.5.120

Запускаем службу.

<br />
net start evtsys

1	net start evtsys

Проверяем в службах режим запуска и состояние.

Подробную настройку для отправки конкретных типов логов, можно посмотреть в файле PDF который, находится в архиве вместе с программой.

Изменение параметров можно выполнить в реестре

<br />
HKEY_LOCAL_MACHINESOFTWAREECNEvtSys3.0

1	HKEY_LOCAL_MACHINESOFTWAREECNEvtSys3.0

Отправка логов на сервер из ПК с ОС Ubuntu.

На ПК должен быть предварительно установлен и настроен Rsyslog.

Создаем файл конфигурации в папке rsyslog.d через vi редактор.

<br />
vi /etc/rsyslog.d/log.conf

1	vi /etc/rsyslog.d/log.conf

Указываем в этом файле сервер логов и порт.

<br />
*.* @@192.168.5.120:514

1	. @@192.168.5.120:514

Выходим из редактора vi

Esc

<br />
:wq

:wq

(сохранить и закрыть)

Перезапускаем rsyslog

<br />
systemctl restart rsyslog

1	systemctl restart rsyslog

Все логи начнут передаваться на указанный IP-адрес. Можно выбрать конкретные типы логов для отправки.

Альтернативный вариант — отправка через модуль omfwd.

Отправка логов на сервер из управляемого коммутатора.

Коммутатор TL-SG3428XMP

Настройка находится в Maintenance >> Remote Logs.

Указываем IP-адрес сервера логов, порт по умолчанию 514.

Severity — уровень серьезности. Чем он ниже, тем серьезнее событие. (см. описание протокола Syslog)

Status — Enable.

Коммутатор GS1900-24.

Configuration >> Management >> Syslog >> Remote.

Тут то же самое. Указываем IP-адрес, порт, Severity и Facility (идентификатор источника сообщения).

Сохраняем настройку.

Отключение локальных логов.

На сервере логов запускаем терминал Ctrl+Alt+T.

Входим с правами root.

<br />
sudo su — root

1	sudo su — root

Пароль.

Переходим в папку.

<br />
cd /etc/rsyslog.d/

1	cd /etc/rsyslog.d/

Создаем файл.

<br />
touch 10-filter.conf

1	touch 10—filter.conf

Имя файла должно быть таким, чтоб он располагался выше чем файл с именем 50-deafault.conf

Отредактируем файл через редактор vi.

<br />
vi /etc/rsyslog.d/10-filter.conf

1	vi /etc/rsyslog.d/10—filter.conf

Копируем туда строчку.

<br />
:fromhost, isequal, «LOGSERVER» stop

1	:fromhost, isequal, «LOGSERVER» stop

Синтаксис.

:property, [!]compare-operation, «value»

[свойство] [операция] [значение]

:fromhost — с хоста

isequal — сравнение

LOGSERVER — имя хоста

stop — остановить

Выходим.

<br />
:wq

:wq

Возвращаемся в корень.

<br />
cd

Перезапускаем Rsyslog.

<br />
systemctl restart rsyslog

1	systemctl restart rsyslog

Проверяем статус Rsyslog.

<br />
systemctl status rsyslog

1	systemctl status rsyslog

В результате логи с самого сервера логов перестали появляться в Loganalizer.

Фильтровать можно не только по имени, но так же по IP-адресу, источнику, тэгу и другим параметрам. Подробнее в документации на rsyslog.

2022-10-21T16:22:06

Настройка ПО

Как перейти на Ubuntu 22.10 с 22.04

В этом посте я покажу вам, как (относительно) легко перейти на Ubuntu 22.10 с Ubuntu 22.04 LTS.

Просто имейте в виду, что Ubuntu 22.04 LTS — это выпуск с долгосрочной поддержкой, а Ubuntu 22.10 — нет! В качестве промежуточного выпуска Ubuntu 22.10 получает всего 9 месяцев гарантированной поддержки по сравнению с (как минимум) 5 годами поддержки Ubuntu 22.04 LTS.

Чего вы хотите больше: надежной стабильности и пользовательского интерфейса, на который вы можете положиться, не меняя его в течение пяти лет, или новейших функций, обновленного программного обеспечения и крупного обновления каждые шесть месяцев? Читать →

OpenBSD 7.2 выходит с поддержкой Apple M2

OpenBSD производит полную, бесплатную, кросс-платформенную Unix-подобную операционную систему, основанную на BSD.

Было объявлено о выпуске OpenBSD 7.2, версия, в которой было внесено большое количество улучшений в систему, из которых можно выделить улучшения модуля drm, а также поддержку Apple M2, улучшения поддержки процессоров Intel и другое.

OpenBSD известен своими компонентами, получившими широкое распространение в других системах и зарекомендовали себя как одно из самых безопасных и качественных решений.

Читать →

PowerDNS Authoritative Server 4.7 уже выпущен и это его новинки

PowerDNS Authoritative Server предназначен для организации возврата зон DNS

Запуск новая версия авторитетного DNS-сервера «Авторитетный сервер PowerDNS 4.7» а в этой новой версии главное нововведение — «Каталог зон», а также возвращение совместимости с GSS-TSIG, в том числе.

По словам разработчиков проекта, PowerDNS Authoritative Server обслуживает примерно 30% от общего количества доменов в Европе (если рассматривать только домены с DNSSEC-подписями, то 90%).

Читать →

Новые книги по машинному обучению

Машинное обучение — одно из самых популярных и востребованных направлений для питонистов. В этой статье мы собрали для вас самые новые книги по машинному обучению для начинающих и опытных специалистов.

Deep Learning with Python

Автор: Francois Chollet

Год издания: 2021

Скачать

Учебное пособие для начального знакомства с глубоким обучением, но подойдет и тем, кто хочет расширить свое понимание темы.

Автор старался избегать математических формул и объяснять основные идеи машинного обучения в отрывках кода. Эти сниппеты сопровождаются комментариями, практическими советами и простыми высокоуровневыми объяснениями всего, в чем нужно разобраться новичку.

Примеры кода в книге написаны на Python и с использованием фреймворка Keras. Они показывают наилучшие подходы к применению Keras и TensorFlow 2.

Прочитав эту книгу, вы получите четкое понимание того, что такое глубокое обучение, где оно применяется и какие есть ограничения в его применении. Вы познакомитесь со стандартным процессом решения задач машинного обучения и узнаете, как справляться с распространенными проблемами. Также вы научитесь использовать Keras для решения реальных задач, от компьютерного зрения до обработки естественного языка.

Книга написана для Python-разработчиков, желающих заняться машинным и глубоким обучением.

Practical Deep Learning

Автор: Ron Kneusel

Год издания: 2021

Скачать

Введение в машинное обучение. Прочитав эту книгу, вы узнаете, как создать хороший набор данных и как оценивать производительность обученной модели. Научитесь работать с двумя ведущими наборами инструментов для машинного обучения — scikit-learn и Keras. Познакомитесь с несколькими классическими моделями машинного обучения и узнаете, как работают и обучаются нейронные сети. Наконец, вы разберетесь, как взять набор данных и с нуля разработать успешную модель.

Предполагается, что читатель не имеет бэкграунда, связанного с машинным обучением, но отличается любопытством и имеет желание экспериментировать. Математика сведена к минимуму. Цель книги — помочь вам разобраться в основных концепциях.

При этом читатель должен быть знаком с программированием в целом и знать математику на уровне старшей школы, а также основы статистики и теории вероятности.

Deep Learning: A Visual Approach

Автор: Andrew Glassner

Год издания: 2021

Скачать

Тема искусственного интеллекта имеет как горячих приверженцев, собирающихся спихнуть на машины как можно больше работы, так и убежденных противников, считающих, что однажды машины нас поработят. Кто же прав? Когда ИИ стоит внедрять, а когда лучше воздержаться?

Чтобы использовать любую новую технологию осмысленно, нужно для начала ее понять. Зная, как она работает, понимая природу ее силы и ограничения, мы можем смело применять ее для своей пользы.

Эта книга поможет разобраться, что собой представляет глубокое обучение. Никаких особых познаний для понимания книги читателю не требуется.

Многие люди считают, что алгоритмы глубокого обучения сложны. На самом деле обычно они простые, а их мощь основана на миллионных итерациях по базам данных. В этой книге автор сознательно обошелся без сложной математики и даже без кода, изложив общие принципы в популярной форме.

Позже, если захотите, вы сможете применить свои знания на практике. Для этого автор предоставляет бонусные части на GitHub (там уже есть код на Python).

Machine Learning for Financial Risk Management with Python

Автор: Abdullah Karasan

Год издания: 2022

Скачать

Книга о применении машинного обучения для создания высокоточных финансовых моделей. Читательская аудитория — люди, разбирающиеся как в финансах, так и в машинном обучении (т. е. книга даже близко не для начинающих питонистов).

TensorFlow 2 Pocket Reference

Автор: KC Tung

Год издания: 2021

Скачать

Практическое пособие по решению конкретных задач, с которыми вы скорее всего столкнетесь в работе с TensorFlow.

Предполагается, что читатели умеют использовать Python (а также библиотеки NumPy, pandas и JSON) для работы с данными и создания моделей TensorFlow.

Practical Weak Supervision

Авторы: Wee Hyong Tok, Amit Bahree, Senja Filipi

Год издания: 2021

Скачать

Во многих реальных проектах получение качественных размеченных данных часто занимает значительное количество времени. Слабое обучение (Weak Supervision) позволяет объединять идеи эвристики и краудсорсинга для создания наборов данных со слабой разметкой, которые можно использовать в качестве входных данных для задач машинного и глубокого обучения.

Книга предназначена для профессионалов, работающих над проектами машинного обучения. Предполагается, что читатели знают Python и знакомы с библиотеками и инструментами ML.

Data Science at the Command Line

Автор: Jeroen Janssens

Год издания: 2021

Скачать

Многие люди (да и компании) уверены, что для решения задач Data Science нужны исключительно новые технологии. Но довольно большая часть этих задач может быть решена еще до того, как к делу подключатся R, Python или базы данных. Старые добрые технологии вроде sed и awk все еще в строю, они мощные и гибкие.

Эта книга не о том, как вообще решать задачи Data Science. Она о том, как при помощи работы в консоли делать это более эффективно.

Автор рассмотрел больше 90 инструментов командной строки, применяющихся для очистки данных, анализа, визуализации и моделирования. Но основной упор он сделал не на самих инструментах, а на использовании их в конвейерах. Прочитав эту книгу, вы узнаете, как при помощи связок инструментов находить простые решения для сложных проблем.

Книга пригодится всем, кто работает с данными. Используемый вами язык программирования и операционная система не имеют значения: к вашим услугам будет образ Docker.

Data Science Bookcamp

Автор: Leonard Apeltsin

Год издания: 2021

Скачать

Карьера датасаентиста предполагает постоянное решение задач, к которым не прилагается набора готовых вариантов ответа. К сожалению, умение решать задачи приобретается только путем практики, другого способа нет.

Поэтому данная книга построена на основе разбора жизненных кейсов: от анализа онлайн-объявлений до отслеживания вспышек заболеваний на основе данных из новостей. Научившись находить подходы к решению подобных проблем, вы будете лучше подготовлены к началу карьеры в сфере data science.

Книга предназначена для новичков в науке о данных. Например, она пригодится хорошему фронтендеру, который не слишком разбирается в математике, но хотел бы попробовать себя в data science.

Предполагается, что читатель знаком с синтаксисом Python (знаний начинающего самоучки будет достаточно). Также потребуется знание математики, но не страшнее тригонометрии в старшей школе.

Machine Learning Bookcamp

Автор: Alexey Grigorev

Год издания: 2021

В этой статье мы собрали для вас самые новые книги по машинному обучению для начинающих и опытных специалистов.

Скачать

Введение в машинное обучение с упором на практику. Целевая аудитория — разработчики, знающие основы Python, интересующиеся машинным обучением и желающие приобрести практический опыт работы с данными.

Эту книгу отличает практичность и жизненность примеров. Вы научитесь предсказывать цену на машины, определять, не намерены ли клиенты перестать пользоваться сервисами компании, и рассчитывать риски невозврата кредита. Также вы создадите программу для классификации одежды по категориям (футболки, платья, штаны и пр.).

Каждый проект начинается с постановки задачи, которая затем решается при помощи различных инструментов и фреймворков. При этом автор говорит исключительно о вещах, важных для решения задачи. Теория затрагивается по минимуму.

Как и в любой книге по машинному обучению, здесь есть некоторое количество формул. Все они объясняются при помощи кода.

Все разделы книги содержат упражнения для практики.

Стоит отметить, что книга будет полезна и тем читателям, которые уже работают с машинным обучением. Например, им могут быть интересны главы, посвященные деплойменту.

Надеемся, наши обзоры помогут вам подобрать подходящую книгу. Приятного чтения!

Сообщение Новые книги по машинному обучению появились сначала на Pythonist.

Source: pythonist.ru knigi feed

ReadMag.ru

рецепты по настройке программного обеспечения

Stratis 3.3 уже выпущен и имеет улучшения стабильности.

Сервер логов Rsyslog+Loganalyzer на ОС Ubuntu20.

Как перейти на Ubuntu 22.10 с 22.04

OpenBSD 7.2 выходит с поддержкой Apple M2

PowerDNS Authoritative Server 4.7 уже выпущен и это его новинки

Новые книги по машинному обучению

Deep Learning with Python

Practical Deep Learning

Deep Learning: A Visual Approach

Machine Learning for Financial Risk Management with Python

TensorFlow 2 Pocket Reference

Practical Weak Supervision

Data Science at the Command Line

Data Science Bookcamp

Machine Learning Bookcamp