Архив метки: Software

Graylog Video

01-Graylog. Обзор. Центральный лог сервер для Linux и Windows отчетов.










02-Graylog. Простая установка на один сервер. Центральный лог сервер для Linux и Windows отчетов.







Установка Graylog:
https://docs.graylog.org/en/latest/pages/installation.html


Настройка apache2 и создание SSL Сертификатов:


openssl req -x509 -newkey rsa:4096 -keyout key.pem -out cert.pem -days 365 -nodes

apt install apache2
a2enmod proxy rewrite ssl headers proxy_http



!!! Внимание!!!
Замените "!" на острые скобки как в видео


!VirtualHost *:80!
    ServerName  graylog.home
    RewriteEngine On
    RewriteCond %{HTTPS} off
    RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]
!/VirtualHost!
!VirtualHost *:443!
    SSLEngine   On
    RequestHeader set X-Forwarded-Proto "https"
    SSLCertificateFile  /etc/ssl/private/cert.pem
    SSLCertificateKeyFile /etc/ssl/private/key.pem

    ServerName  graylog.home
    ProxyPreserveHost On
    ProxyPass   / http://127.0.0.1:9000/
    ProxyPassReverse    / http://127.0.0.1:9000/
!/VirtualHost!





03-Graylog Cluster. Multi Node установка. Центральный лог сервер для Linux и Windows отчетов.







Команды и параметры в видео:
https://docs.graylog.org/en/latest/pages/configuration/multinode_setup.html#configure-multinode


apt update && sudo apt-get upgrade
apt install apt-transport-https openjdk-8-jre-headless uuid-runtime pwgen


MongoDB Install:

apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 9DA31620334BD75D9DCB49F368818C72E52529D4
echo "deb [ arch=amd64 ] https://repo.mongodb.org/apt/ubuntu bionic/mongodb-org/4.0 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-4.0.list
apt update
apt install -y mongodb-org

MongoDB :

vi /etc/mongod.conf
====================
bindIp: 0.0.0.0
replication:
  replSetName: graylog
====================
systemctl restart mongod.service

Master Node:
mongo
rs.initiate( {
    _id : "graylog",
    members: [ { _id : 0, host : "10.10.10.161:27017" } ]
 })

 rs.conf()

 Add members to the replica set:
 rs.add("10.10.10.162:27017")

 rs.config()
 rs.status()

--Create a graylog database and add graylog users:
 mongo
 use graylog
 db.createUser( {
    user: "graylog",
    pwd: "Pa$$w0rD",
    roles: [ { role: "readWrite", db: "graylog" } ]
    });
db.grantRolesToUser( "graylog" , [ { role: "dbAdmin", db: "graylog" } ])
show users
db.auth("graylog","Pa$$w0rD")

systemctl enable mongod

Elasticsearch Installation:

wget -q https://artifacts.elastic.co/GPG-KEY-... -O myKey
apt-key add myKey
echo "deb https://artifacts.elastic.co/packages... stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
apt update && sudo apt-get install elasticsearch-oss


vi /etc/elasticsearch/elasticsearch.yml


cluster.name: graylog  
---Node name
node.name: node01
---Current node IP
network.host: 10.10.10.161
---port
http.port: 9200
---Hosts in the cluster
discovery.zen.ping.unicast.hosts: ["10.10.10.161", "10.10.10.162", "10.10.10.163"]
----Discoverable master node
discovery.zen.minimum_master_nodes: 2



systemctl restart elasticsearch.service
systemctl enable elasticsearch.service


 ERROR "master not discovered yet, this node has not previously joined a bootstrapped (v7+) cluster,and [cluster.initial_master_nodes] is empty on this node"



cluster.initial_master_nodes: ["10.10.10.161:9300"]


Checks:
curl 'http://10.10.10.161:9200
curl 'http://10.10.10.161:9200/_cluster/hea...
curl 'http://10.10.10.161:9200/_cat/nodes?v'


Graylog Installation:
wget https://packages.graylog2.org/repo/pa...
dpkg -i graylog-4.1-repository_latest.deb
apt update && sudo apt install graylog-server graylog-enterprise-plugins graylog-integrations-plugins graylog-enterprise-integrations-plugins

Master Node:
vi /etc/graylog/server/server.conf
is_master = true
root_username = admin
password_secret = Passw0rdPassw0rd
root_password_sha2 = ab38eadaeb746599f2c1ee90f8267f31f467347462764a24d71ac1843ee77fe3
http_bind_address = 0.0.0.0:9000
http_publish_uri = http://10.10.10.161:9000/
elasticsearch_hosts = http://10.10.10.161:9200,http://10.10...
mongodb_uri = mongodb://graylog:Pa$$w0rD@10.10.10.161:27017,10.10.10.162:27017,10.10.10.163:27017/graylog?replicaSet=graylog

grep "^[^#]" /etc/graylog/server/server.conf


systemctl enable graylog-server.service
systemctl start graylog-server.service

tail -f /var/log/graylog-server/server.log



LoadBalancer:
apt install nginx

cd /etc/nginx/sites-enabled/
rm default
cd /etc/nginx/sites-available

vi graylog

   server {
   listen       80 default_server;
   server_name graylog.rom.home;

   location / {
       proxy_set_header Host $http_host;
       proxy_set_header X-Forwarded-Host $host;
       proxy_set_header X-Forwarded-Server $host;
       proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
       proxy_set_header X-Graylog-Server-URL http://$server_name/;
       proxy_pass http://graylog-web-cluster;
   }
}
    upstream graylog-web-cluster {
        server 10.10.10.161:9000 max_fails=3 fail_timeout=30s;
        server 10.10.10.162:9000 max_fails=3 fail_timeout=30s;
        server 10.10.10.163:9000 max_fails=3 fail_timeout=30s;
    }




04-Graylog. Подключение клиентов Linux.







Установка Sidecar:

https://docs.graylog.org/en/latest/pages/sidecar.html



Агенты Sidecar и Collector:
https://github.com/Graylog2/collector-sidecar/releases




05-Graylog. Подключение клиентов Windows.







Установка Sidecar:

https://docs.graylog.org/en/latest/pages/sidecar.html

Агенты Sidecar и Collector:
https://github.com/Graylog2/collector-sidecar/releases



2021-08-16T16:51:19
Software

Конфигурация Grok в logstash

#### Предисловие




Grok — это инструмент, который объединяет несколько предопределенных регулярных выражений для сопоставления сегментированного текста и сопоставления с ключевыми словами.




#### Функция




Данные журнала предварительной обработки




#### Заявка




плагин grok в модуле фильтра logstash




#### Пример 1 (не в обычной форме)




##### Формат файла журнала




«`




localhost GET /index.html 1024 0.016




«`




##### запись оператора grok




«%{IPORHOST:client} %{WORD:method} %{URIPATHPARAM:request} %{INT:size} %{NUMBER:duration}




«`




##### отладка Grok




Вы можете использовать инструменты разработчика на веб-странице kibana для отладки, что удобно и быстро. См. Следующий рисунок:







##### Как записать logstash.conf в logstash




«`




filter {

  grok {

    match => { "message" => "%{IPORHOST:client} %{WORD:method} %{URIPATHPARAM:request} %{INT:size} %{NUMBER:duration}" }

  }

}




«`




#### Пример 2 (в обычной форме)




##### Формат файла журнала




«`




[2020-04-10 14:15:28 +0800] [571] [ERROR] Мой журнал ошибок




«`




##### запись оператора grok







Примечание. Из-за искаженного отображения текстового содержимого оно отображается в виде изображений.




##### отладка Grok




Вы можете использовать инструменты разработчика на веб-странице kibana для отладки, что удобно и быстро. См. Следующий рисунок:







##### Как записать logstash.conf в logstash







Примечание. Из-за искаженного отображения текстового содержимого оно отображается в виде изображений.




#### Дополнение




Grok предопределил 120 полей, вы можете обратиться к





https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns




Источник: https://russianblogs.com/article/25861498656/



2021-08-16T16:18:26
Software

Мониторинг журнала контейнеров на основе Graylog

Docker log




Когда контейнер запускается, он фактически является подпроцессом docker deamon. Docker daemon может получить стандартный вывод процесса в контейнере, а затем обработать его через собственный модуль LogDriver. LogDriver поддерживает множество способов и по умолчанию записывает в локальные файлы. Его также можно отправить в системный журнал и т. Д.







Docker по умолчанию соберет стандартный вывод приложения в файл json.log и построчно сохранит данные в формате JSON. Формат файла следующий:




{"log":"root@74205cdc7b53dd:/#lsrn","stream":"stdout","time":"xxx.155834526Z"}{"log":"root@74205cdc7b53dd:/#lsrn","stream":"stdout","time":"xxx.255834528Z"}




Этот метод хранения журналов в Docker можно настроить, указав драйвер журнала при запуске контейнера. Поддерживаются следующие драйверы журнала:







Управление журналом Graylog




Graylog — это инструмент управления полными журналами с открытым исходным кодом с функциями, аналогичными ELK. Docker изначально поддерживает протокол graylog, а Graylog также официально поддерживает Docker, которые могут быть легко соединены. Graylog официально предоставляет Dockerfile для развертывания системы ведения журнала в Docker, а также предоставляет файл docker-compose.yml для быстрого развертывания всего стека Graylog.
Подробное содержимое можно просмотреть по адресу http://docs.graylog.org/en/3.1/pages/installation/docker.html.







Развертывание Graylog




1. Создайте каталог graylog в текущем каталоге пользователя в качестве рабочего каталога для развертывания:




$ mkdir graylog

$ cd graylog




2. Инициализируйте каталог и файлы конфигурации




$ mkdir -p ./graylog/config

$ cd ./graylog/config

$ wget https://raw.githubusercontent.com/Graylog2/graylog-docker/3.1/config/graylog.conf

$ wget https://raw.githubusercontent.com/Graylog2/graylog-docker/3.1/config/log4j2.xml

 

 # Кроме того, поскольку Graylog определяет пользователей и группы пользователей с идентификатором 1100,

 # Причина Graylog может сообщить о недостаточных разрешениях ошибки каталога конфигурации при запуске, которая может быть решена с помощью следующей команды

chown -R 1100:1100 ./graylog/config




3. Измените файл конфигурации. Файл graylog.conf, полученный на предыдущем шаге, является конфигурацией по умолчанию, предоставленной официальным лицом. Пользователи могут конфигурировать в соответствии со своими потребностями. Например, часовой пояс в конфигурации по умолчанию — часовой пояс UTC, который можно изменить на часовой пояс Китая




root_timezone = Asia/Shanghai




4. Подготовьте файл docker-compose.yml




version: '3'

services:

  # MongoDB: https://hub.docker.com/_/mongo/

  mongo:

    image: mongo:3

    networks:

      - graylog

    volumes:

      - mongo_data:/data/db

  # Elasticsearch: https://www.elastic.co/guide/en/elasticsearch/reference/6.x/docker.html

  elasticsearch:

    image: docker.elastic.co/elasticsearch/elasticsearch:7.5.0

    volumes:

      - es_data:/usr/share/elasticsearch/data

    environment:

      - http.host=0.0.0.0

      - transport.host=localhost

      - network.host=0.0.0.0

      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"

    ulimits:

      memlock:

        soft: -1

        hard: -1

    deploy:

      resources:

        limits:

          memory: 1g

    networks:

      - graylog

  # Graylog: https://hub.docker.com/r/graylog/graylog/

  graylog:

    image: graylog/graylog:3.1

    volumes:

      - graylog_journal:/usr/share/graylog/data/journal

      - ./graylog/config:/usr/share/graylog/data/config

    environment:

      # CHANGE ME (must be at least 16 characters)!

      - GRAYLOG_PASSWORD_SECRET=somepasswordpepper

      # Password: admin

      - GRAYLOG_ROOT_PASSWORD_SHA2=8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918

      - GRAYLOG_HTTP_EXTERNAL_URI=http://192.168.0.103:9000/

    networks:

      - graylog

    depends_on:

      - mongo

      - elasticsearch

    ports:

      # Graylog web interface and REST API

      - 9000:9000

      # Syslog TCP

      - 1514:1514

      # Syslog UDP

      - 1514:1514/udp

      # GELF TCP

      - 12201:12201

      # GELF UDP

      - 12201:12201/udp

networks:

  graylog:

    driver: bridge

# Volumes for persisting data, see https://docs.docker.com/engine/admin/volumes/volumes/

volumes:

  mongo_data:

    driver: local

  es_data:

    driver: local

  graylog_journal:

    driver: local




5. Запустите «docker-compose up», чтобы запустить службу. После того, как служба запустится нормально, вы можете получить доступ к веб-интерфейсу graylog через http: // ip: 9000. Пользователь по умолчанию — admin / admin.




img




Коллекция журналов конфигурации Graylog




Сбор журналов Graylog осуществляется путем определения входных данных. Вы можете выбрать вход для сбора журналов на вкладке Система на странице веб-управления Graylog.







После входа на страницу ввода выберите тип ввода, такой как определение ввода GELF UDP:







После завершения выбора нажмите «Lanch new input», чтобы ввести подробную конфигурацию ввода, а после ее завершения сохраните.







Если после сохранения все в порядке, вход перейдет в состояние RUNNING, а затем вы сможете отправить данные на этот вход. Нажмите «Stop input», вход остановится, прием данных прекратится, и «Stop input» станет «Начать ввод», нажмите «Пуск», когда вам нужно принять данные.







Настройте Docker-контейнер для отправки данных в Graylog




При настройке контейнера Docker для отправки данных в Graylog, вы можете добавить следующие параметры при запуске команды docker run для запуска контейнера:




docker run --log-driver=gelf 

 --log-opt gelf-address = udp: // адрес серого журнала: 12201 

 --log-opt tag = <текущий тег службы контейнера, используемый для классификации при запросах graylog> 

<IMAGE> <COMMAND>




Конкретные примеры:




docker run -d 

--log-driver=gelf 

--log-opt gelf-address=udp://localhost:12201 

--log-opt tag="{{.ImageName}}/{{.Name}}/{{.ID}}" 

busybox sh -c 'while true; do echo "Graylog test message"; sleep 10; done;'




Если контейнер запускается командой docker-compose, вы можете добавить следующую конфигурацию в файл docker-compose.yml:




logging:

  driver:"gelf"

  options:

    GELF-адрес: "UDP: // адрес серого журнала: 12201"

         тег: «Контейнерный сервисный тег»




Конкретные примеры:




version: '2'

services:

  nginx:

    image: nginx:latest

    ports:

      - "80:80"

    logging:

      driver: "gelf"

      options:

        gelf-address: "udp://localhost:12201"

        tag: nginx-service




После настройки отправки журнала вы можете искать информацию журнала на вкладке Поиск







Источник: https://russianblogs.com/article/1206672753/



Конфигурация карты мира Graylog

В процессе использования graylog для сбора журналов нетрудно обнаружить, что существует «Карта мира», показывающая географическое местоположение. Если вы просто нажмете на позицию на картинке ниже, 99% не покажет вам нужную карту, и появится красное сообщение об ошибке (оставшиеся 1% на самом деле не будут успешными ^). Так как же открыть эту «карту мира»? Следующее содержание этой статьи будет представлено подробно.




Настроить геолокацию








Скачать базы данных MaxMind City
GeoIP2 City DatabaseиGeoLite2 City DatabaseВы можете выбрать одну загрузку, эту загрузкуGeoLite2 CityБаза данных, как показано ниже:







Настройте базу данных
1. Разархивируйте загруженный сжатый пакет.
2. В зависимости от способа установки изменитеGeoLite2-City.mmdbПоместите файл в нужное место. Я установил Graylog в форме RPM. Нажмите «Система-> Конфигурации» в веб-интерфейсе Graylog. Вы можете увидеть размещение файлов по умолчанию, как показано ниже:







Следовательно,GeoLite2-City.mmdbПоложить в/etc/graylog/server/Под каталогом.




3. Обновить процессор географического местоположения. Нажмите «Система-> Конфигурации» в веб-интерфейсе graylog и нажмите кнопку «Обновить» на рисунке ниже:





Установите флажок Включить, проверьте размещение файлов и нажмите кнопку «Сохранить», чтобы сохранить конфигурацию.







Настройте процессоры GeoIP Resolver
Нажмите кнопку «Обновить», чтобы обновить конфигурацию:







Переместите строку GeoIP Resolver, установите в качестве последнего обработчика сообщений распознаватель GeoIP, включите GeoIP Resolver и нажмите кнопку «Сохранить», чтобы сохранить настройки:







тест
На этом этапе настройка завершена. Graylog начнет искатьСодержит только Поле адреса IPv4 или IPv6 и извлечение его географического местоположения в<field>_geolocationПоле. Короче если у вас есть полеfield1Если содержимое является только IP-адресом, graylog сохранит географическое местоположение на основе IP-адреса этого поля.field1_geolocationДюйм




Давайте проверим это ниже:
1. Нажмите «System-> Inputs», чтобы создать ввод типа Raw / Plaintext TCP.










2. Отправьте тестовое сообщение.




[vagrant@graylogTest1 graylog]$ nc -w2 192.168.2.124 5555 <<< '8.8.8.8'




Вы можете увидеть эффект, показанный на следующем рисунке:







Поле сообщения на рисунке выше содержит только IP-адрес, и затем Graylog будет расширен в соответствии с этим IP-адресом.message_city_namemessage_country_code、 message_geolocationТри поля




Если ваш IP-адрес не существует один в каком-либо поле, вы можете использовать Extractor для извлечения IP-адреса для сохранения в виде поля, а затем Graylog может определить географическое местоположение. Как показано на рисунке ниже, поле сообщения содержит адрес 9.9.9.9. В это время можно извлечь Extractor для извлечения.







Создать Extractor для извлечения IP
Формат адреса ip относительно фиксирован. Мы можем использовать шаблон Grok для сопоставления. Шаблон Grok уже имеет существующие правила сопоставления ip, поэтому нам не нужно писать регулярно.











После завершения, когда мы получаем вышеуказанное сообщение, эффект выглядит следующим образом:







Показать карту








Когда это появляется<field>_geolocationПосле поля нажмите на поле «Карта мира», чтобы увидеть местоположение на карте.










Graylog официальная документацияGeolocationДля подробного ознакомления эта статья является только записью процесса настройки, которая следует за официальной документацией, только для справки.







Источник: https://russianblogs.com/article/5030359514/



2021-08-16T16:00:33
Software

Руководство по настройке установки Graylog

I. Введение в соответствующие компоненты платформы Garylog




  • Graylog-сервер: Graylog получает журналы от различных внутренних приложений и предоставляет интерфейс веб-доступа
  • Graylog Collector Sidecar: отвечает за сбор журналов приложений и отправку их на Graylog-сервер
  • Elasticsearch: используется для индексации и сохранения полученных журналов, производительность зависит от памяти и ввода-вывода жесткого диска
  • MongoDB: отвечает за сохранение информации о конфигурации Graylog, нагрузка не высокая
  • GeoIP_CityDatabase: анализ журналов Ngnix через Graylog, получение IP-адреса посетителя, а затем использование базы данных GeoIP2 для анализа географического местоположения IP.




Сравнение Гарилога и ЭЛК




Сравнение общей архитектуры




  • Graylog: Graylog Collector Sidecar-> Сервер Graylog (пакет ElstaicSearch) -> Веб-страница Graylog
  • ELK:Logstash -> ElasticSearch -> Kibana







Преимущества Graylog:




  • Простота развертывания и обслуживания, простота в использовании и интегрированное решение
  • По сравнению с синтаксисом json от ES синтаксис поиска относительно прост, и результаты поиска можно выделить
  • Встроенное простое оповещение можно вспомнить через веб-API или по электронной почте
  • Может напрямую экспортировать поисковый JSON-файл для облегчения разработки поисковых скриптов, которые вызывают остальные API




Три, диаграмма архитектуры Garylog




Установка одного узла




Подходит для небольшого сбора журналов, установки тестовой среды, без избыточности, но для быстрой установки и развертывания, в данной статье используется этот метод установки







Кластерная установка




Это подходит для производственных сред. Балансировка нагрузки добавляется до того, как несколько узлов Graylog развернуты в кластере. ElasticSearch и MongoDB развернуты. Балансировщик нагрузки может проверить, является ли узел нормальным. Если узел отключен, вы можете удалить узел







В-четвертых, установка и настройка Graylog




1.jdk установка




Версия установки jdk1.8.0_161, процесс установки (опущен)




Установка 2.ElasticSearch




Установочная версия —asticsearch-5.6.11, установлен плагин x-pack, а также инструмент управленияasticsearch-head




Плагин для сегментации китайского словаasticsearch-analysis-ik-5.6.11 ,asticsearch-analysis-pinyin-5.6.11




Обратите внимание, что версия ElasticSearch, соответствующая Graylog2.4, не может быть выше 5.x, иначе она не может быть установлена




Обратите внимание, что версия ElasticSearch, соответствующая Graylog 2.3 и более ранним версиям, не может быть выше 4.x, в противном случае она не может быть установлена




(1) Установить эластичный поиск-5.6.11




Распаковать эластичный поиск-5.6.11.tar.gz, tar -zxf эластичный поиск-5.6.11.tar.gz -C / usr / local




Измените конфигурациюasticsearch.yml следующим образом




path.data:

       - /data/elasticsearch_1

       - /data/elasticsearch_2

       - /data/elasticsearch_3

 

path.logs: /data/elasticsearch_logs

bootstrap.memory_lock: true

network.host: 0.0.0.0

http.port: 9200

xpack.security.audit.enabled: true

xpack.security.authc.accept_default_password: false

indices.store.throttle.max_bytes_per_sec: 150mb

http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type

http.cors.enabled: true

http.cors.allow-origin: "*"




Elasticsearch не может быть запущен пользователем root, вам нужно создать новый эластичный пользователь, переключиться на эластичный и запустить




./elasticsearch -d




Посетите http://10.10.10.1:9200/ через браузер и верните информацию, относящуюся кasticsearch, что означает, что запуск прошел успешно




(2) Установите x-pack




bin /asticsearch-plugin установите x-pack, следуйте инструкциям и нажмите Next для установки




(3) установить китайское слово segmenter ik и пиньинь




Перейдите в /usr/local/elasticsearch-5.6.11/plugins и распакуйте файлasticsearch-analysis-ik-5.6.11.zip в каталог ik




Перейдите в /usr/local/elasticsearch-5.6.11/plugins, разархивируйте файлasticsearch-analysis-pinyin-5.6.11.zip в каталог pinyin и перезапустите эластичный поиск




Введите в браузере следующий адрес: если появляется слово сегментация, настройка выполнена успешно.




http://192.168.0.100:9200/_analyze?analyzer=ik&pretty=true&text=helloworld,%E6%AC%A2%E8%BF%8E%E6%82%A8




(4) Установка инструмента управления упругой головкой




Извлеките файлasticsearch-head-master.zip в / usr / local /




chown -R elastic:elastic /usr/local/elasticsearch-head-master

cd /usr/local/elasticsearch-head-master

npm install && nohup npm run start &




Посетите http://10.10.10.1:9100, если появится следующая страница, установка прошла успешно







Установка 3.MongoDB




Используйте кластер Alibaba Cloud MongoDB RDS, версия 3.4, официальная рекомендация — использовать последнюю версию, процесс установки (опущен)




4. Установка Грайлог-сервера




Установочная версия Graylog-2.4.6




rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-2.4-repository_latest.rpm




Установить yum -y установить graylog-server через yum




Измените файл конфигурации vim /etc/graylog/server/server.conf со следующими изменениями:




Используйте pwgen для генерации password_secret плюс пароль pwgen -N 1 -s 96




U9oMoxRYJ0DB4K30SsQPhAeL7237aTTy0kSpLiEbrNNSqGp6sQaJO4zq9fI2I6FEVkpIomGNQMrssj8IQqmgIhTDNrUbQbnk




Добавьте указанный выше ключ в password_secret =




Используйте echo -n 123456 | sha256sum, чтобы сгенерировать пароль для входа, и учетная запись — admin




8d969eef6ecad3c29a3a629280e686cf0c3f5d5a86aff3ca12020c923adc6c92




Добавьте указанный выше ключ в root_password_sha2 =




Измените часовой пояс root_timezone = UTC на root_timezone = Азия / Шанхай




Измените адрес для прослушивания web и api




rest_listen_uri = http://127.0.0.1:9000/api/ изменен на http://0.0.0.0:9000/graylog/api/




rest_transport_uri = http://192.168.1.1:9000/api/ изменен на https://graylog.example.com/graylog/api/




web_listen_uri = http://127.0.0.1:9000/ изменен на http://0.0.0.0:9000/graylog/




rest_enable_cors = false




Изменить адрес подключения ElasticSearch




elasticsearch_hosts = http://elastic:123456@10.10.10.1:9200




Изменить адрес подключения MongoDB




mongodb_uri = mongodb://graylog:123456@10.10.10.1:3717/graylog




Chkconfig — добавить Graylog-сервер




Добавьте graylog-сервер в системную службу systemctl, включите graylog-server.service




Подсветка результатов поиска allow_highlighting = true




5.Грейлог-коллектор-коляска установка




Перейдите в git-проект сборщика колясок https://github.com/Graylog2/collector-sidecar/releases, чтобы загрузить последнюю стабильную версию.




Установите rpm -i collector-sidecar-0.0.9-1.x86_64.rpm




Измените файл конфигурации collector_sidecar.yml, измените server_url: http://10.10.10.1:9000/graylog/api/, добавьте теги




Проверьте правильность файла конфигурации




graylog-collector-sidecar -configtest -c /etc/graylog/collector-sidecar/collector_sidecar.yml




Graylog-коллектор-коляска -сервисная установка




Запустите сервис systemctl запустите коллектор-коляску




6. Настройте Nginx




server_name graylog.example.com;

location /graylog/ {

            proxy_set_header Host $http_host;

            proxy_set_header X-Forwarded-Host $host;

            proxy_set_header X-Forwarded-Server $host;

            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

            proxy_set_header X-Graylog-Server-URL http://$server_name/api;

            proxy_pass       http://127.0.0.1:9000/graylog/;

        }

 

location /graylog/api/ {

            proxy_set_header Host $http_host;

            proxy_set_header X-Forwarded-Host $host;

            proxy_set_header X-Forwarded-Server $host;

            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

            proxy_pass       http://127.0.0.1:9000/graylog/api/;

        }




После завершения настройки перезапустите nginx и graylog-server.




Источник: https://russianblogs.com/article/404130660/



2021-08-16T15:52:13
Software

Осваиваем мониторинг с Prometheus. Часть 3. Настройка Prometheus server

Prometheus server настраивается через два места: жопу и голову аргументы запуска и конфигурационный файл. Настройку через переменные окружения в Prometheus не завезли и не планируют.







Как долго Prometheus должен хранить метрики




Это зависит от того, как вы будете их использовать. В идеале надо иметь два набора метрик: краткосрочные на пару недель и долгосрочные на несколько месяцев. Первые нужны, чтобы оперативно отслеживать ситуацию, вторые — чтобы видеть тенденцию на больших промежутках времени. Но это большая тема, заслуживающая отдельной статьи, а пока сделаем по-простому. Длительность хранения метрик указывается в аргументах запуска Prometheus. Есть две опции:




--storage.tsdb.retention.time=... определяет как долго Prometheus будет хранить собранные метрики. Длительность указывается так же, как и в PromQL для диапазонного вектора: 30d — это 30 дней. По умолчанию метрики хранятся 15 дней, потом исчезают. К сожалению нельзя одни метрики хранить долго, а другие коротко, как, например, в Graphite. В Prometheus лимит общий для всех.




--storage.tsdb.retention.size=... определяет сколько дискового пространства Prometheus может использовать под метрики. По-моему эта опция удобнее предыдущей: можно указать всё свободное место на диске и получить настолько долгие метрики, насколько это возможно при любом их количестве. На практике однако нельзя указывать свободное место впритык. Дело в том, что у БД метрик есть журнал упреждающей записи (WAL), который в этом лимите не учитывается. Я не понял от чего зависит максимальный размер WAL, поэтому какие-то рекомендации по запасу не могу дать. У меня максимальный размер WAL был 8 ГБ.




Если вы устанавливали Prometheus по моей инструкции без докера, то аргументы запуска вам надо прописать в /etc/systemd/system/prometheus.service в параметре ExecStart, после чего выполнить две команды:




# systemctl daemon-reload
# systemctl restart prometheus




Если же Prometheus работает в докере, то надо внести изменения в docker-compose.yml и переподнять контейнер.




Интервал опроса экспортеров и job name




Давайте взглянем на минимальный конфиг из предыдущей статьи, чтобы вы понимали о чём идёт речь:/etc/prometheus/prometheus.yml




global:
  scrape_interval: 15s

scrape_configs:
  - job_name: 'node'
    static_configs:
    - targets:
       - localhost:9100
       - anotherhost:9100




scrape_interval — периодичность опроса экспортеров (scrape дословно с английского — это соскабливать, соскребать). В отличие от длительности хранения метрик, может быть разной для разных метрик. Во всех мануалах я встречал цифру в 15 секунд, но почему-то никто не объяснял эту магическую константу. Почему не 2, 5 или 10? В целом так: чем меньше интервал, тем выше будет разрешение графиков и тем больше места потребуется для хранения метрик. Видимо 15 секунд — это золотая середина, найденная опытным путём.




job_name — имя (для Prometheus’а) для данной группы метрик. job_name будет светиться в интерфейсе Prometheus’а на вкладке Targets, а также попадёт в метку job для группы метрик c этих машин:







Как правильно подобрать имя для job_name ? Я пробовал разные варианты и в итоге остановился на простом правиле: называть job’ы в соответствии с экспортерами: node для node_exporter, cadvisor для cadvisor’а и т.д.




После редактирования конфига надо попросить Prometheus’а перечитать свой конфиг. Для этого надо послать ему сигнал SIGHUP одним из способов:




# systemctl reload prometheus
или
$ docker kill --signal=SIGHUP prometheus




Как навесить дополнительных меток хостам




Элементарно!/etc/prometheus/prometheus.yml




scrape_configs:
  - job_name: 'node'
    static_configs:
    - targets:
       - host-a:9100
       - host-b:9100
      labels:
        project: 'boo'
        env: 'prod'

    - targets:
       - host-c:9100
       - host-d:9100
      labels:
        project: 'boo'
        env: 'dev'




Результат в интерфейсе Prometheus:







В запросах будет выглядеть так:




Expression: node_load1
node_load1{env="dev",instance="host-c:9100",job="node",project="boo"}   2.04
node_load1{env="dev",instance="host-d:9100",job="node",project="boo"}   0.8
node_load1{env="prod",instance="host-a:9100",job="node",project="boo"}  1.1
node_load1{env="prod",instance="host-b:9100",job="node",project="boo"}  1.5




Метки можно вешать любые на ваш вкус, не только project и env.




Как убрать номер порта из таргетов




Я не люблю лишнее. Вот зачем мне номер порта в метке instance? Какая от него польза? Он только сообщает, что node_exporter работает на порту 9100, но является ли эта информация полезной? Нет. Поэтому порт надо скрыть:/etc/prometheus/prometheus.yml




...

scrape_configs:
  - job_name: 'node'
    static_configs:
    - targets:
       - localhost:9100
       - anotherhost:9100

    metric_relabel_configs:
      - source_labels: [instance]
        regex: '(.*):9100'
        replacement: '$1'
        target_label: instance




Порт скроется не везде. На вкладке Targets он останется:







А в запросах исчезнет:




Expression: node_load1
1.67node_load1{instance="localhost",job="node"}
0.13node_load1{instance="anotherhost",job="node"}




Кроме одного:




Expression: up
1up{instance="localhost:9100",job="node"}
1up{instance="anotherhost:9100",job="node"}




Service discovery




Service discovery — это автоматическое обнаружение целей. Суть в том, что Prometheus будет получать список целей из какого-то внешнего источника: consul, openstack или что-то ещё. Service discovery — удобная штука, особенно если у вас инфраструктура развёрнута в облаке и машины регулярно рождаются и умирают.




Самый простой service discovery работает на файликах. В конфиге пишем так:/etc/prometheus/prometheus.yml




scrape_configs:
  - job_name: "node"
    file_sd_configs:
    - files:
      - /etc/prometheus/sd_files/*_nodeexporter.yml
      refresh_interval: 1m




Prometheus засунет в джобу node все таргеты из файлов, которые лежат в /etc/prometheus/sd_files/ и оканчиваются на _nodeexporter.yml. Всё это будет работать без перечитывания конфига.




Пример файла с таргетами:/etc/prometheus/sd_files/boo_nodeexporter.yml




- targets:
  - 'host-a:9100'
  - 'host-b:9100'
  labels:
    project: 'boo'
    env: 'prod'

- targets:
  - 'host-c:9100'
  - 'host-d:9100'
  labels:
    project: 'boo'
    env: 'dev'




Удобно держать таргеты разных проектов в разных файлах. В моём примере лишь один проект с названием “boo”, остальные делаются по аналогии. Думаю разберётесь.




Чем отличается перечисление таргетов непосредственно в prometheus.yml от перечисления в отдельных файлах? В первом случае надо давать команду перечитывания конфига при редактировании, а во втором нет.




Источник: https://laurvas.ru/prometheus-p3/



2021-08-16T10:28:17
Software