Синтаксис запросов
Рассмотрим синтаксис некоторых функций, которые мы будем использовать в нашей инструкции. Проверять все наши запросы можно в веб-интерфейсе прометеуса на странице /graph.
irate или rate
В Prometheus значения для счетчиков всегда возрастают, но как правило, нам нужно знать изменение значения за определенный момент времени. Запрос будет выглядеть так:
irate(<запрос на выборку метрики>[интервал времени, на протяжении которого происходят изменения метрики])
avg by
Среднее значение по условию, например:
avg by (instance)
… среднее для каждого инстанса.
avg_over_time
Среднее значение всех значений для метрик в указанном интервале.
avg_over_time(<запрос на выборку метрики>[интервал])
sum
Функция суммирует полученные результаты:
sum(<запрос на получение значений>)
time
Отображает время в формате UNIX TIME.
time()
count
Считает количество значений:
count(<запрос на получение значений>)
Вместе с by значения могут фильтроваться:
count(<запрос на получение значений>) by (<по какому показателю>)
Арифметические операции
2. Полученный остаток от процентного показателя вычисляется по формуле:
Системная информация
Для начала рассмотрим примеры получения общих системных показателей.
Время работы системы
Расчет ведется относительно показателя node_boot_time_seconds (время последнего включения системы).
1. Общее время для всех узлов:
sum(time() — node_boot_time_seconds{})
sum(time() — node_boot_time_seconds{}) / 60
* первый запрос в секундах, второй — в минутах.
sum(time() — node_boot_time_seconds{instance=~»192.168.0.15:9100|192.168.0.20:9100″})
* в данном примере мы получим сумму значений для узлов 192.168.0.15 и 192.168.0.20.
3. Для всех узлов по отдельности:
time() — node_boot_time_seconds{}
* данный запрос выведет на экран несколько значений для каждого из узлов.
Температура
Данная метрика поддерживается не всем оборудованием или средствами виртуализации.
node_hwmon_temp_celsius{instance=~’192.168.0.15:9100|192.168.0.20:9100′}
Процессор
Для получения нужных нам показателей будем использовать метрику node_cpu_seconds_total.
Количество процессоров
1. Общее количество всех процессоров всех узлов:
sum(count(node_cpu_seconds_total{mode=’system’}) by (cpu))
* для 192.168.0.15 и 192.168.0.20.
count(node_cpu_seconds_total{mode=’system’}) by (instance)
Нагрузка
(irate(node_cpu_seconds_total{job=»node_exporter_clients»,mode=»idle»}[5m])) * 100
100 — ((irate(node_cpu_seconds_total{job=»node_exporter_clients»,mode=»idle»}[5m])) * 100)
{cpu="0", instance="192.168.0.15:9100", job="node_exporter_clients", mode="idle"} 0.6000000238418579
{cpu="0", instance="192.168.0.20:9100", job="node_exporter_clients", mode="idle"} 0.9999999403953552
{cpu="1", instance="192.168.0.15:9100", job="node_exporter_clients", mode="idle"} 0.6000000238418579
{cpu="1", instance="192.168.0.20:9100", job="node_exporter_clients", mode="idle"} 1.5999999642372131
{cpu="2", instance="192.168.0.15:9100", job="node_exporter_clients", mode="idle"} 0.8000000193715096
{cpu="2", instance="192.168.0.20:9100", job="node_exporter_clients", mode="idle"} 0.8000001311302185
{cpu="3", instance="192.168.0.15:9100", job="node_exporter_clients", mode="idle"} 1.0000000149011612
{cpu="3", instance="192.168.0.20:9100", job="node_exporter_clients", mode="idle"} 0.6000000238418579
{cpu="4", instance="192.168.0.15:9100", job="node_exporter_clients", mode="idle"} 0.19999999552965164
{cpu="4", instance="192.168.0.20:9100", job="node_exporter_clients", mode="idle"} 0.2000001072883606
{cpu="5", instance="192.168.0.15:9100", job="node_exporter_clients", mode="idle"} 0.40000002831220627
{cpu="5", instance="192.168.0.20:9100", job="node_exporter_clients", mode="idle"} 0.3999999165534973
{cpu="6", instance="192.168.0.15:9100", job="node_exporter_clients", mode="idle"} 0.6000000238418579
{cpu="6", instance="192.168.0.20:9100", job="node_exporter_clients", mode="idle"} 0.2000001072883606
{cpu="7", instance="192.168.0.15:9100", job="node_exporter_clients", mode="idle"} 0.19999999552965164
{cpu="7", instance="192.168.0.20:9100", job="node_exporter_clients", mode="idle"} 0.39999991655349732. Средняя величина по ядрам для всех узлов:
avg by (instance)(irate(node_cpu_seconds_total{job=»node_exporter_clients»,mode=»idle»}[5m])) * 100
{instance="192.168.0.15:9100"} 0.7999999960884452
{instance="192.168.0.20:9100"} 0.95000002533195983. Средняя величина по ядрам для конкретного узла:
{instance=»192.168.0.15:9100″} 1.100000003352747
Время ожидания
1. Среднее значение за 30 минут для всех узлов:
avg(irate(node_cpu_seconds_total{mode=»iowait»}[30m])) * 100
irate(node_cpu_seconds_total{mode=»iowait»}[30m]) * 100
Оперативная память
Для наших запросов мы будем использовать метрики:
Объем памяти
sum(node_memory_MemTotal_bytes{})
sum(node_memory_MemTotal_bytes{instance=~»192.168.0.15:9100|192.168.0.20:9100″})
Использование памяти
{instance="192.168.0.15:9100", job="node_exporter_clients"} 41.96494651116369
{instance="192.168.0.20:9100", job="node_exporter_clients"} 10.573695601658944Сеть
Мы будем использовать метрики:
Передача данных
1. Входящий трафик за последние 5 минут:
rate(node_network_receive_bytes_total[5m]) * 8 / 1024 / 1024
2. Иcходящий трафик за последние 5 минут:
rate(node_network_transmit_bytes_total[5m]) * 8 / 1024 / 1024
Дисковый накопитель
Объемы
node_filesystem_size_bytes{instance=~’192.168.0.15:9100|192.168.0.20:9100′,fstype=~»ext4|xfs»}
node_filesystem_size_bytes{fstype=~»ext4|xfs»}
* для конкретных нод или всех.
2. Объем доступного пространства:
node_filesystem_avail_bytes {fstype=~»ext4|xfs»}
node_filesystem_free_bytes{fstype=~»ext4|xfs»} / node_filesystem_size_bytes{fstype=~»ext4|xfs»}
Нагрузка
rate(node_disk_read_bytes_total{instance=»Server10:9100″, device=»sda»}[5m]) / 1024
irate(node_disk_read_bytes_total{}[30m]) / 1024
* для конкретного сервера / диска и для всех серверов и всех дисков.
rate(node_disk_written_bytes_total{instance=»Server10:9100″, device=»sda»}[5m]) / 1024
irate(node_disk_written_bytes_total{}[30m]) / 1024
* для конкретного сервера / диска и для всех серверов и всех дисков.
Источник: https://sidmid.ru/примеры-запросов-к-метрикам-prometheus/