Отслеживание статуса сервера

[Sland]

Этот гайд поможет настроить систему мониторинга серверов с использованием Grafana, Prometheus и Node Exporter для сбора и отображения метрик, а также отправки уведомлений в Telegram в случае падения серверов. В гайде используется Ubuntu 22.04.

• Установка и настройка Node Exporter на отслеживаемом сервере.

Спойлер: Установка и настройка Node Exporter на отслеживаемом сервере.

Node Exporter собирает системные метрики, такие как использование ЦП, памяти, диск и сеть, и передаёт их Prometheus для мониторинга.
Скачиваем Node Exporter на отслеживаемый сервер:

wget https://github.com/prometheus/node_exporter/releases/download/v1.8.2/node_exporter-1.8.2.linux-amd64.tar.gz

Распаковываем архив:

tar xvf node_exporter-1.8.2.linux-amd64.tar.gz

Удаляем архив:

rm node_exporter-1.8.2.linux-amd64.tar.gz

Перемещаем папку:

sudo mv node_exporter-1.8.2.linux-amd64 node_exporter

Делаем бинарник исполняемым:

chmod +x node_exporter/node_exporter

Перемещаем бинарник в /usr/bin для удобного запуска:

sudo mv node_exporter/node_exporter /usr/bin/

Удаляем временную папку:

rm -Rvf node_exporter/

Создаём systemd-сервис для автоматического запуска Node Exporter:

sudo tee /etc/systemd/system/exporterd.service > /dev/null <<EOF
[Unit]
Description=Node Exporter
After=network.target
[Service]
User=root
ExecStart=/usr/bin/node_exporter
[Install]
WantedBy=multi-user.target
EOF

Запускаем сервис и включаем его на автозапуск, команды вводим отдельно!!

sudo systemctl daemon-reload

sudo systemctl enable exporterd.service

sudo systemctl start exporterd.service

Открываем порт 9100:

sudo ufw allow 9100

А еще лучше открывать 9100 не для всех подряд, а только для того айпишника, на котором сервер стоит Grafana и Prometheus:

sudo ufw allow from 192.168.1.100 to any port 9100

Вместо 192.168.1.100 ваш айпи сервера на котором будет стоять статистика

• Установка и настройка Prometheus и Grafana на сервере для сбора метрик.

Prometheus — это система мониторинга, которая будет собирать данные с Node Exporter, а Grafana — это визуализационный инструмент для отображения этих данных

• Установка Prometheus

Спойлер: Установка Prometheus

Скачиваем Prometheus на сервер где будет статистика либо на том же самом сервере:

wget https://github.com/prometheus/prometheus/releases/download/v2.54.1/prometheus-2.54.1.linux-amd64.tar.gz

Распаковываем архив:
tar xvf prometheus-2.54.1.linux-amd64.tar.gz
Удаляем архив:

rm prometheus-2.54.1.linux-amd64.tar.gz

Перемещаем папку:

sudo mv prometheus-2.54.1.linux-amd64 prometheus

Открываем конфиг нашего Prometheus для настройки:

vim /root/prometheus/prometheus.yml

На место красной стрелки вписываем ip на который мы устанавливали node_exporter
ВАЖНО! Все, блин, таргеты — в одинарных кавычках через запятую с пробелом!
Пример: - targets: [‘localhost:9090’, ‘айпи-вашего-сервера:9100’]
Далее выдаем права на исполнение нашего файла:

chmod +x /root/prometheus/prometheus.yml

Создаем сервисный файл, КОПИРУЕТЕ ВСЁ ЦЕЛИКОМ!

sudo tee /etc/systemd/system/prometheusd.service > /dev/null <<EOF
[Unit]
Description=prometheus
After=network-online.target
[Service]
User=root
ExecStart=/root/prometheus/prometheus --config.file="/root/prometheus/prometheus.yml"
Restart=always
RestartSec=3
LimitNOFILE=65535
[Install]
WantedBy=multi-user.target

EOF

После чего запускаем сервис:

sudo systemctl daemon-reload && sudo systemctl enable prometheusd && sudo systemctl restart prometheusd

• Установка и настройка Grafana.

Спойлер: Установка и настройка Grafana

Если у вас RU сервер то перейдите к следующему пункту.
Установите необходимые пакеты:

sudo apt-get install -y apt-transport-https software-properties-common wget

Импортируйте ключ GPG, копируйте по одному!!!:

sudo mkdir -p /etc/apt/keyrings/

wget -q -O - https://apt.grafana.com/gpg.key | gpg --dearmor | sudo tee /etc/apt/keyrings/grafana.gpg > /dev/null

Добавим репозиторий для стабильных выпусков:

echo "deb [signed-by=/etc/apt/keyrings/grafana.gpg] https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list

Выполните следующую команду, чтобы обновить список доступных пакетов:

sudo apt-get update

Чтобы установить операционную систему Grafana, выполните следующую команду:

sudo apt-get install grafana

Чтобы запустить службу, выполните следующую команду:

sudo systemctl daemon-reload && sudo systemctl start grafana-server && sudo systemctl enable grafana-server

Откройте порт 3000 для доступа к Grafana:

sudo ufw allow 3000

• Установка Grafana на RU сервер.

Спойлер: Установка Grafana на RU сервер

Скачайте пакет напрямую на сервер:

wget https://dl.grafana.com/oss/release/grafana_11.4.0_amd64.deb

Установка зависимостей:

sudo apt-get update
sudo apt-get install -y adduser libfontconfig

Установите скачанный .deb пакет с помощью dpkg:

sudo dpkg -i grafana_11.4.0_amd64.deb

Если в процессе установки возникают ошибки зависимостей, исправьте их командой:

sudo apt-get install -f

После установки запустите сервис Grafana и настройте его автозапуск при загрузке системы:

sudo systemctl start grafana-server

sudo systemctl enable grafana-server

Убедитесь, что Grafana работает корректно:

sudo systemctl status grafana-server

• Добавление Prometheus как источника данных в Grafana

Спойлер: Добавление Prometheus как источника данных в Grafana

Переходим в браузере на своём домашнем устройстве по адресу: Для просмотра ссылки Войди или Зарегистрируйся, где IP - адрес сервера, на который мы установили Prometheus и Grafana. Если не заходит то добавляем в файрволл порт 3000: ufw allow 3000 Логин и пароль: admin/admin Далее задаем свой пароль и попадаем в Dashboard.
Нажимаем на кнопку Data Sources

Выбираем Prometheus

В графе URL вводим Для просмотра ссылки Войди или Зарегистрируйся , где IP - адрес сервера на котором стоит Prometheus и Grafana. После чего нажимаем внизу на Save & test

• Импорт дашборда для мониторинга серверов

Спойлер: Импорт дашборда для мониторинга серверов

Скопируйте ссылку на дашборд Node Exporter.

https://grafana.com/grafana/dashboards/1860-node-exporter-full/

В Grafana перейдите в Dashboards, затем нажмите Create dashboard.

После чего выберите Import dashboard

Вставьте ссылку и нажмите Load

Выберите источник данных Prometheus из выпадающего списка и нажмите Import. При желании можете изменить название на другое

У вас откроется статистика. В разделе Hosts можете выбирать сервера, на которые вы установили Node_exporter. Сверху справа углу можете изменять данные: время, за которое отобразится статистика, ручное обновление статистики и изменить время обновления статистики. И всё, вы можете смотреть статистику сервера при переходе на Для просмотра ссылки Войди или Зарегистрируйся

• Настройка уведомлений в Telegram об падении сервера и когда он восстановился

Спойлер: Настройка уведомлений в Telegram об падении сервера и когда он восстановился

Для того чтобы получать уведомления о падении серверов, необходимо настроить Telegram в Grafana.
В Grafana перейдите в раздел Contact points и создайте новый контакт:
Выберите Telegram
В поле Token введите токен вашего бота (его можно получить у Для просмотра ссылки Войди или Зарегистрируйся).
В поле Chat ID введите свой ID Telegram (узнать его можно через Для просмотра ссылки Войди или Зарегистрируйся)

После нажимаете Save contact point
Дальше, после создания бота для уведомления, переходим в Notification Templates и создаём новый шаблон, чтобы отправлялись сообщения типа «Ваш сервер IP упал!!!», а не длинный текст со всякими ссылками на ваш Grafana.
Вставьте следующий код в Template:

{{- define "telegram.message_alert" -}}
🚨 <strong>{{ .Labels.alertname }}</strong> 🚨
{{- if eq .Status "firing" }}
Сервер {{ .Labels.instance }} упал!!! 😱{{- else if eq .Status "resolved" }}
Сервер {{ .Labels.instance }} восстановлен! ✅
{{- end }}
{{- end -}}

{{ define "telegram" }}
{{ if .Alerts.Firing -}}
{{- range .Alerts.Firing }}
{{ template "telegram.message_alert" . }}
{{- end }}
{{- end }}
{{ if .Alerts.Resolved -}}
{{- range .Alerts.Resolved }}
{{ template "telegram.message_alert" . }}
{{- end }}
{{- end }}
{{ end }}

Дальше нажимаем на «Save» сверху справа в углу.

• Создание правила алертинга для уведомлений в Telegram.

Спойлер: Создание правила алертинга для уведомлений в Telegram.

Перейдите в Alert rules и создайте новое правило. И сделайте как на Изображениях:


Вот тут создайте папки, во второй подгруппе поставьте время, через которое будут проверяться правила, другим словом, исполняться каждые N секунд/минут/часов. В Pending period ставьте None чтобы сразу отправлялось сообщение в Telegram.


В 4 пункте в Contact Point выберите вашего Telegram-бота.


Дальше сохраняйте правило через кнопку сверху справа в углу Save rule and exit.

• Заключение

Теперь вы создали полноценную систему мониторинга серверов, которая позволяет вам отслеживать важные метрики в режиме реального времени, визуализировать их в Grafana и мгновенно получать уведомления в Telegram в случае сбоя сервера.

 

[dsd10]

Привет.
В последнем пункте нет изображений ((. Можете их как то подгрузить? А то там правила выглядят страшновато для тех, кто не понимает.