-
Курс посвящен мониторингу и логированию. Это одни из самых популярных запросов, которые могут встретиться в работе. Когда вы обслуживаете инфраструктуру проекта, вам необходимо постоянно отслеживать ситуацию и быстро реагировать на возникающие проблемы.
В этом курсе мы научимся:
- работать с системой мониторинга Prometheus,
- подключать к ней экспортеры,
- настраивать алерты с помощью alertmanager.
Помимо этого мы обсудим варианты визуализации с помощью grafana и общедоступных dashboards.
Во второй части курса мы детально разберемся с популярной базой для хранения документов - opensearch, а так же научимся сохранять в ней логи с помощью fluentbit, который мы будем запускать в кластере swarm.
В заключение мы обсудим, как реализовать highload-решения для сбора логов с помощью kafka.
Overview
Syllabus
-
- Мониторинг Docker
- На первой неделе нас ждет тема мониторинга. Мы рассмотрим основные системы, которые позволяют вам собирать метрики с ИТ инфраструктуры. После этого изучим Prometheus - на данный момент это основной инструмент для мониторинга. Помимо этого, мы запустим экспортеры разного уровня - для мониторинга системы, сервисов и собственных приложений. Также мы разберемся с языком запросов PromQL: рассмотрим типы данных, операторы, встроенные функции и типы метрик. В заключение мы поговорим про правила оповещения и научимся настраивать Alertmanager.
- Визуализация метрик
- На второй неделе мы погрузимся в процесс визуализации данных. Изучим основные инструменты, которые позволят вам строить графики, а также подробно рассмотрим Grafana - как стандарт для визуализации в индустрии. После этого мы интегрируемся с Prometheus для забора данных, научимся создавать дашборды, строить графики и выполнять ad-hoc запросы. По итогу мы также поговорим о том, как создавать правила оповещений через веб-интерфейс.
- Логирование в docker
- Третья неделя посвящена логированию. Мы начнем обзор темы с архитектуры логирования и рассмотрим основные инструменты, которые вы сможете применять в своей работе. В середине недели мы начнем подробно изучать базу данных для хранения логов - OpenSearch. Мы научимся ее устанавливать, работать с API и даже создадим собственный кластер, состоящий из двух нод. В завершение мы интегрируем Grafana и OpenSearch Dashboards с OpenSearch для визуализации логов, поступающих с наших систем
- Отправка логов в elastic
- На четвертой, заключительной неделе, мы сосредоточим свое внимание на сборе логов с различных систем. Мы рассмотрим основные приложения, которые позволяют собирать логи, а также детально разберем утилиту fluent-bit. В середине недели мы интегрируем ее в кластер Swarm для сбора логов, настроим центральный лог сервер и научимся отправлять сообщения с помощью докера, используя log driver fluentd. В заключение мы обсудим варианты работы с highload проектами и решим вопрос большой нагрузки при приеме логов.
- Заключительный модуль
