Elasticsearch, Logstash и Kibana

Курс «Elasticsearch, Logstash и Kibana» позволяет изучить основы технологии мониторинга инфраструктуры и аналитики больших данных.

Стек ELK — это поисковый движок, а также анализатор и обработчик логов и внешних загружаемых данных. Например, эта система может полностью контролировать IT инфраструктуру любой компании, а также решать бизнес-задачи. При этом ELK может собирать и обрабатывать данные с разных источников, предоставляя мощнейший инструмент аналитики журналов

Программа курса

Блок 1. Стек ELK

Обзор продукта, архитектура.
Принцип работы.
Требования ELK.

Блок 2. Установка

Подготовка Linux-сервера.
Установка необходимых компонентов.
Установка Elasticsearch.
Базовая настройка Elasticsearch.
Установка Logstash.
Базовая настройка Logstash.
Установка Kibana.
Базовая настройка Kibana.
Проверка статуса кластера и диагностика.

Блок 3. Получение и сбор данных

Агенты Filebeat, Winlogbeat, Metricbeat, Packetbeat.
Настройка отправки данных с источника.
Импорт данных из файла.
Генерация случайных событий, нагрузочное тестирование.
Направляем первый лог.
События, поля, тэги.
Проверка передачи и приема данных, диагностика.
Захват данных Logstash и передача в Elasticsearch.
Создание индексов, управление индексами.
Потоки данных. Формирование потоков.
Просмотр событий в интерфейсе Kibana.
Создание представлений из индексов и потоков.

Блок 5. Модификация данных

Регулярные выражения и схемы сообщений.
Типы данных.
Структурирование и разбор данных.
Парсинг данных, анализаторы Grok.
Шаблоны Grok, собственные шаблоны Grok.
Модификация и преобразование получаемых данных.
Определение географических координат событий.

Блок 6. Примеры сбора популярных данных

Лог типа Syslog.
Логирование Linux, в т.ч. регистрация событий безопасности.
Логирование Windows, в т.ч. регистрация событий безопасности и журналов событий.
Логирование различных сервисов: Exim, Postfix, Dovecot, Squid, Auth, Apache/Nginx, OpenVPN, Asterisk, DNS, DHCP, Radius и т.д.
Захват и анализ сетевых пакетов и трафика разных протоколов.

Блок 4. Просмотр данных и визуализация