Эксплуатация Apache NIFI

3-хдневный практический курс по эксплуатации кластера Apache NiFi для дата-инженеров, проектирующих конвейеры потоковой обработки данных, и администраторов кластера Apache NiFi.

Цель курса: развернуть и настроить свой кластер Apache NiFi, спроектировать и запустить отказоустойчивый потоковой конвейер обработки данных из типовых и кастомных компонентов (процессоры, службы контроллера и пр.), включая интеграцию со сторонними системами (Kafka, веб-сервисы).

Онлайн-курс проходит в формате интерактивного семинара - в дистанционном режиме с вами занимается преподаватель — рассказывает теорию, дает практические задания и проверяет результаты выполнения. В качестве примеров рассматриваются кейсы из реального бизнеса, а также лучшие практики проектирования потоковых конвейеров и настройки отказоустойчивых высокопроизводительных кластеров.

Соотношение теории к практике: 50/50.

Аудитория

Инженеры данных, cистемные администраторы, системные архитекторы, разработчики Hadoop
Желающие получить практические навыки по установке, настройке и управлению потоками данными (Data pipeline) с использованием кластера Apache NiFi

Предварительная подготовка

Знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами vi, nano)
Начальный опыт работы с Hadoop или NiFi

Программа курса

1. Введение в Apache NiFi

Архитектура Hadoop Data Flow
Архитектура решения и ключевые концепции Apache NiFi: Принципы потоковой обработки данных
Data Lineage и Data Provenance (Data Provenance Events)
Функционал NiFi по управлению потоковой обработкой данных: гарантированная доставка, управление каналом (буферизация, pressure), QoS, версионность

2. Создание DataFlow

Создание dataflow: работа с атрибутами FlowFile, маршрутизация, source и sink
Репозитории FlowFile Repository, Content Repository, Provenance Repository. Анатомия FlowFile, процессоры и коннекторы
Мониторинг dataflow
Параметризация dataflow: переменные и параметры

3. Программная обработка FlowFile

Использование скриптов в NiFi: работа с атрибутами и данными FlowFile, программная маршрутизация FlowFile
Сбор данных в месте их производства с помощью Apache minifi

4. Работа с Records и Local State

Controlling service и работа с Records и State: формат FlowFile и его
преобразование, State Manager и его использование
Reporting tasks и обработка результатов
Происхождение данных: анализ provenance и lineage
Apache NiFi Registry версионность и поддержка production deployment