Построение DWH на ClickHousee

Обучение по ClickHouse построено таким образом, чтобы дать вам системные знания и максимум практического опыта. Соотношение теории и практики – 50/50.

Курс будет интересен как аналитикам данных и дата инженерам, так и архитекторам данных и разработчикам, принимающим участие в проектировании DWH.

Программа обучения по ClickHouse включает в себя сквозные примеры по развертывания кластера ClickHouse в облаке, проектирование объектов баз данных и таблиц, представлений и индексов на основании бизнес потребностей ваших клиентов по аналитике больших данных. Для полной картины мы также включили практические лабораторные работы и модули по настройке и обслуживании распределенного кластера ClickHouse, с проверкой режимов отказоусточивости и восстановления, репликации и мониторинга. Модуль оптимизации позволит разобраться в деталях профилирования и тонкой настройке хранилища OLAP для достижения оптимальной производительности ваших запросов. Для инженеров и аналитиков мы предусмотрели широкий спект лабораторных работ по интеграции ClickHouse c наиболее популярными системами: Greenplum, Iceberg, S3, Kafka и Rabbit MQ.

Целевая аудитория

Аналитик данных
Дата-инженер
Архитектор ClickHouse
Администратор кластера

Как проходит обучение

Формат и расписание

Обучение проходит онлайн 5 дней, с 14:00 до 18:00, с двумя короткими перерывами. Живые лекции и практические занятия на платформе для видеоконференций с записью трансляций. Доступ к лабораторным стендам 24 часа (круглосуточно) в течении 2 недель с даты начала обучения.

Практика на реальном кластере

50% курса — практика. Доступ к выделенному кластеру ClickHouse в Yandex Cloud в многопользовательском окружении имитирует реальную работу. Сквозной лабораторный практикум по всему жизненному циклу данных: от сбора данных с кластеров Kafka, RabbitMQ, Greenplum, S3 до визуализации в Datalens, Grafana или Superset.

Доступ ко всем материалам

Все видеозаписи лекций, презентации и методические материалы доступны во время и после курса в системе дистанционного обучения и чате группы.

Поддержка и сообщество

Чат группы обучения для общения с преподавателями и одногруппниками. Чат остается активным и после завершения курса для обеспечения поддержки.

Предварительная подготовка

Опыт написания SQL-запросов
Опыт работы с терминалом
Умение работать с Docker

Программа курса

Модуль 1: Основы ClickHouse

Назначение и архитектура ClickHouse
Логическая структура базы данных
Преимущества и ограничения колоночных СУБД
Сценарии использования и развертывания кластера (облако, on-premises, Docker)
Лабораторная работа: Создание кластера ClickHouse, настройка подключений и написание первых запросов к системным таблицам.

Модуль 2: Структура БД в ClickHouse

Движки баз данных и таблиц (семейство MergeTree, Log, Memory, Buffer)
Констрейнты, индексы и проекции для ускорения запросов
Простые и материализованные представления
Внешние и внутренние словари

Лабораторная работа: Проектирование и создание баз данных, таблиц, индексов и представлений в ClickHouse.

Модуль 3: Основы ClickHouse SQL

Специфические типы данных (включая вложенные структуры)
Команды DDL и DML
Эффективное написание SQL-запросов и best practices
Пользовательские функции (UDF)

Лабораторная работа: Пишем быстрые SQL-запросы и учимся их оптимизировать.

Модуль 4: Оптимизация и производительность

Профилирование запросов с помощью EXPLAIN и system.query_log
Партиционирование и кластеризация данных
Стратегии предварительной агрегации и кэширования

Лабораторная работа: Находим и ускоряем “тяжёлые” запросы, проводим профилирование и оптимизацию.

Модуль 5: Распределённые системы

Шардирование и репликация данных для масштабирования и надежности
Настройка отказоустойчивого кластера
Балансировка нагрузки при обработке запросов

Лабораторная работа: Настраиваем собственный отказоустойчивый кластер.

Модуль 6: Интеграция и расширенные возможности

Работа с JSON, массивами и геоданными
Потоковая обработка больших данных с помощью ClickPipes
Интеграция с Kafka, PostgreSQL
Инструменты для визуализации данных: Datalens, SuperSet, Grafana, Metabase

Лабораторная работа: Создаём конвейер потоковой обработки данных на ClickHouse с Kafka/RabbitMQ.

Модуль 7: Администрирование и безопасность ClickHouse ( факультатив в видео формате)

Материалы данного модуля предоставляются в формате видеоматериалов, с комплектом лабораторных работ, которые вы можете выполнить дополнительно, в свободное время, и при необходимости задать вопросы преподавателю.

Управление пользователями, ролями и доступами
Методы аутентификации
Настройка Named Collections для упрощения защиты интеграции с внешними источниками
Резервное копирование и восстановление кластера
Мониторинг и кастомные метрики
Настройка алертинга (Prometheus, Grafana)

Лабораторная работа: Настройка бэкапов, реализация кастомных метрик и построение дашбордов мониторинга.

Бонус: +8 часов материалов для глубокого погружения!

Для администраторв кластера ClickHouse и дата инженеров которые выполняют задачи обслуживания и администрирования кластеров ClickHouse мы записали дополнительные модули которые могут быть полезны.

После просмотра видеоуроков, вы сможете задать вопросы преподавателю и выполнить дополнительные лабораторные работы для закрепления материала на практике.

3 часа дополнительных лекций по продвинутым темам администрирования и обслуживания.
5 часов дополнительных лабораторных работ для оттачивания навыков сопровождения кластера ClickHouse.