ClickHouse для инженеров данных

Курс «ClickHouse для инженеров данных» ориентирован на владельцев платформ данных, архитекторов решений, архитекторов данных, дата-инженеров, DevOps-инженеров, администраторов баз данных, и специалистов, которые хотят получить расширенные знания по работе с СУБД ClickHouse.

В рамках курса вы будете выполнять проект, в рамках которого вы будете выполнять практические задания для закрепления полученных навыков по работе с Yandex Managed Service for ClickHouse.

Также в рамках курса у вас будет возможность разобрать интересующие вас вопросы и обсудить перспективы применения полученных знаний и рассмотренных инструментов в контексте решения ваших рабочих задач.

Приобретаемые знания и навыки

вы научитесь:

Управлять конфигурацией кластера Yandex Managed Service for ClickHouse
разрабатывать эффективные SQL-запросы
настраивать мониторинг и алертинг для кластеров Yandex Managed Service for ClickHouse
научитесь профилировать и оптимизировать запросы
использовать IaC для управления конфигурацией кластера ClickHouse
эффективно применять паттерны реализации CI/CD для управления конфигурацией и объектами баз данных в ClickHouse.

Целевая аудитория

Владельцы платформ данных, архитекторы решений, архитекторы данных, дата-инженеры, DevOps-инженеры, администраторы баз данных.

Предварительная подготовка

Желательны базовые навыки работы с SQL

Программа курса

1. Основы ClickHouse

Назначение и архитектура ClickHouse
Логическая структура базы данных в ClickHouse
Уровни логирования в ClickHouse
Функциональные возможности Managed Service for ClickHouse
Сценарии развертывания кластера ClickHouse с использованием Managed Service for ClickHouse

Практическое задание — Создание кластера ClickHouse с использованием Managed Service for ClickHouse, написание запросов к системным таблицам

2. Структура БД в ClickHouse

Движки баз данных в ClickHouse
Движки таблиц
Констрейнты
Индексы
Проекции таблиц
Простые и материализованные представления
Функции
Словари

Практическое задание — Создание баз данных, таблиц, индексов, представлений и проекций в Managed Service for ClickHouse

3. Основы ClickHouse SQL

Типы данных
Определение структуры БД. Команды DDL
Команды DML
Написание эффективных SQL-запросов
Операторы. Реализация пользовательских функций

Практическое задание – Написание DDL-, DML- команд, SQL-запросов, реализация пользовательских функций

4. Потоки данных в ClickHouse

Паттерны интеграции ClickHouse c различными СУБД
Реализация потоков данных в ClickHouse. Паттерны применения ClickPipes

5. Настройка и мониторинг кластера ClickHouse

Системные таблицы и метрики
Паттерны реализации мониторинга в Clickhouse
Реализация кастомных метрик
Построение дашбордов для мониторинга в ClickHouse
Паттерны реализации алертинга в ClickHouse

Практическое задание – Реализация кастомных метрик, построение дашбордов, (Monitoring service – Prometheus, Visualization Tool – Grafana)

6. Администрирование кластера в Managed Service for CliсkHouse

Управление доступом, методы аутентификации пользователей
Обновление ClickHouse
Настройка резервного копирования
Управление квотами
Утилиты ClickHouse
Профилирование и оптимизация производительности

Практическое задание – Настройка резервного копирования в ClickHouse, профилирование и оптимизация запросов

7. Эффективное использование ClickHouse

Подходы к организации релизного процесса в ClickHouse
Паттерны применения Terraform для управления конфигурацией Managed Service for CliсkHouse
Паттерны реализации CI/CD для автоматизации разработки на ClickHouse

Практическое задание – Реализация CI/CD для управления конфигурацией кластера Managed Service for CliсkHouse (CI/CD tool – GitLab CI/CD, IaC Tool – Terraform). Реализация CI/CD для управления объектами базы данных в Managed Service for CliсkHouse (CI/CD tool – GitLab CI/CD)