Построение хранилища данных на базе Clickhouse
Курс построен таким образом, чтобы всего за 6 дней дать студентам глубокое понимание и навыки работы с СУБД ClickHouse, включая ее архитектуру, возможности и ограничения. Для этого придется выполнять задания, решая задачи проектирования и эксплуатации корпоративного хранилища данных, включая выполнение операций devops.
Курс позволит понять, как устроена платформа Clichouse и каковые ее возможности для решения различных задач, связанных с обработкой и анализом больших объемов данных. Наше кликхаус обучение включает практические задания, которые помогут вам закрепить полученные знания и научиться применять их на практике. Все задания основаны на реальных задачах, которые приходится решать дата-инженеру при работе с Clickhouse. Задания выполняются онлайн, на платформе данных, предоставленной нашими специалистами devops, дополнительная оплата за экземпляр СУБД не требуется.
Соотношение теории к практике: 50/50
Цель курса: научиться работать с ClickHouse и использовать его в качестве корпоративного хранилища данных (DWH)
Целевая аудитория
- Архитекторы DWH;
- разработчики корпоративных хранилищ данных;
- дата-инженеры;
- аналитики.
Предварительная подготовка
- Опыт написания SQL-запросов
- Опыт работы с терминалом
- Умение работать с Docker
Программа курса
1. Введение
- Колоночные/строковые СУБД
- Ограничение и особенности колоночных
- Что такое ClickHouse
- Преимущества и недостатки ClickHouse
- Clickhouse VS Postgresql
- Примеры использования ClickHouse
- Установка и настройка сервера ClickHouse
- Системные требования
- Использование Docker для развертывания ClickHouse
- ClickHouse в Yandex Cloud
2. Основы работы с данными в ClickHouse
- Создание баз данных/таблиц
- Загрузка данных
- Типы данных и манипуляции с ними
- Джойны
- Индексы
- Агрегация и оконные функции
- Функции работы с датой и временем
3. Движки в ClickHouse
- MergeTree
- Log
- Движки для интеграций
- Специальные движки
- Обработка ошибок
4. Оптимизация производительности и нагрузки
- Ограничения
- Миграции
- Кэширование и сжатие данных
- Распараллеливание запросов
- Балансировка нагрузки
- Мониторинг и оптимизация запросов
- Репликация и шардинг
- Материлизация
5. Clickhouse и инструменты для визуализации данных
- Datalens
- SuperSet
- Metabase
- Grafana
6. Расширенные возможности и интеграции
- Работа с географическими данными
- Внешние ключи
- Обработка событий в режиме реального времени
- Интеграция с Kafka, Postgresql
- Использование ClickHouse для машинного обучения
7. Администрирование и безопасность
- Управление пользователями и ролями
- Резервное копирование и восстановление данных
- Шифрование данных
- Аудит и мониторинг безопасности
8. Заключение
- Комньюти
- Сессия Q&A
Информация о курсе
3780 BYN
с учетом НДС 20%
