Администрирование Greenplum / Arenadata DB

4х-дневный обучающий курс «Администрирование базы данных Arenadata DB (Greenplum)» предназначен для подготовки администраторов и специалистов, отвечающих за установку и обслуживание баз данных Arenadata DB (Greenplum), включая предварительную подготовку и планирование систем для установки кластера Arenadata DB (Greenplum), настройку конфигурации сервисов, табличного пространства, безопасности и клиентского доступа, а также операций мониторинга и решения проблем с эксплуатацией Arenadata DB. Курс предоставляет необходимые знания и навыки по сопровождению и поддержке кластера Arenadata DB при эксплуатации в облачной инфраструктуре и дата центре. Подробно рассматриваются вопросы загрузки/выгрузки данных, средства резервного копирования и восстановления системы, настройки безопасности и интеграция.

_{^{Arenadata DB (Greenplum) — это MPP аналитическая СУБД, построенная на базе СУБД Greenplum с открытым исходным кодом. Arenadata DB (ADB) ориентирована на аналитику больших данных, т.е. аналитические сценарии (OLAP) чтения больших массивов информации и поддерживает колоночный способ хранения данных. Использует массивно-параллельную архитектуру (MPP, Massively Parallel Processing) без разделения ресурсов отлично подходит для OLAP-сценариев, поскольку аналитические СУБД работают с огромными объёмами данных, которые постоянно растут. Скорость вычислений в MPP-системе прямо пропорциональна числу узлов в кластере. Также MPP-архитектура обеспечивает высокую отказоустойчивость: кластер БД отвечает на запросы даже при отказе некоторых узлов.}}

Целевая аудитория

Администраторы и специалисты, желающие получить практические навыки по установке, конфигурированию, обслуживанию и управлению кластером Arenadata DB (ADB).

Предварительная подготовка

Знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами vi, nano)
Основы работы с базами данных
Опыт работы с PSQL/ SQL

Соотношение теории к практике: 50/50

Программа курса

1. Введение в СУБД Arenadata DB

Архитектура Arenadata DB (Greenplum)/ MPP
Greenplum Мастера и Сегменты
Greenplum Interconnect
Отказоустойчивость
Выбор дистрибутива

2. Установка и настройка Greenplum / Arenadata DB

Требования по установке.
Планирование и масштабирование.
Установка с использованием ADCM. Ручная установка.
Настройка Data Layout и параметров окружения.
Управление сервисами Arenadata DB (Greenlum)
Клиентское подключение к БД. Клиентские приложения и утилиты.
Arenadata DB (Greenplum) в облаке

Практическая работа: Установка и настройка Arenadata DB с использованием ADCM

3. Схемы и объекты СУБД Arenadata DB (Greenplum)

Логическая и физическая структура БД
Установка по умолчанию: схемы и шаблоны
Табличные пространства в Arenadata DB
Внешние таблицы
Создание и обслуживание индексов
Создание и управление представлениями (views)

Практическая работа: Предварительная настройка кластера Arenadata DB

4. Операции обслуживания СУБД Arenadata DB

Управление ресурсами кластера- ресурсные группы
Управление данными в Arenadata DB
Вставка, обновление и удаление строк
Очистка (Vacuum) базы данных
Масштабирование (Расширение) кластера
Планы запросов
Управление файлами логов БД
Реиндексация
Задачи операций обслуживания

Практическая работа: Настройка и использование ресурсных групп на кластере Arenadata DB (ADB) Greenplum

Практическая работа: Операции обслуживания базы данных Arenadata DB

Практическая работа: Масштабирование кластера Arenadata DB (Greenplum) добавлением узлов сегментных хостов

5. Загрузка и выгрузка данных в Arenadata DB

Механизмы загрузки и выгрузки данных
Использование внешних таблиц
Сценарии загрузки данных в БД
Интеграции с другими источниками: Kafka, Hadoop, NiFi, S3

Практическая работа: Настройка доступа Arenadata DB (Greenplum) к внешним данным и работа с внешними таблицами

Практическая работа: Настройка сервиса PXF для кластера Arenadata DB (Greenplum)

6. Партиционирование таблиц

Создание партиционированных таблиц
Ключ партиционирования
Разные типы хранения
Tablespace
Мульти-партиционирование
Удаление, разбиение, обмен партиций
Внешние таблицы (обычные и web-внешние)

Практическая работа: Загрузка в партиционированные таблицы

7. Отказоустойчивость в Arenadata DB (Greenplum)

Опции отказоустойчивости для Arenadata DB
Зеркалирование сегментов в Arenadata DB
Отказоустойчивость Сегментов и восстановление в ADB
Зеркалирование Мастеров в ADB
Восстановление сегмента. Восстановление мастера

Практическая работа: Обеспечение отказоусточивости кластера Arenadata DB с помощью зеркалирования сегментов

Практическая работа: Обеспечение отказоусточивости кластера с помощью зеркалирования Мастера ADB

Практическая работа: Восстановление после сбоя зеркал сегментов и мастера в кластере Arenadata DB

8. Резервное копирование и восстановление БД Arenadata DB

Основные принципы операций восстановления и резервного копирования
Backup утилиты Arenadata DB
Процедура резервного копирования
Процедура восстановления БД

Практическая работа: Резервное копирование и восстановление кластера Arenadata DB

9. Мониторинг и troubleshooting СУБД Arenadata DB

Мониторинг и анализ состояния системы (System state)
Инструменты мониторинга Arenadata DB / ADCM
Основные причины проблем производительности
Собираемые метрики и сбор статистики
Управление нагрузкой и оповещениями
Мониторинг журналов: анализ сообщений об ошибках и идентификация проблемных запросов
Оптимизация параметров БД и дизайна БД
Best Practices

Практическая работа: Настройка мониторинга кластера Arenadata DB

10. Безопасность в Arenadata DB

Контроль доступа и обеспечение безопасности
RBAC в СУБД Arenadata DB (Greenplum)
Поддержка шифрования и аутентификации с использованием SSL
Интеграция с LDAP

Практическая работа: Настройка LDAP аутентификации для Arenadata DB

Примечание: лабораторные работы в курсе проводятся с использованием лабораторного стенда в облаке Яндекс Cloud на community версии дистрибутива Arenadata DB 6.XX