Основы MLSecOps. Обеспечение безопасности систем машинного обучения

Необходимая подготовка

• Навыки работы на компьютере на уровне опытного пользователя
• Базовые навыки обеспечения информационной безопасности в качестве пользователя (сложные пароли, антивирусная защита, блокировка экрана)
• Базовые навыки работы с нейронными сетями

Приобретаемые знания и навыки

По окончании курса слушатели смогут:

• Знать нормативно-правовое регулирование MLSecOps, а также этические аспекты применения искусственного интеллекта на предприятиях;
• Классифицировать атаки MLSecOps и выбирать необходимые меры противодействия;
• Применять теоретические знания при решении прикладных задач обеспечения безопасности искусственного интеллекта;
• Применять знания об анализе данных, машинном обучении, информационной безопасности для выработки управленческих, исследовательских, хозяйственных и других решений в рамках своей профессиональной деятельности;
• Обосновывать профессиональное мнение о роли и потенциале использования технологий MLSecOps в государственном управлении;
• Подготавливать предложения в плановые, нормативные и другие документы по обеспечению безопасности искусственного интеллекта в государственном управлении;
• Знать OWASP TOP-10 угрозами в MLSecOps и LLMSecOps и изучать рекомендуемые методы защиты от них;
• Понимать безопасный жизненный цикл ML, включая этапы разработки, развёртывания и эксплуатации моделей машинного обучения с учётом требований безопасности;
• Реагировать на инциденты безопасности в MLSecOps, включая обнаружение, анализ и устранение последствий атак;
• Обеспечивать надёжность и отказоустойчивость систем MLSecOps, разрабатывать меры по предотвращению сбоев и минимизации рисков;
• Создавать условия для безопасной работы пользователей с нейронными сетями, включая защиту данных и предотвращение несанкционированного доступа

Программа курса

Модуль 1. Введение в MLSecOps и LLMSecOps

Современные тренды IT-сферы. Появление сферы MLSecOps в IT
Обзор концепций MLSecOps и LLMSecOps. Определение, цели, ключевые принципы
Место MLSecOps в общей архитектуре кибербезопасности. Интеграция MLSecOps с существующими процессами безопасности
Основные угрозы и уязвимости в ML и LLM, ущерб от ML-инцидентов. Обзор ресурсов для изучения MLSecOps

Модуль 2. Основы анализа больших данных в MLSecOps

Источники и форматы данных для MLSecOps. Обзор типов данных, используемых в задачах безопасности ML
Сбор, обработка и подготовка данных для ML. Техники очистки, преобразования и нормализации данных
Визуализация данных для анализа аномалий. Использование графиков и диаграмм для выявления подозрительной активности
Основы статистического анализа для MLSecOps. Применение статистических методов для анализа данных безопасности

Модуль 3. Основы машинного обучения

Основные понятия и типы машинного обучения. Обучение с учителем, без учителя, с подкреплением
Алгоритмы машинного обучения для задач безопасности. Классификация, кластеризация, обнаружение аномалий
Оценка моделей машинного обучения: метрики точности, полноты, F1-меры, AUC-ROC
Популярные библиотеки машинного обучения Scikit-learn, TensorFlow, PyTorch и другие

Модуль 4. Основы обеспечения информационной безопасности

Основные принципы информационной безопасности. Конфиденциальность, целостность, доступность.
Управление доступом и аутентификация. Методы контроля доступа к данным и ресурсам
Шифрование данных. Применение криптографических методов для защиты конфиденциальности
Основы сетевой безопасности. Защита сетевой инфраструктуры и каналов передачи данных

Модуль 5. Оценка рисков и разработка стратегии защиты в MLSecOps

Основные атаки в MLSecOps и базовые методы защиты
Уязвимости внешнего контура MLSecOps и способы противодействия
Человеческий фактор как один из главных рисков MLSecOps. Социальная инженерия
Методы оценки рисков и разработка стратегии защиты в MLSecOps

Модуль 6. OWASP TOP-10 угроз в MLSecOps и LLMSecOps и рекомендуемые методы защиты

Атаки типа Prompt Injection: Манипуляция запросами к LLM. Атаки типа JailBreaks. Компрометация LLM
Атаки при обучении моделей (Data Poisoning). Примеры и методы защиты
Атаки на конфиденциальность моделей ML. Извлечение конфиденциальных данных из моделей. Атаки типа Model Extraction: Кража моделей LLM
Уязвимости в интеграции LLM с внешними системами. Возможные риски и методы защиты

Модуль 7. Безопасный жизненный цикл ML

Безопасная разработка моделей ML (Secure by Design). Встраивание безопасности на этапе проектирования
Безопасное обучение моделей ML. Защита от отравления данных (Data Poisoning), атак на обучение
Безопасное развертывание моделей ML. Обеспечение безопасности инфраструктуры
Безопасное обслуживание и обновление моделей ML. Мониторинг и обновление моделей для защиты от новых угроз
Облачные платформы как средство обеспечения надежной инфраструктуры MLSecOps

Модуль 8. Реагирование на инциденты безопасности MLSecOps

Планы реагирования на инциденты. Процедуры и алгоритмы для быстрого реагирования на атаки
Изоляция и анализ инцидентов. Методы анализа и расследования инцидентов безопасности
Восстановление после инцидентов. Стратегии восстановления работоспособности систем
Уроки, извлеченные из инцидентов. Postmortems. Анализ инцидентов для улучшения будущей защиты

Модуль 9. Обеспечение надежности и отказоустой-чивости в MLSecOps

Резервирование и резервное копирование данных. Защита от потери данных и сбоев системы
Обеспечение высокой доступности ML-систем. Методы предотвращения простоев в работе. Техники SRE
Мониторинг инфраструктуры ML. Отслеживание состояния серверов и другого оборудования
Планирование аварийного восстановления. Процедуры для быстрого восстановления работоспособности

Модуль 10. Поддержка динамической маршрутизации

Проверка и валидация входных данных. Правила безопасных запросов к нейросетям
Ограничение доступа пользователей к чувствительной информации. Разделение прав доступа и управление полномочиями
Предотвращение утечки данных. Защита от несанкционированного копирования и распространения данных
Обучение пользователей правилам безопасной работы с нейросетями. Развитие культуры безопасности

Модуль 11. Нормативно-правовое регулирование MLSecOps. Этичное применение ИИ на предприятиях

Международные стандарты регулирования ИИ
Российские стандарты регулирования ИИ
Этичное и ответственное использование ИИ в различных отраслях. Соблюдение комплаенс-политик и процедур. Предотвращение предвзятости и дискриминации
Формирование культуры MLSecOps в организации

Модуль 12. Обзор лучших практик и перспектив MLSecOps

Обзор современных инструментов и технологий MLSecOps. Анализ передовых разработок в области безопасности
Автоматизация задач MLSecOps. Применение инструментов для автоматизации рутинных операций
Перспективы развития MLSecOps и LLMSecOps. Обзор будущих тенденций и направлений развития
Практические кейсы и примеры внедрения MLSecOps. Анализ успешных проектов и лучших практик