Курс: Реализация решений данных в Microsoft Azure

Продолжительность курса: 32 ак. ч.

Описание курса:
В этом курсе рассматриваются шаблоны и методы проектирования данных, связанные с работой с пакетными аналитическими решениями и решениями в реальном времени с использованием технологий платформы данных Azure.

Курс начинается со знакомства с основными технологиями вычислений и хранения, которые используются для создания аналитического решения, а затем рассматриваются вопросы разработки аналитических уровней обслуживания и интерактивного исследования данных, хранящихся в файлах в озере данных, а также различные методы, которые можно использовать для загрузки данных с помощью возможностей Apache Spark, имеющихся в Azure Synapse Analytics или Azure Databricks.

В курсе рассматриваются вопросы анализа производительности аналитической системы для оптимизации производительности загрузки данных и запросов; вопросы реализации безопасности при хранении и передаче данных, а также использование данных в аналитической системе для создания панелей мониторинга или построения прогнозных моделей в Azure Synapse Analytics.

Аудитория:
Курс предназначен для профессионалов в области данных, архитекторов данных и профессионалов в области бизнес-аналитики, которые хотят узнать об инженерии данных и создании аналитических решений с использованием технологий платформы данных, существующих в Microsoft Azure.

Необходимая подготовка:
• Базовые знания по основам Azure в объеме курса «Microsoft Azure Fundamentals» (рекомендуется пройти обучение)
• Базовые знания по основам данных Azure в объеме курса «Microsoft Azure Data Fundamentals» (рекомендуется пройти обучение).

Программа курса:
Модуль 1. Возможности вычислений и хранения для инженерии данных
• Введение в Azure Synapse Analytics.
• Введение в Azure Databricks.
• Введение в архитектуру Delta Lake в Azure Databricks.
• Введение в хранилище озера данных Azure.
• Работа с потоками данных с помощью Azure Stream Analytics.
• Лабораторная работа: Изучение вариантов вычислений и хранения для рабочих нагрузок инженерии данных.

Модуль 2. Выполнение интерактивных запросов с использованием бессерверных пулов SQL в Azure Synapse Analytics
• Изучение возможностей бессерверных пулов SQL в Azure Synapse.
• Выполнение запроса данных в озере с помощью бессерверных пулов SQL Azure Synapse.
• Создание объектов метаданных в бессерверных пулах SQL Azure Synapse.
• Защита данных и управление пользователями в бессерверных пулах SQL Azure Synapse.
• Лабораторная работа: Выполнение интерактивных запросов с использованием бессерверных пулов SQL.

Модуль 3. Исследование и преобразование данных в Azure Databricks
• Обзор Azure Databricks.
• Чтение и запись данных в Azure Databricks.
• Работа с DataFrames в Azure Databricks.
• Работа с расширенными методами DataFrames в Azure Databricks.
• Лабораторная работа: Исследование и преобразование данных в Azure Databricks.

Модуль 4. Изучение, преобразование и загрузка данных в хранилище данных с помощью Apache Spark
• Введение в проектирование больших данных с помощью Apache Spark в Azure Synapse Analytics.
• Получение данных с помощью записных книжек Apache Spark в Azure Synapse Analytics.
• Преобразование данных с помощью DataFrames в пулах Apache Spark в Azure Synapse Analytics.
• Интеграция пулов SQL и Apache Spark в Azure Synapse Analytics.
• Мониторинг управления рабочими загрузками с помощью Apache Spark в Azure Synapse Analytics.
• Лабораторная работа: Изучение, преобразование и загрузка данных в хранилище данных с помощью Apache Spark.

Модуль 5. Получение и загрузка данных в хранилище данных
• Использование лучших практик загрузки данных в Azure Synapse Analytics.
• Прием петабайтов с помощью фабрики данных Azure Data Factory.
• Лабораторная работа: Получение и загрузка данных в хранилище данных.

Модуль 6. Преобразование данных с помощью фабрики данных Azure Data Factory или конвейера Azure Synapse Pipelines
• Интеграция данных с фабрикой данных Azure Data Factory.
• Масштабируемое преобразование без кода с помощью Azure Data Factory.
• Лабораторная работа: Преобразование данных с помощью Azure Data Factory.

Модуль 7. Интеграция данных из Notebooks с помощью Azure Data Factory или Azure Synapse Pipelines
• Управление перемещением и преобразованием данных в Azure Data Factory.
• Лабораторная работа: Управление перемещением и преобразованием данных в Azure Synapse Pipelines.

Модуль 8. Комплексная безопасность с помощью Azure Synapse Analytics
• Защита хранилища данных в Azure Synapse Analytics.
• Настройка и управление секретами в Azure Key Vault.
• Внедрение контроля соответствия для конфиденциальных данных.
• Лабораторная работа: Комплексная безопасность с помощью Azure Synapse Analytics.

Модуль 9. Сопровождение гибридной аналитической обработки транзакций (HTAP) с помощью Azure Synapse Link
• Проектирование гибридной транзакционной и аналитической обработки с помощью Azure Synapse Analytics.
• Настройка ссылки Azure Synapse Link с помощью Azure Cosmos DB.
• Выполнение запросов к Azure Cosmos DB с пулами Apache Spark с помощью Azure Synapse Analytics.
• Выполнение запросов к Azure Cosmos DB с бессерверными пулами SQL с помощью Azure Synapse Analytics.
• Лабораторная работа: Сопровождение гибридной аналитической обработки транзакций (HTAP) с помощью Azure Synapse Link.

Модуль 10. Обработка потоков в реальном времени с помощью Stream Analytics
• Обеспечение надежного обмена сообщениями для приложений Big Data с помощью концентраторов событий Azure Event Hubs.
• Работа с потоками данных с помощью Azure Stream Analytics.
• Преобразование данных с помощью Azure Stream Analytics.
• Лабораторная работа: Обработка потоков в реальном времени с помощью Stream Analytics.

Модуль 11. Создание решения для потоковой обработки с концентраторами событий Event Hubs и Azure Databricks
• Обработка потоковых данных с помощью структурированной потоковой передачи Azure Databricks.
• Лабораторная работа: Создание решения для потоковой обработки с концентраторами событий и Azure Databricks.

Окончательная цена указывается в договоре на обучение.
Записаться на курс