Курс: Проектирование решений для данных в Microsoft Azure
Продолжительность курса: 32 ак. ч.
Описание курса:
Этот курс предоставит слушателям знания и навыки о шаблонах и методах проектирования данных, касающихся работе с пакетными аналитическими решениями и решениями в реальном времени с использованием технологий платформы данных Azure
Этот курс охватывает следующие технологии:
• Azure Synapse Analytics,
• Azure Databricks,
• Azure Stream Analytics,
• Azure Data Lake.
Аудитория:
• Специалисты в области данных
• Архитекторы данных
• Специалисты в области бизнес-аналитики
• Аналитики данных
Необходимая подготовка:
• Успешное окончание курса «Основы Microsoft Azure», или эквивалентная подготовка.
• Успешное окончание курса «DP - 900: Основы баз данных в Microsoft Azure», или эквивалентная подготовка.
• Английский язык
Программа курса:
Модуль 1. Изучение возможностей вычислений и хранения для рабочих нагрузок инженерии данных
• Введение в Azure Synapse Analytics
• Описание Azure Databricks
• Введение в хранилище озера данных Azure
• Опишите архитектуру озера Дельта
• Работа с потоками данных с помощью Azure Stream Analytics
Лабораторная работа: Изучение возможностей вычислений и хранения для рабочих нагрузок инженерии данных.
• Объедините потоковую и пакетную обработку в едином конвейере
• Организуйте озеро данных по уровням преобразования файлов
• Индексируйте хранилище озера данных для ускорения запросов и рабочих нагрузок
Модуль 2. Разработка и реализация уровня обслуживания
• Разработайте многомерную схему для оптимизации аналитических рабочих нагрузок
• Масштабируемое преобразование без кода с помощью фабрики данных Azure
• Заполнение медленно меняющихся измерений в конвейерах Azure Synapse Analytics
Лабораторная работа: Разработка и реализация уровня обслуживания.
• Разработайте звездообразную схему для аналитических рабочих нагрузок
• Заполнение медленно изменяющихся измерений с помощью фабрики данных Azure и сопоставление потоков данных
Модуль 3. Рекомендации по проектированию данных для исходных файлов
• Проектирование современного хранилища данных с помощью Azure Synapse Analytics
• Защита хранилища данных в Azure Synapse Analytics
Лабораторная работа: Вопросы инженерии данных.
• Управление файлами в озере данных Azure
• Защита файлов, хранящихся в озере данных Azure
Модуль 4. Выполнение интерактивных запросов с использованием бессерверных пулов SQL в Azure Synapse Analytics
• Изучите возможности бессерверных пулов SQL в Azure Synapse
• Запрос данных в озере с помощью бессерверных пулов SQL Azure Synapse
• Создание объектов метаданных в бессерверных пулах SQL Azure Synapse
• Защита данных и управление пользователями в бессерверных пулах SQL Azure Synapse
Лабораторная работа: Выполнение интерактивных запросов с использованием бессерверных пулов SQL.
• Запрос данных Parquet с помощью бессерверных пулов SQL
• Создание внешних таблиц для файлов Parquet и CSV
• Создание представлений с помощью бессерверных пулов SQL
• Безопасный доступ к данным в озере данных при использовании бессерверных пулов SQL
• Настройка безопасности озера данных с помощью управления доступом на основе ролей (RBAC) и списка управления доступом
Модуль 5. Изучение, преобразование и загрузка данных в хранилище данных с помощью Apache Spark
• Понимание инженерии больших данных с помощью Apache Spark в Azure Synapse Analytics
• Получение данных с помощью записных книжек Apache Spark в Azure Synapse Analytics
• Преобразование данных с помощью DataFrames в пулах Apache Spark в Azure Synapse Analytics
• Интеграция пулов SQL и Apache Spark в Azure Synapse Analytics
Лабораторная работа: Изучение, преобразование и загрузка данных в хранилище данных с помощью Apache Spark.
• Выполнение исследования данных в Synapse Studio
• Получение данных с помощью записных книжек Spark в Azure Synapse Analytics
• Преобразование данных с помощью DataFrames в пулах Spark в Azure Synapse Analytics
• Интеграция пулов SQL и Spark в Azure Synapse Analytics
Модуль 6. Исследование и преобразование данных в Azure Databricks
• Описание Azure Databricks
• Чтение и запись данных в Azure Databricks
• Работа с DataFrames в Azure Databricks
• Работа с расширенными методами DataFrames в Azure Databricks
Лабораторная работа: Исследование и преобразование данных в Azure Databricks.
• Использование DataFrames в Azure Databricks для изучения и фильтрации данных
• Кэшировать DataFrame для более быстрых последующих запросов
• Удалить повторяющиеся данные
• Управление значениями даты / времени
• Удалить и переименовать столбцы DataFrame
• Сводные данные, хранящиеся в DataFrame
Модуль 7. Получение и загрузка данных в хранилище данных
• Используйте рекомендации по загрузке данных в Azure Synapse Analytics
• Прием петабайтов с помощью фабрики данных Azure
Лабораторная работа: Получение и загрузка данных в хранилище данных.
• Выполнение приема петабайтов с помощью Azure Synapse Pipelines
• Импорт данных с помощью PolyBase и КОПИРОВАНИЕ с помощью T-SQL
• Используйте рекомендации по загрузке данных в Azure Synapse Analytics
Модуль 8. Преобразование данных с помощью фабрики данных Azure или Azure Synapse Pipelines
• Интеграция данных с фабрикой данных Azure или Azure Synapse Pipelines
• Масштабируемое преобразование без кода с помощью фабрики данных Azure или Azure Synapse Pipelines
Лабораторная работа: Преобразование данных с помощью фабрики данных Azure или Azure Synapse Pipelines.
• Выполняйте масштабные преобразования без кода с помощью Azure Synapse Pipelines
• Создайте конвейер данных для импорта плохо отформатированных файлов CSV
• Создание потоков данных сопоставления
Модуль 9. Управление перемещением и преобразованием данных в Azure Synapse Pipelines
• Управляйте перемещением и преобразованием данных в фабрике данных Azure
Лабораторная работа: Управление перемещением и преобразованием данных в Azure Synapse Pipelines.
• Интеграция данных из записных книжек с фабрикой данных Azure или конвейерами Azure Synapse
Модуль 10. Оптимизация производительности запросов с помощью выделенных пулов SQL в Azure Synapse
• Оптимизация производительности запросов к хранилищу данных в Azure Synapse Analytics
• Ознакомьтесь с функциями Azure Synapse Analytics для разработчиков хранилища данных.
Лабораторная работа: Оптимизация производительности запросов с помощью выделенных пулов SQL в Azure Synapse.
• Изучите особенности Azure Synapse Analytics для разработчиков
• Оптимизация производительности запросов к хранилищу данных в Azure Synapse Analytics
Модуль 11. Анализ и оптимизация хранилища данных
• Анализируйте и оптимизируйте хранилище хранилища данных в Azure Synapse Analytics
Лабораторная работа: Анализ и оптимизация хранилища данных.
• Проверьте искаженные данные и использование пространства
• Сведения о хранилище хранилища столбцов
• Изучите влияние материализованных представлений
• Изучите правила для минимально регистрируемых операций
Модуль 12. Поддержка гибридной аналитической обработки транзакций (HTAP) с помощью Azure Synapse Link
• Разработка гибридной транзакционной и аналитической обработки с помощью Azure Synapse Analytics
• Настройка ссылки Azure Synapse с помощью Azure Cosmos DB
• Запросы к Azure Cosmos DB с пулами Apache Spark
• Запросы к Azure Cosmos DB с бессерверными пулами SQL
Лабораторная работа: Поддержка гибридной аналитической обработки транзакций (HTAP) с помощью Azure Synapse Link.
• Настройка ссылки Azure Synapse с помощью Azure Cosmos DB
• Запросы к Azure Cosmos DB с помощью Apache Spark для Synapse Analytics
• Запросы к Azure Cosmos DB с бессерверным пулом SQL для Azure Synapse Analytics
Модуль 13. Комплексная безопасность с помощью Azure Synapse Analytics
• Защита хранилища данных в Azure Synapse Analytics
• Настройка и управление секретами в Azure Key Vault
• Внедрить контроль соответствия для конфиденциальных данных
Лабораторная работа: Комплексная безопасность с помощью Azure Synapse Analytics.
• Безопасная инфраструктура поддержки Azure Synapse Analytics
• Защита рабочей области Azure Synapse Analytics и управляемых служб
• Защита данных рабочей области Azure Synapse Analytics
Модуль 14. Обработка потоков в реальном времени с помощью Stream Analytics
• Обеспечьте надежный обмен сообщениями для приложений больших данных с помощью концентраторов событий Azure
• Работа с потоками данных с помощью Azure Stream Analytics
• Получение потоков данных с помощью Azure Stream Analytics
Лабораторная работа: Обработка потоков в реальном времени с помощью Stream Analytics.
• Используйте Stream Analytics для обработки данных в реальном времени из концентраторов событий
• Используйте оконные функции Stream Analytics для создания агрегатов и вывода в Synapse Analytics.
• Масштабируйте задание Azure Stream Analytics для увеличения пропускной способности за счет секционирования.
• Переразбейте входной поток для оптимизации распараллеливания
Модуль 15. Создание решения для потоковой обработки с концентраторами событий и Azure Databricks
• Обработка потоковых данных с помощью структурированной потоковой передачи Azure Databricks
Лабораторная работа: Создание решения для потоковой обработки с концентраторами событий и Azure Databricks.
• Изучите ключевые функции и способы использования структурированной потоковой передачи
• Потоковая передача данных из файла и запись их в распределенную файловую систему
• Используйте скользящие окна для агрегирования фрагментов данных, а не всех данных
• Применение водяных знаков для удаления устаревших данных
• Подключение к концентраторам событий для чтения и записи потоков
Модуль 16. Создание отчетов с использованием интеграции Power BI с Azure Synpase Analytics
• Создавайте отчеты с помощью Power BI, используя его интеграцию с Azure Synapse Analytics.
Лабораторная работа: Создание отчетов с использованием интеграции Power BI с Azure Synpase Analytics.
• Интеграция рабочей области Azure Synapse и Power BI
• Оптимизировать интеграцию с Power BI
• Повышение производительности запросов с помощью материализованных представлений и кэширования набора результатов
• Визуализируйте данные с помощью SQL Serverless и создайте отчет Power BI
Модуль 17. Выполнение интегрированных процессов машинного обучения в Azure Synapse Analytics
• Используйте интегрированный процесс машинного обучения в Azure Synapse Analytics
Лабораторная работа: Выполнение интегрированных процессов машинного обучения в Azure Synapse Analytics.
• Создание связанной службы машинного обучения Azure
• Запуск эксперимента Auto ML с использованием данных из таблицы Spark
• Обогащайте данные с помощью обученных моделей
• Показывать результаты прогнозов с помощью Power BI
Окончательная цена указывается в договоре на обучение.
Записаться на курс
