Описание курса:
Слушатели научатся разрабатывать архитектуру данных, даже если у них нет опыта в IT. Получите востребованную профессию и реальный опыт.
Аудитория:
• Все, кто хочет научиться разрабатывать архитектуру данных.
Необходимая подготовка:
Не требуется.
Программа курса:
Модуль 1. Введение в инженерию данных:
• Введение в профессию инженер данных;
• Введение в Git;
• Введение в Docker.
Модуль 2. DWH:
• Введение в базы данных и теорию хранения данных. Реляционная модель данных;
• Знакомство с реляционной СУБД Postgres. Введение в SQL;
• Углубленное изучение SQL;
• Введение в DWH;
• DWH. Витрины данных;
• Погружение в DWH. Архитектура хранилищ данных;
• Современные модели данных. Data vault;
• Введение в колоночные СУБД. Clickhouse;
• Что такое BI-системы и зачем нужны. Введение в Superset. Построение дашбордов.
Модуль 3. Работа с данными:
• Введение в Python. Базовые операции;
• Работа с базами данных на языке Python. Работа с внешними API;
• Введение в оркестрацию данных. Обзор Airflow;
• Погружение в Airflow.
Модуль 4. Работы с большими данными:
• Введение в теорию больших данных;
• NoSQL хранилища данных. MPP-системы;
• Введение в Data Lake;
• Введение в Hadoop;
• Hive;
• Введение в теорию ETL/ELT-процессов. Обзор стека технологий;
• Введения в Scala;
• Apache Spark;
• Углубленное изучение Spark.
Модуль 5. Машинное обучение. Искусственный интеллект:
• Введение в анализ данных. Базовые инструменты анализа данных на языке Python. Разведочный анализ данных;
• Введение в машинное обучение;
• Способы улучшения качества моделей в машинном обучении;
• Разработка моделей машинного обучения с использованием Pyspark;
• Введение в теорию ИИ и нейронных сетей;
• Погружение в теорию нейронных сетей. Разработка простой нейронной сети на языке Python.
Окончательная цена указывается в договоре на обучение.
