Курс: Аналитик данных (разные уровни)

Продолжительность курса: 268 ак. ч.

Описание курса:
Аналитик данных — это специалист, который собирает, систематизирует и обрабатывает информацию, а затем на основе полученных данных формулирует гипотезы и рекомендации. Такая профессия сегодня востребована практически в каждой компании, поскольку современный бизнес всё чаще сталкивается с необходимостью работы с большими объемами данных (Big Data).

Одним из ярких примеров применения аналитики в повседневной жизни является история создания сериала «Карточный домик». Перед запуском проекта специалисты проанализировали предпочтения потенциальной аудитории и выявили закономерности: определённые фильмы, темы и актёры вызывали наибольший интерес у целевой аудитории. Сценаристы использовали эти данные, чтобы создать сериал, собранный буквально «под вкус» зрителей. Проект оказался успешным, что подтвердило эффективность аналитического подхода.

Аудитория:
• управляющий персонал компании;
• менеджеры;
• разработчики;
• руководители.

Необходимая подготовка:
Не требуется.

Программа курса:

Основы работы с большими данными (Data Science)

Модуль 1. Область применения больших данных. Типовые задачи:
• Определение основных понятий;
• История науки о данных;
• Выгоды от работы с большими данными;
• Типовые задачи: прогноз продаж, производства, спроса. Анализ поведения.
• Распознавание образов. Экспертные системы.

Модуль 2. Сбор и подготовка исходных данных. Методика CRISP-DM:
• С чего начать. Межотраслевая стандартная методика работы с данными CRISP-DM;
• Описательное и ассоциативное исследование исходных данных;
• Сегментирование и очистка данных (slice and dice);
• «Озера данных» (Data lakes);
• Отличия озер данных от структурированных хранилищ;
• Обзор инструментария.

Модуль 3. Задачи численного прогнозирования. Понятие машинного обучения. Корреляция. Регрессионный анализ:
• Виды распределений;
• Постановка задачи оценки взаимосвязи между различными факторами и построение прогноза;
• Корреляция. Коэффициент Пирсона;
• Критерий Стьюдента (T-анализ);
• Основы машинного обучения;
• Регрессионный анализ;
• Обзор прикладных средств работы с данными.

Модуль 4. Задачи классификации и распознавания образов, видео, речи, текста. Понятие нейронных сетей. Примеры применения:
• Задача сегментации дискретных данных на примере задач распознавания (графика, речь, текст);
• Нейронные сети как инструмент решения задач классификации;
• Разбиение на выборки (обучающую, тестовую, проверочную);
• Анализ ошибок обучения. Базис и отклонения. Ручная корректировка;
• Демонстрация источников библиотек и no-code;
• Опциональная практика. Работа с nocode приложением.

Модуль 5. GPT нейросети. глубокое машинное обучение, искусственный интеллект. Помощники и агенты:
• Понятие Deep Machine Learning;
• Генеративные сети. Конкурентное обучение;
• Понятия больших, малых и микро-моделей;
• ИИ помощники – общего назначения и специализированные;
• ИИ помощники (ассистенты) и ИИ агенты;
• Фокусированный промптинг. Диалог с ИИ помощником (ассистентом).
• Практическая работа. Взаимодействие с ИИ помощником.

Модуль 6. Задачи построения маршрутов (логистика, соцсети, телеком). Задача прогнозирования поведения пользователя. Понятие графов:
• Задачи классификации данных в социальных сетях и поиска оптимального решения (маршрута);
• Графы как инструмент решения задач на социальных, логистических, телекоммуникационных графах и прогнозирования поведения;
• Дерево решений.

Модуль 7. Обработка естественного языка. Нечеткие множества:
• Понятия естественного языка и нечетких логик;
• Многофакторный бизнес-анализ на примере нечетких логик.

Модуль 8. Профориентация по специальностям и в Data Science:
• Роли специалистов по DS: аналитик данных, ученый по данным, программист, цифровой директор;
• Требования к компетенциям;
• Состав и требования к проектной команде для DS.

Введение в статистику

Модуль 1. Предмет и метод статистики:
• Основные понятия, используемые в статистике;
• Формы представления статистических данных;
• Нахождение доверительного интервала;
• Статистические показатели: абсолютные, относительные и средние;
• Построение ряда вариационного распределения; Анализ его свойств;
• Проверка гипотезы о соответствии теоретическому распределению;
• Выборочный метод;
• Способы формирования выборки.

Модуль 2. Анализ временных рядов:
• Показатели изменения уровней ряда динамики;
• Средние показатели ряда динамики;
• Методы выявления основной тенденции (тренда) в рядах динамики;
• Оценка адекватности (надежности) тренда;
• Анализ сезонных колебаний.

Модуль 3. Статистический анализ взаимосвязей:
• Корреляционная связь – частный случай стохастической связи;
• Методы оценки корреляционной связи;
• Корреляционно-регрессионный анализ – исследование корреляционных связей;
• Коэффициенты измерения тесноты связи между показателями;
• Метод нахождения параметров уравнения регрессии.

Microsoft Excel. Уровень 2. Расширенные возможности

Модуль 1. Применение встроенных функций Excel:
• Различные типы ссылок;
• Связывание листов и рабочих книг;
• Применение различных типов встроенных функций;
• Математические функции: суммирование с условиями, округление результатов вычислений;
• Статистические функции: вычисление количества, средних, минимальных и максимальных значений с условиями (СЧЁТЕСЛИМН, СРЗНАЧЕСЛИМН, МИНЕСЛИ и МАКСЕСЛИ);
• Функции ссылок и подстановки: ВПР и ГПР;
• Логические функции: ЕСЛИ, ЕСЛИМН, И, ИЛИ, ПЕРЕКЛЮЧ, ЕСЛИОШИБКА;
• Текстовые функции: объединение (СЦЕП, СЦЕПИТЬ, ОБЪЕДИНИТЬ) и разбиение данных, извлечение нужных символов (ЛЕВСИМВ, ПРАВСИМВ, ПСТР);
• Функции для работы с датами.

Модуль 2. Условное форматирование:
• Применение встроенных правил: гистограмма, цветовые шкалы, наборы значков;
• Создание правил форматирования с применением формул.

Модуль 3. Особенности совместной работы:
• Защита ячеек, листов и рабочих книг Excel;
• Проверка вводимых значений: установка ограничений на ввод данных, поиск неверных значений.

Модуль 4. Обработка табличных данных:
• Работа с таблицами;
• Преобразование диапазона в таблицу: особенности вычислений, форматирование таблиц, удаление дубликатов, сортировка данных, применение срезов для фильтрации данных, преобразование в обычный диапазон;
• Консолидация данных.

Модуль 5. Анализ данных с помощью Сводных таблиц:
• Создание сводных таблиц;
• Преобразование сводных таблиц;
• Фильтрация данных: фильтры, срезы, временная шкала;
• Настройка полей сводной таблицы;
• Добавление вычисляемых полей в сводную таблицу;
• Форматирование сводной таблицы;
• Настройка макета сводной таблицы по умолчанию;
• Группировка полей в сводных таблицах;
• Сводные диаграммы, детализации диаграмм;
• Обновление сводных таблиц и диаграмм.

Microsoft Excel. Уровень 3. Анализ и визуализация данных

Модуль 1. Применение категории встроенных функций «Ссылки и Массивы» и формул массивов:
• Формулы массивов;
• Использование в простых расчетах;
• Применение функций в формулах массивов;
• Использование именованных диапазонов в расчетах;
• Решение задач по извлечению данных из массива данных:
• Двусторонний поиск;
• Поиск по нескольким критериям;
• Двусторонний многокритериальный поиск c применением функций СТРОКА, СТОЛБЕЦ;
• Применение функции ДВССЫЛ в решении задач:
• Обработка данных с одного или нескольких листов;
• Создание зависимых списков с постоянным источником;
• Работа с функцией СМЕЩ.

Модуль 2. Пользовательские форматы:
• Создание пользовательских форматов:
• Числовые форматы;
• Форматы даты и времени;
• Группы пользовательских форматов;
• Редактирование, применение и удаление форматов.

Модуль 3. Диаграммы:
• Спарклайны;
• Комбинированные диаграммы;
• Гистограмма с отображением итогов;
• Проектная диаграмма Ганта;
• Диаграмма сравнений Торнадо;
• Воронкообразная диаграмма;
• Каскадная диаграмма;
• Картограмма;
• Иерархические диаграммы:
• Солнечные лучи;
• Иерархическая;
• Статистические диаграммы:
• Диаграмма Парето;
• Ящик с усами;
• Частотная диаграмма;
• Термометр;
• Диаграммы с пользовательскими элементами управления:
• Диаграмма с включением/выключением рядов данных;
• Диаграмма с выбором значений и отображением средних, минимальных и максимальных значений.

Модуль 4. Прогнозирование данных
• Выделение тренда:
• Скользящее среднее;
• Функции регрессионного анализа: ПРЕДСКАЗ, ТЕНДЕНЦИЯ, РОСТ;
• Построение линий тренда;
• Учет сезонности в прогнозах;
• Быстрый прогноз с использованием листа прогноза.

Модуль 5. Вариативный анализ «Что Если» и Оптимизация
• Использование инструмента Таблица данных для анализа развития ситуации при 2-х переменных;
• Оценка развития ситуации и выбор оптимальной стратегии с помощью Сценариев;
• Решение однокритериальной задачи оптимизации с помощью Подбора параметра;
• Решение многокритериальных задач оптимизации с использованием надстройки
• Поиск решения.

Модуль 6. Обработка внешних Баз Данных
• Импорт данных с использованием PowerQuery из текстового файла, базы данных Access и Web-страницы;
• Запрос к файлу Excel;
• Особенности анализа куба данных OLAP в сводных таблицах Excel.

Основы работы с Tableau – визуализация и анализ данных

Модуль 1. Базовые принципы бизнес-аналитики:
• Понятия статистической достоверности;
• Параметры;
• Показатели;
• Структуры данных.

Модуль 2. Основные термины анализа данных:
• Рабочие книги;
• Листы;
• Рабочие области;
• Диаграммы;
• Дашборды;
• Истории.

Модуль 3. Установка и работа с Tableau десктоп:
• Лицензия;
• Дистрибьютив;
• Установка демо-версии;
• Ключи;
• Виды продуктов Tableau и их назначение;
• Версии под Windows и Mac OS;
• Редакции.

Модуль 4. Подключение источников данных к системе:
• Базы данных;
• Файловые источники;
• Коннекторы;
• Подготовка источников к работе.

Модуль 5. Построение отчётов и визуализация данных с помощью штатных возможностей Tableau:
• Автоподбор диаграмм;
• Виды диаграмм;
• Способы группировки данных;
• Создание собственных Параметров;
• Разбор кейсов на демо-данных.

Модуль 6. Создание дашбордов, Историй, Рабочих книг, сохранение отчётов:
• Построение историй;
• Создание дашбордов;
• Сохранение отчётов в рабочих книгах;
• Создание Историй для презентаций в PowerPoint.

Анализ данных на языке SQL

Модуль 1. Реляционные базы данных:
• СУБД SQL Server;
• Язык запросов SQL;
• Программа Management Studio;
• Базы данных и таблицы;
• Написание и исполнение запросов;
• Доступ к данным из Excel;
• Извлечение данных из различных источников;
• Практическая работа: Доступ к БД из Excel.

Модуль 2. Простые операции с одной таблицей:
• Инструкция SELECT;
• Фильтрация таблицы по столбцам;
• Фильтрация таблицы по строкам;
• Использование функций;
• Типы данных;
• Обработка неизвестных значений;
• Сортировка;
• Операция TOP;
• Устранение дубликатов;
• Порядок операций в запросе;
• Практическая работа:
• Выполнение фильтрации по строкам и столбцам;
• Фильтрация пустых значений (NULL);
• Выборка с сортировкой;
• Устранение дубликатов.

Модуль 3. Трансформация таблицы:
• Агрегация;
• Группировка;
• Фильтрация групп;
• Практическая работа:
• Применение агрегатных функций;
• Задача на группировку и фильтрацию групп.

Модуль 4. Модификация данных:
• Добавление строк;
• Модификация строк;
• Удаление строк;
• Практическая работа: Добавление, изменение и удаление строк.

Модуль 5. Операции с несколькими таблицами:
• Использование нескольких таблиц в запросе;
• Объединение, пересечение и разность множеств;
• Подзапросы;
• Использование подзапросов в инструкции SELECT;
• Соединение таблиц;
• Использование соединений;
• Внешние соединения;
• Коррелированные соединения;
• Практическая работа: Простой подзапрос. Коррелированный подзапрос. Внутренние и внешние соединения.

Модуль 6. Построение отчётов:
• Сводные таблицы;
• Вычисление подытогов;
• Ранжирование;
• Постраничный вывод;
• Агрегация со скользящим окном;
• Функции смещения;
• Практическая работа: Построение сводных отчетов. Построение отчетов с подытогами.

Модуль 7. Работа с хранилищами и витринами данных:
• Операционные базы данных;
• Хранилища и витрины данных;
• Структура хранилища;
• Работа с хранилищем;
• Аналитическая обработка больших объёмов данных;
• Статистический анализ данных;
• Инструменты анализа данных.

Data Mining на платформе Microsoft (Excel + SQL Server)

Модуль 1. Введение.

Модуль 2. Постановка задачи:
• Описание проблемы;
• Терминология;
• Задачи для механизмов добычи данных;
• Модели добычи данных.

Модуль 3. Инструменты SQL Server Analysis Services:
• SQL Server Data Tools;
• Работа с проектом;
• Data Mining Wizard;
• Проверка модели;
• Режим «предсказания»;
• Отчёты.

Модуль 4. Алгоритмы добычи данных:
• Виды алгоритмов исследования данных;
• Дерево решений;
• Линейная регрессия;
• Кластеризация;
• Алгоритм Байеса;
• Ассоциации;
• Кластеризация последовательностей;
• Временные последовательности;
• Нейросеть;
• Регрессия.

Модуль 5. Инструменты Excel:
• Надстройка «Data Mining»;
• Соединение;
• Подготовка данных;
• Управление;
• Использование модели;
• Точность;
• Моделирование;
• Надстройка для Visio.

Модуль 6. Типовые сценарии.

Microsoft Excel 2016/2019. Уровень 6. Бизнес - аналитика с использованием PowerPivot, PowerView и PowerMap

Модуль 1. Введение в PowerPivot. Источники:
• Особенности и возможности PowerPivot;
• Подключение надстройки PowerPivot;
• Импорт данных из источников:
• Реляционные базы данных: Access, SQL-server;
• Многомерные источники - службы Microsoft Analysis Services (OLAP-куб);
• Файлы Excel;
• Текстовые файлы csv;
• Фильтрация данных при импорте;
• Управление моделями и создание связей;
• Практические упражнения.

Модуль 2. Подготовка источника в модель PowerPivot с использованием PowerQuery:
• Импорт данных из текстового файла и книг Excel;
• Работа с импортированными данными: редактирование, создание вычисляемых полей, обновление;
• Добавление запросов;
• Практические упражнения.

Модуль 3. Вычисления в источниках PowerPivot:
• Создание вычисляемых столбцов с использованием DAX-формул:
• Простейшие вычисления;
• Использование функций категорий: Дата и время, Логические, Математические, Текстовые, Фильтр;
• Создание вычисляемых полей (мер);
• Практические упражнения.

Модуль 4. Работа с отчетами:
• Создание отчетов различных видов: Сводная таблица, Сводная диаграмма, Диаграмма и таблица, Две диаграммы, Четыре диаграммы;
• Создание пользовательских иерархий для использования в отчете;
• Анализ данных с помощью сводных таблиц:
• Фильтрация данных: фильтры, срезы, временная шкала. Подключение фильтров к отчетам;
• Скрытие/отображение полей из набора клиентских средств;
• Создание и управление наборами;
• Вычисления в сводных таблицах;
• Создание и управление ключевыми показателями эффективности;
• Создание отчета с использованием аналитических функций КУБ;
• Практические упражнения.

Модуль 5. Динамические отчеты PowerView:
• Источник для построения отчета;
• Создание таблицы;
• Статистическая обработка числовых полей;
• Преобразование таблиц в другие представления:
• Круговые, точечные, линейчатые и пузырьковые диаграммы;
• Матрицы;
• Мозаичные элементы;
• Фильтрация, выделение, срезы;
• Практические упражнения.

Модуль 6. Визуализация данных на географической карте с Power Map:
• Источник для построения отчета;
• Работа со слоями;
• Создание/изменение визуализации:
• Карты;
• Данных;
• Настройка визуализации с использованием сцен;
• Создание видео по данным отчета;
• Практические упражнения.

Microsoft Excel 2016/2019. Уровень 7. Power Query в Microsoft Excel

Модуль 1. Знакомство Power Query:
• Назначение Power Query;
• Интерфейс Power Query;
• Структура запроса;
• Простые операции в запросе;
• Создание несложных запросов;
• Типы загрузки результата запроса;
• Обновление запроса.

Модуль 2. Загрузка данных:
• Подключение к различным типам источников данных;
• Текстовые файлы;
• Файлы XML;
• Файлы MS Excel;
• Базы данных;
• WEB (интернет);
• Навигация по источнику.

Модуль 3. Язык M (Power Query Formula Language):
• Структура сценария на языке M, синтаксис языка M;
• Типы данных;
• Простые типы данных и их преобразование;
• Составные типы данных (таблицы, списки, записи);
• Условный оператор;
• Обработка ошибок;
• Создание функций;
• Операции над списками;
• Операции над таблицами.

Модуль 4. Параметризация запросов:
• Управление параметрами запроса;
• Создание и использование таблицы параметров на листе.

Модуль 5. Решение задач по трансформации структуры данных:
• Операции со столбцами;
• Удаление и фильтрация;
• Объединение и разделение;
• Операции с текстом, числами и датами;
• Другие операции;
• Операции со строками;
• Удаление и фильтрация;
• Удаление дубликатов;
• Другие операции;
• Операции с таблицами;
• Pivot (Сведение по столбцу);
• Unpivot (Отмена свёртывания столбцов);
• Транспонирование;
• Группировка строк;
• Другие операции;
• Использование различной логики при трансформации.

Модуль 6. Решение задач по консолидации данных из разных источников:
• Автоматическая консолидация двоичных данных (текстовые файлы и файлы MS Excel);
• Самостоятельная разработка запроса и вспомогательных функций для консолидации данных;
• Консолидация из разных файлов и/или с разных листов с трансформацией структуры данных.

Модуль 7. Работа с несколькими запросами:
• Объединение;
• Клонирование;
• Группировка запросов.

Microsoft Excel. Уровень 8. Углубленное изучение модели Power Pivot и языка DAX

Модуль 1. Постановка задачи:
• Из чего состоит модель PowerPivot;
• Вычисляемые колонки в PowerPivot;
• Меры;
• Где используются DAX-выражения;
• Знакомство с DAX Studio.

Модуль 2. Скалярные функции в DAX:
• Числовые, логические и строковые функции;
• Простые функции для работы с календарём;
• Аналитические календарные функции;
• Другие скалярные функции в DAX.

Модуль 3. Контекст вычисления DAX-выражений:
• Агрегатные функции;
• Понятие контекста;
• На что влияет контекст.

Модуль 4. Фильтрация и управление контекстом:
• Функция FILTER;
• Функция ALL;
• Функция CALCULATE;
• Другие функции, изменяющие контекст вычислений.

Модуль 5. Связи между таблицами:
• Активные и неактивные связи;
• Связи «один-к-одному»;
• Ролевые размерности (role-playing dimension);
• Денормализация.

Модуль 6. Выбор связанных строк из нескольких таблиц:
• Использование функций RELATED и RELATEDTABLE;
• Другие функции, использующие связи между таблицами.

Модуль 7. Контекст в связанных таблицах:
• Применение фильтров к связанным таблицам;
• Совместное использование фильтрующих и связывающих функций.

Модуль 8. Фильтрация связанных таблиц:
• Управление контекстом при переходе между таблицами;
• Различные сценарии применения фильтров.

Модуль 9. Связи типа «многие-ко-многим»:
• Ситуации, требующие сложных связей;
• Проблемы сложных связей;
• Настройка связей типа «многие-ко-многим».

Модуль 10. Шаблоны DAX и примеры моделирования:
• Шаблоны для построения моделей;
• Шаблоны аналитических решений.


Окончательная цена указывается в договоре на обучение.