Курс: Разработка векторных баз данных и RAG-систем
Курс: Разработка векторных баз данных и RAG-систем
Y023Data Science
Продолжительность курса: 24 ак. ч.
Описание курса:
Практический курс по созданию систем семантического поиска и RAG-приложений, которые помогают языковым моделям находить и использовать информацию из внешних баз знаний. Участники познакомятся с эмбеддингами и принципами работы векторных баз данных, освоят Qdrant, Weaviate и FAISS, а также реализуют поиск по текстам и изображениям. В программе – настройка k-NN и гибридного поиска, фильтрация и ранжирование результатов, подключение баз знаний к LLM, оценка качества выдачи и мониторинг. Участники также рассмотрят, как подготовить решение к интеграции и развёртыванию с помощью Docker и CI/CD.
Аудитория:
• Python-разработчики, создающие AI-приложения и сервисы
• специалисты по машинному обучению и обработке данных
• инженеры, работающие с поиском, базами знаний и LLM
• технические специалисты, планирующие внедрять семантический поиск и RAG-системы
Необходимая подготовка:
• Навыки программирования на Python и общее понимание работы API
Программа курса:
Модуль 1. Введение
• Основы семантического поиска
• Эмбеддинги
• Назначение специализированных векторных баз данных
Модуль 2. Qdrant
• Развертывание БД на Rust
• Повседневные операции (поиск, удаление, обновление)
• Кластеризация
Модуль 3. Weaviate
• Построение поиска с помощью графа знаний
• Работа с graphql playground и python
• Реализация мультимодального поиска
Модуль 4. FAISS
• Работа с библиотекой для быстрого поиска соседей
• Типы индексов
• Оптимизация под gpu при работе с миллионами векторов
Модуль 5. Практические лабораторные работы
• Реализация поиска k ближайших соседей (k-NN)
• Настройка фильтрации результатов
• Гибридный поиск (семантика + ключевые слова BM25 + ANN)
• Мультимодальный поиск (текст + изображение с использованием модели CLIP)
Модуль 6. Архитектура RAG (Retrieval-Augmented Generation)
• Подключение баз знаний к LLM (openai/GPT, Mistral, Llama)
• Работа с мультивекторами
• Гибридный поиск и реранк
• Настройка порога уверенности (конфиденс) и правил отказа («не знаю»)
Модуль 7. Оценка качества и метрики
• Классические и современные метрики качества выдачи (Recall@K, ndcg)
• Построение дашбордов для мониторинга качества
Модуль 8. MLOps и интеграция
• Автоматизация CI/CD с использованием github Actions
• Подготовка Docker-контейнеров
• Защита от «векторного взрыва» (sharding, дедупликация)
Окончательная цена указывается в договоре на обучение. Записаться на курс