План курса — Анализ данных и информационный поиск

Исходный Google Doc

Формат курса

• Форма контроля: дифференцированный зачёт.
• В течение семестра: 8 лекций и практики, на которых сдаются лабораторные работы.
• Отчёты по лабораторным рекомендуется готовить в формате .ipynb. Пример отчёта в Colab.
• Вопросы по дисциплине: Piazza либо личные сообщения преподавателю; объявления следует проверять по официальным каналам.

Лекции

1. Методология и структурный анализ данных. CRISP-DM и CRISP-ML(Q), графы, PageRank/HITS, законы Ципфа и Хипса, очистка и нормализация текстов. Конспект лекции 1.
   • Жизненный цикл проекта по CRISP-DM и CRISP-ML(Q)
   • Графовые методы, PageRank и HITS
   • Статистика корпусов и предобработка текста
2. Классический поиск и вероятностное ранжирование. Инвертированный индекс, булев поиск, TF-IDF, BM25 и метрики качества поиска.
   • Инвертированный индекс и булев поиск
   • TF-IDF, BM25 и поисковый baseline
   • Метрики качества поиска и ранжирования
3. Рекомендательные системы. User-based и Item-based collaborative filtering, SVD, ALS, SLIM, EASE, разреженность и cold start.
4. Введение в Learning to Rank. Offline-валидация, time-split, признаки пары «запрос—документ», pointwise и pairwise подходы.
5. Продвинутый LTR. RankNet, LambdaMART, CatBoost/LightGBM для ранжирования, feature importance и SHAP.
6. Семантический поиск. Word2Vec, FastText, bi-encoders, cross-encoders и cosine distance.
7. Векторные БД и ANN. HNSW, IVF, квантование, FAISS, Qdrant, ChromaDB и компромисс между скоростью и Recall.
8. Генеративный поиск и онлайн-анализ. RAG, чанкинг, оценка верности контексту, пользовательский фидбек, A/B-тесты и clickstream-анализ.

Навигация

• Лабораторная работа 1 — графовый анализ корпуса публикаций.
• Лабораторная работа 2 — рекомендательные системы.
• Лабораторная работа 3 — RAG-поиск по корпусу публикаций.
• Дедлайны и баллы.
• Подготовка к зачёту.