Источник: лекция Максима Хлопотова, 14 сентября 2026. Конспект составлен по записи занятия.
Главное по курсу
- Курс посвящён анализу данных и информационному поиску, прежде всего задачам ранжирования: по явному или неявному запросу пользователя нужно упорядочить объекты по релевантности.
- Связанные темы: классический поиск, рекомендательные системы, Learning to Rank (LTR), семантический поиск, векторные представления и RAG.
- Оценивание: три лабораторные работы по 30 баллов и зачёт до 20 баллов. Для зачёта достаточно набрать 60 баллов; максимум с учётом зачёта — 110.
- Лабораторные можно сдавать в произвольном порядке. «Работа 1/2/3» в дедлайнах означает порядок вашей сдачи, а не номер лабораторной.
- Профессиональный опыт по теме может быть зачтён вместо лабораторной: IR/анализ текстов и данных — ЛР1, рекомендательные системы — ЛР2, LLM/RAG — ЛР3. Перезачёт нужно согласовывать и сдавать заранее; личный проект рассматривается индивидуально.
CRISP-DM: анализ данных как жизненный цикл
Модель не сводится к обучению модели. В CRISP-DM шесть взаимосвязанных этапов:
- Business Understanding — сформулировать цель, ценность и бизнес-метрики.
- Data Understanding — проверить, какие данные есть, их качество и достаточность; провести EDA.
- Data Preparation — очистка, обработка пропусков и выбросов, кодирование признаков, подготовка мультимодальных данных.
- Modeling — выбрать семейство моделей, настроить и валидировать.
- Evaluation — оценить не только ML-метрики, но и влияние решения на исходную бизнес-цель.
- Deployment — внедрить решение в процесс.
Ключевые выводы:
- Сначала нужна цель, а не «применим ИИ». ML-метрика сама по себе не доказывает ценность решения.
- На каждом этапе должны появляться переиспользуемые артефакты: описание задачи, отчёт по данным, подготовленный датасет, модель, результаты оценки.
- Этапы итеративны: анализ данных может показать, что исходная задача неразрешима имеющимися данными или требует другой постановки.
- Пример: предсказание отчисления полезно вузу не ради точности прогноза, а чтобы вовремя выявить студентов в зоне риска и изменить образовательный процесс. Поэтому надо заранее определить доступные действия и критерии успеха.
CRISP-ML(Q) и эксплуатация
После деплоя жизненный цикл не заканчивается. В CRISP-ML(Q) контроль качества и рисков встроен во все этапы, а после внедрения необходимы мониторинг и обслуживание:
- отслеживание качества и деградации модели;
- контроль data drift и concept drift;
- проверка того, что модель продолжает помогать бизнес-процессу.
Принцип: garbage in, garbage out — качество и способ подготовки данных часто определяют результат не меньше, чем выбор алгоритма.
Графы для анализа данных и поиска
Граф задаётся вершинами и рёбрами; смысл им назначает исследователь.
| Представление | Вершины | Рёбра | Что можно узнать |
|---|---|---|---|
| Сеть цитирований | публикации, авторы или журналы | ссылки между публикациями | авторитетные работы, сообщества, смежные области |
| Граф ключевых слов | ключевые слова | совместное появление в публикации | темы, важные и связывающие термины |
| Граф публикаций | публикации | общие ключевые слова; вес — их число | похожие публикации, поиск ближайших работ |
| Web-граф | веб-страницы | гиперссылки | авторитетность страниц |
Для хранения разреженных графов обычно используют список смежности или список рёбер; в ЛР1 рекомендована библиотека NetworkX.
Центральности и сообщества
- Degree centrality — количество связей; показывает популярные или часто встречающиеся термины.
- Betweenness centrality — доля кратчайших путей, проходящих через вершину; находит «мосты» между тематическими подграфами.
- Другие применимые меры: eigenvector и closeness centrality.
- Кластеризация графа ищет сообщества с более плотными внутренними связями; качество разбиения можно оценить модулярностью.
Высокая betweenness у ключевого слова может означать не его общую частотность, а роль связующего понятия между двумя темами.
PageRank и HITS
PageRank ранжирует страницу по ссылочной структуре. Важна не только численность входящих ссылок, но и авторитетность ссылающихся страниц. Интерпретация: вероятность попасть на страницу при случайном веб-сёрфинге.
- Пользователь с вероятностью около 0,85 переходит по исходящей ссылке, а с оставшейся вероятностью телепортируется на случайную страницу.
- Коэффициент затухания предотвращает проблемы тупиков и ловушек в графе.
- В поиске сначала отбирают документы, соответствующие запросу, затем ранжируют кандидатов: это общий паттерн IR и рекомендаций — filter / retrieve → rank.
HITS различает два типа полезных документов:
- authority — авторитетный источник по теме;
- hub — хорошая страница-навигация, ссылающаяся на авторитетные источники.
В отличие от глобального PageRank, HITS полезен для тематической, query-dependent оценки и возвращает два отдельных score.
Анализ текстового корпуса
Законы Ципфа и Хипса
- Закон Ципфа: частота слова примерно обратно пропорциональна его рангу. Самые частые слова обычно дают мало различающей информации и создают шум.
- Закон Хипса: словарь растёт с объёмом корпуса, хотя скорость роста постепенно снижается. Полного конечного словаря естественного языка построить нельзя: новые документы продолжают приносить новые слова.
Практика:
- Используйте готовые стоп-слова языка и выявляйте корпус-специфичные стоп-слова. Например, в корпусе статей по ML словосочетание machine learning может быть частым, но плохо различать документы.
- Рост словаря нужно учитывать при проектировании индекса и обработке новых документов.
Предобработка и токенизация
Минимальный пайплайн: токенизация → очистка → стоп-слова → нормализация → извлечение ключевых слов. Нельзя применять его механически: нужно проверять результаты и исправлять выявленные проблемы.
- Токен — не всегда целое слово: сложны сокращения, URL, формулы и составные слова.
- Современные языковые модели используют subword-токенизацию, например Byte Pair Encoding (BPE): слово разбивается на повторяющиеся части. Это ограничивает словарь и позволяет обрабатывать ранее не встречавшиеся слова.
- Стемминг отсекает аффиксы и ищет основу; быстрый, но для русского часто грубый.
- Лемматизация приводит слово к словарной форме; обычно предпочтительнее для качественного анализа русских текстов.
- Нормализация обязательна для ключевых слов:
modelиmodelsне должны стать разными вершинами графа по смысловой причине. - Для ключевых фраз нужны не только униграммы, но при необходимости биграммы и триграммы. TF-IDF может быть хорошим базовым методом при корректной очистке, n-граммах и нормализации.
Что делать в ЛР1
- Выбрать узкую тему и собрать не менее 300 научных публикаций после 2020 года через arXiv API.
- Провести EDA корпуса: описать данные, построить частотные визуализации и проверить закон Ципфа.
- Извлечь и вручную проверить ключевые слова из заголовков и аннотаций; исправить проблемы нормализации, числа и качества ключевых слов.
- Построить граф ключевых слов по совместной встречаемости, найти сообщества, оценить модулярность и интерпретировать кластеры.
- Рассчитать не менее трёх центральностей и объяснить результаты.
- Построить взвешенный граф публикаций по общим ключевым словам и реализовать поиск похожих публикаций.
Полное формальное задание, критерии и дедлайны: Материалы курса.