Сбор, визуализация и анализ данных по графу
Задание
- Выберите узкую и интересную тему научных публикаций, например в области machine learning или artificial intelligence.
- Через arXiv API соберите не менее 300 публикаций, вышедших не ранее 2020 года. Сохраните названия, авторов и аннотации.
- Проведите разведочный анализ корпуса: опишите данные, постройте визуализации, в том числе для проверки закона Ципфа.
- Выделите ключевые слова по заголовкам и аннотациям. Используйте не только униграммы при необходимости, рассмотрите биграммы и триграммы; обязательно нормализуйте словоформы.
- Постройте в NetworkX граф ключевых слов: связь означает совместную принадлежность ключевых слов публикации.
- Найдите сообщества ключевых слов, оцените качество разбиения, например модулярностью, и интерпретируйте кластеры.
- Рассчитайте как минимум три меры центральности: например, degree, betweenness, eigenvector или closeness centrality. Интерпретируйте результаты.
- Постройте взвешенный граф публикаций: публикации соединены, если у них есть общие ключевые слова; вес ребра равен числу таких слов. Реализуйте поиск ближайших к заданной публикаций.
- Протестируйте поиск по графу публикаций.
На что обратить внимание
- Для ключевых слов нельзя бездумно использовать одну модель или TF-IDF: проверьте качество выдачи, число фраз, шум и нормализацию.
- Словоформы вроде
modelиmodelsдолжны быть сведены к одной сущности, иначе граф будет искажён. - Корпус-специфичные частые слова могут быть стоп-словами и не должны доминировать в анализе.
Оценивание — 30 баллов
| Часть | Что оценивается | Баллы |
|---|---|---|
| Сбор данных и ключевые слова | Оригинальность темы, актуальность публикаций, визуализации, полнота и логика EDA | 10 |
| Граф ключевых слов | Полнота анализа, корректность реализации и интерпретация | 12 |
| Поиск по графу публикаций | Подход к поиску, корректность реализации, описание решения | 8 |
Связанные материалы: конспект лекции 1 · дедлайны и баллы.