Актуальность и структура курса
Курс CS8803 «Large Language Models» в Технологическом институте Джорджии (Georgia Tech) под руководством профессора Вэя Сю (Wei Xu) представляет собой интенсивное погружение в современные архитектуры LLM. Расписание лекций охватывает период с 12 января по 22 апреля, предлагая студентам и исследователям разбор актуальных научных статей и фреймворков.
Особое внимание уделяется не только теоретическим основам, но и практическим аспектам обучения, оптимизации и интерпретируемости моделей. Курс включает разборы таких прорывных работ, как DeepSeek-V2/V3.2, Chameleon, GRPO/DAPO и Absolute Zero.
Ключевые темы и разборы статей
Программа курса сфокусирована на нескольких критически важных направлениях развития ИИ. Ниже приведена выборка тем и соответствующих исследований, которые будут изучаться в рамках курса:
| Тема | Ключевые статьи/Технологии | Дата (примерная) |
|---|---|---|
| Pretraining & Embeddings | Chameleon (Data-mixing), Parity-Aware BPE, MMTEB, NV-Embed | Feb 2 - Feb 11 |
| Mixture-of-Experts (MoE) | DeepSeek-V2, Outrageously Large Neural Networks, Secretly an Embedding Model | Feb 16 |
| Reasoning & Alignment | BIRD (Bayesian Inference), DPO, Training a Curious Agent | Feb 18 |
| Agents & Long-Context | Agent Workflow Memory, OpenHands SDK, Attention Sinks | Feb 23 - Feb 25 |
| Reinforcement Learning | GRPO, DAPO, R1-Zero-Like Training, Absolute Zero, SPICE | Mar 4 - Mar 18 |
| Advanced Architectures | TransMLA, Linear Transformers, Diffusion-LM | Mar 2 - Apr 8 |
| Safety & Interpretability | Emergent Misalignment, Sparse Autoencoders, Scaling Laws | Apr 13 - Apr 22 |
Фокус на Reinforcement Learning и Reasoning
Значительная часть курса (март) посвящена методам обучения с подкреплением (RL) и улучшению рассуждений (Reasoning). Студенты изучат:
- Self-Play RL: Методы Absolute Zero и SPICE, которые позволяют моделям улучшать свои способности к рассуждению без внешних данных, используя только саму себя.
- Test-Time Scaling: Оптимизация вычислений во время тестирования (Learning to Discover at Test Time, Scaling LLM Test-Time Compute).
- Compound AI Systems: Оптимизация сложных систем через Optimas.
Почему это важно для индустрии
Публикация материалов курса CS8803 дает доступ к «кухне» одного из ведущих университетов мира в области AI. Разбор таких статей, как DeepSeek-V3.2 и TransMLA, позволяет инженерам и исследователям понять не только как работают текущие SOTA-модели, но и какие архитектурные решения (например, Multi-Head Latent Attention) станут стандартом в ближайшие годы. Для разработчиков Open-Source решений это возможность следить за трендами в реальном времени, используя академическую базу знаний.
Доступ к материалам
Все материалы курса, включая презентации, ссылки на статьи и задания, доступны на официальном сайте курса. Это отличный ресурс для тех, кто хочет систематизировать знания в области LLM, от базовых эмбеддингов до сложных механизмов интерпретируемости и безопасности.
Источник: Github ↗