changyeyu/LLM-RL-Visualized

Что это за инструмент

Коллекция из 100+ оригинальных SVG-схем, визуализирующих архитектуру и алгоритмы работы LLM, RL, VLM и методов их оптимизации.

Зачем нужен

Инструмент помогает быстро разобраться в сложных технических концепциях через наглядные диаграммы. Он полезен для систематизации знаний по обучению моделей, тонкой настройке (fine-tuning) и алгоритмам усиления обратной связи (RLHF/RLAIF).

Что можно реализовать

• Изучение архитектуры LLM и процессов декодирования (Decoding) с возможностью выбора текста в векторных файлах.
• Сравнение методов оптимизации: анализ различий между RLHF, DPO, GRPO и SFT через детальные схемы обучения.
• Разбор алгоритмов поиска и генерации: визуализация Beam Search, Top-K/P, CoT и RAG для понимания логики работы моделей.
• Глубокое погружение в Reinforcement Learning: от базовых MDP и DQN до сложных Actor-Critic и PPO архитектур.

Ключевые возможности

• Более 100 оригинальных диаграмм, охватывающих LLM, RL, VLM и методы выравнивания (Alignment).
• Формат SVG позволяет бесконечно масштабировать изображения без потери качества и выделять текст.
• Полное покрытие цикла обучения: от SFT и DPO до продвинутых методов Reasoning (MCTS, CoT Distillation).
• Наличие подробных разборов базовых алгоритмов RL (PPO, TRPO, DDPG) и структур моделей (LoRA, Prefix-Tuning).
• Проект регулярно обновляется и дополняется новыми схемами и исправлениями.

👤 Кому подойдёт: Исследователи в области AI, ML-инженеры, разработчики LLM-приложений, студенты и специалисты, изучающие архитектуру и обучение больших языковых моделей.