Проблема «Store-Carry-Forward» в DTN
В сетях с толерантностью к задержкам (DTN) традиционные протоколы связи часто терпят неудачу из-за прерывистой доступности узлов. Ключевая проблема заключается в ограниченных буферах хранения и времени жизни сообщений (TTL), что приводит к потере данных и перегрузкам. Для решения этой задачи авторы Xiao Wang и Shun-Ren Yang предлагают совместную оптимизацию: управление полетом беспилотных летательных аппаратов (БПЛА) и децентрализованную маршрутизацию.
Архитектура JUROR и CTDE
Предложенный алгоритм JUROR (Joint UAV flight and Opportunistic Routing) базируется на алгоритме обучения с подкреплением PPO (Proximal Policy Optimization). Система использует архитектуру CTDE (Centralized Training, Decentralized Execution): во время обучения критик использует глобальную статистику, но на этапе выполнения каждый узел действует автономно на основе локальных наблюдений. Это позволяет БПЛА корректировать свои курсовые углы для увеличения вероятности будущих контактов с другими узлами.
Математическая модель
Задача сформулирована как факторизованный частично наблюдаемый марковский процесс принятия решений (factored POMDP). Ключевая особенность — последовательная связь между движением и маршрутизацией, а также использование вспомогательного надзора от предиктора горячих точек (hotspot predictor) с несколькими горизонтами.
Результаты сравнения
Симуляции, проведенные в четырех различных режимах трафика, показали, что JUROR обеспечивает эффективное улучшение показателей доставки по сравнению с классическими протоколами. Алгоритм сохраняет преимущество децентрализованного выполнения, работая в условиях ограниченных контактов.
| Параметр | JUROR (PPO) | PRoPHET | MaxProp |
|---|---|---|---|
| Метод обучения | RL (PPO) + CTDE | Прогнозирование вероятности | Максимизация пропускной способности |
| Управление БПЛА | Активная оптимизация курса | Пассивное | Пассивное |
| Результат (DTN) | Высокая эффективность доставки | Базовый уровень | Базовый уровень |
Значение для отрасли
Разработка JUROR открывает путь к созданию более надежных сетей связи в условиях стихийных бедствий, в удаленных регионах или в военных операциях, где инфраструктура отсутствует или разрушена. Способность ИИ-агентов «предвидеть» контакты и перестраивать топологию сети в реальном времени критически важна для миссий с жесткими временными ограничениями.
Источник: arXiv cs.AI ↗