Масштабная оптимизация за 4 недели
Команда Anthropic, используя внутренние исследовательские модели (включая Claude Mythos 5.1), провела рефакторинг более 30 открытых моделей для предсказания структуры белков, дизайна молекул и геномики. Работа, которая обычно требует недель усилий команды инженеров, была выполнена за менее чем четыре недели. Ключевым достижением стало создание кастомных ядер FlashPairformer, которые ускоряют операции треугольного внимания и умножения — самые ресурсоемкие части архитектуры Pairformer, лежащей в основе AlphaFold3 и Boltz-2.
Результаты бенчмарков: скорость против точности
Оптимизации позволили достичь значительного прироста производительности без критической потери точности. Ниже приведены сравнительные данные по ускорению моделей предсказания структуры:
| Метрика | Результат оптимизации | Примечание |
|---|---|---|
| Среднее ускорение | ~4x | При минимальной потере точности |
| Ускорение с идентичным выводом | ~2x | Полное сохранение результатов |
| Ускорение треугольного внимания | 2.7–2.9x | По сравнению со стандартом индустрии |
| Ускорение треугольного умножения | 1.7–3.2x | В зависимости от конфигурации модели |
Моделирование систем >10 000 токенов на одной GPU
Anthropic внедрила режим низкого потребления памяти, который позволяет предсказывать структуру биомолекулярных систем размером более 10 000 токенов (аминокислот, нуклеотидов и атомов) на одном узле NVIDIA GPU. Это решает проблему кубической сложности памяти: увеличение размера системы в 2 раза обычно требует в 8 раз больше ресурсов. Теперь сложные молекулярные машины, такие как рибосомы, можно моделировать значительно доступнее.
Конкурс Protein Design и открытые коды
Anthropic открыла исходный код всех оптимизированных моделей. Вместе с Adaptyv Bio запущен конкурс по дизайну белков с призовым фондом до $1 млн в кредитах Claude и $250 тыс. вычислений на Modal. Победители получат湿-лаб валидацию для более чем 5 000 дизайнов. Это шаг к демократизации drug discovery, так как ранее создание de novo биндеров требовало до $10 000 на цель (эквивалент 2 500 часов NVIDIA H100).
Источник: Anthropic ↗