Проблема текстовых моделей
Большинство современных больших языковых моделей (LLM) обучаются на текстовых корпусах научных статей. Однако материалы науки — это прежде всего 3D-структуры. Текстовые модели не «видят» геометрию атомных решеток и сильно смещены в сторону популярных классов кристаллов, описанных в литературе, игнорируя редкие или экспериментальные соединения.
Решение: синтез нарративов и контрастное обучение
Команда под руководством профессора Ju Li и Elsa Olivetti создала мультимодальную модель, которая объединяет визуальные данные (3D-атомные структуры) и текст. Ключевой метод — контрастное обучение (contrastive learning): модель сравнивает примеры структур с их текстовыми описаниями, выстраивая единое представление, аналогичное связке зрения и языка в мозге.
Вместо того чтобы полагаться только на существующие статьи, исследователи использовали синтетические нарративы — сгенерированные описания, включающие химический состав, структуру, свойства, условия обработки и потенциальные применения. Это позволило модели учиться на более широком и сбалансированном наборе данных.
Результаты: сравнение с текстовыми аналогами
В исследовании, опубликованном в Nature Communications, показано, что новая модель превосходит базовые LLM в задачах поиска материалов с заданными свойствами. Ниже приведены ключевые различия в подходах и результатах:
| Критерий | Текстовая LLM (Baseline) | Мультимодальная модель MIT |
|---|---|---|
| Входные данные | Текст научных статей | 3D-структуры + синтетические нарративы |
| Понимание геометрии | Отсутствует | Высокое (обучена на атомных связях) |
| Пример задачи | — | Поиск электролитов для твердотельных Li-ion батарей |
| Качество результата | Смещение к популярным материалам | Находит перспективные кандидаты, подтвержденные независимыми исследованиями |
Значение для индустрии
Авторы сравнивают свой подход с AlphaFold в биологии: если AlphaFold решил проблему предсказания структуры белков, то эта модель решает проблему связи структуры кристаллов с их функциональностью. Это может ускорить разработку новых материалов для энергетики, электроники и строительства.
Работа поддержана Агентством по снижению угрозы оборонной деятельности США (DTRA), DARPA и Национальным исследовательским фондом Кореи. Авторы надеются, что инструмент станет стандартом для материаловедов, позволяя «заказывать» материалы с нужными свойствами так же просто, как искать информацию в поисковике.
Источник: MIT News AI ↗