Концепция «Глаз Gemini» для автомобилей
Компания Google представила новую экспериментальную возможность модели Gemini, которая расширяет мультимодальные способности ИИ за пределы смартфонов. Теперь ассистент может использовать фронтальную камеру автомобиля для анализа окружающей среды и ответов на вопросы пользователя о том, что происходит за окном. Инициатива демонстрируется в рамках платформы Google Built-in.
Демонстрация на Volvo EX60
Тестирование прошло на прототипе Volvo EX60 — автомобиле, который еще не поступил в серийное производство. Именно эта модель стала первой и на данный момент единственной, поддерживающей данную функцию. Презентацию провел Самир Самат (President of Android at Google) в диалоге с Логаном Килпатриком (Product Lead for Google AI Studio). На момент демонстрации Volvo EX60 была эксклюзивной платформой для этого эксперимента, и планы по расширению поддержки других марок пока не озвучены.
Принцип работы и конфиденциальность
Ключевой особенностью системы является строгий подход к приватности. Gemini не осуществляет непрерывный мониторинг дороги. Доступ к камере предоставляется только в момент явного запроса пользователя. Алгоритм работает по принципу «запрос — анализ — ответ — отключение доступа»:
- Пользователь задает вопрос через голосовой интерфейс.
- Камера передает кадр в модель Gemini.
- ИИ обрабатывает изображение и дает устный ответ.
- Доступ к камере немедленно закрывается.
Результаты распознавания
Несмотря на задержку при подключении потока данных (отличную от мгновенного отклика в мобильном Gemini Live), система продемонстрировала высокую точность визуального понимания. В ходе теста в кампусе Google в Маунтин-Вью ИИ успешно идентифицировал несколько объектов:
| Объект | Действие Gemini |
|---|---|
| The Orb | Корректно опознал публичную арт-инсталляцию |
| Gradient Canopy | Описал детали солнечной крыши |
| Shoreline Amphitheater | Рассказал об архитектурной истории здания |
Практическое применение
Google рассматривает сценарии, где визуальный контекст критически важен. Например, ассистент сможет помогать водителям расшифровывать дорожные знаки на иностранных языках во время путешествий. В отличие от навигационных систем, опирающихся на карты, Gemini опирается на реальный визуальный опыт автомобиля в данный момент времени.
Источник: Androidauthority ↗