ИИ-модель, обученная на тексте, довела автомобиль до окна выдачи In-N-Out

Три инженера по искусственному интеллекту из стартапа Axiom — Адитья Рамабадран, Саймон Манс и Тобиас Геслер — недавно необычным образом решили вопрос с обедом. Возле ресторана In-N-Out в районе залива Сан-Франциско они сели в Toyota Corolla 2024 года, открыли ноутбук и попросили модель GPT-6 Astra от OpenAI сесть за руль.

Интерфейс был связан с сервером, а тот — с несколькими камерами на лобовом стекле и с усилителем руля автомобиля. Водитель безопасности держал ногу над тормозом. Модель, которая обычно создаёт тексты, код и изображения, медленно, но уверенно доехала до окна выдачи заказов. По словам инженеров, это произошло сразу, без предварительного обучения такой задаче.

Физическое понимание — следующий рубеж

Самые мощные современные модели хорошо отвечают на сложные вопросы, но их навыки в основном ограничены компьютерами и интернетом. Часть исследователей ушла из крупных компаний, чтобы основать стартапы, занимающиеся физическим мышлением. Один из них — Elorian AI, генеральный директор которого Эндрю Дай ранее работал в Google DeepMind. По его мнению, улучшенное визуальное мышление откроет новые применения, например домашних роботов.

Elorian и Scale AI недавно разработали тест Humanity's Sixth Sense, измеряющий способность моделей понимать физические сцены.

Как появилась идея

Проект инженеры реализовали вне работы в Axiom. Они заметили, что модели умеют строить сложные 3D-симуляции, и задумались, поможет ли это ориентироваться в реальном мире. Сначала модели отказывались управлять машиной, но при аккуратных запросах их удавалось убедить.

Инженеры предполагают, что способность возникла благодаря масштабированию мультимодального обучения. В их тесте DrivingBench на парковке трассу прошла только Astra, причём очень медленно. Claude Fable 5.1 проехал 45% пути, а Grok — лишь 11%. Рамабадран отметил, что модели, судя по всему, приспосабливались к управлению и улучшали вождение, учась на ошибках.