Amazon выпустила TorchNeuron, чтобы упростить перенос ИИ-приложений с Nvidia на чипы Trainium
Облачное подразделение Amazon, AWS, в понедельник выпустило инструмент TorchNeuron, позволяющий запускать приложения на PyTorch на чипах Trainium после смены одной строки конфигурации. Компания нацелилась на программное преимущество Nvidia в сфере ИИ.
Облачное подразделение Amazon — Amazon Web Services (AWS) — в понедельник, 19 октября, выпустило инструмент для разработчиков TorchNeuron. Он позволяет стартапам, создающим приложения с искусственным интеллектом (ИИ), легко переносить их на собственный ИИ-чип Amazon — Trainium. Тем самым компания стремится ослабить программное преимущество, которое помогло Nvidia стать выбором по умолчанию на рынке ИИ-оборудования.
Как работает инструмент
TorchNeuron работает с PyTorch — бесплатным набором инструментов с открытым кодом, который разработчики используют для создания, обучения и запуска ИИ-моделей. По словам Amazon, приложению на PyTorch достаточно изменить одну строку конфигурации, чтобы работать на Trainium, переписывать код не нужно. Компания утверждает, что около 85% ИИ-приложений написаны на PyTorch. Изначально его разработала Facebook, но с 2022 года он входит в Linux Foundation, организацию, поддерживающую проекты с открытым кодом.
Nvidia годами добивалась того, чтобы её программное обеспечение CUDA беспрепятственно поддерживало PyTorch, поэтому её оборудование оказалось встроено в инструментарий практически по умолчанию. Пользователи PyTorch также могут перенести приложения на графические процессоры AMD или чипы Apple простым изменением конфигурации.
Аргументы AWS
Amazon подчёркивает, что переход на Trainium даёт доступ ко всему её облаку. Компания считает это лучшим выбором, чем «неооблака», многие из которых связаны с Nvidia, например Coreweave, Nebius и Firmus. Колин Брейс (Colin Brace), вице-президент по программным технологиям AWS Annapurna Labs — подразделения, создающего чипы Amazon, — заявил, что один и тот же чип выполняет и обучение, и инференс, что улучшает экономику всей нагрузки. В пример он привёл Deepgram, поставщика ИИ-приложений для работы с голосом, который после перехода обрабатывает на 70% больше аудио на доллар.
Влияние на PyTorch
Amazon также заявляет, что передаст в основной проект PyTorch изменения, убирающие код, привязывающий фреймворк к конкретным чипам, чтобы сделать его более независимым от оборудования. Даст ли это разработчикам больше выбора и более доступные варианты, как обещает Amazon, или лишь добавит проблем с настройкой, пока неизвестно.
