Для iPhone 17 Pro выпустили локальную ИИ-модель с 27 млрд параметров
Стартап PrismML выпустил новую языковую модель Bonsai 27B, которая может локально работать на iPhone, iPad и Mac. Об этом пишет 9to5Mac.
Компания привлекла внимание после публикации The Information, где сообщалось о переговорах PrismML с Apple по возможному использованию ее технологий. В материале также упоминалась модель Bonsai 27B, релиз которой был запланирован на июль.
По данным разработчиков, новая модель показывает скорость до 163 токенов в секунду в 1-битном режиме и до 134 токенов в секунду в тернарном режиме на видеокарте NVIDIA GeForce RTX 5090. На компьютере с чипом M5 Max индикаторы достигают 87 и 58 токенов в секунду соответственно.
Устройство работает на продукциях Apple через фреймворк MLX, а на компьютерах с графическими процессорами NVIDIA через CUDA. Исходные веса опубликованы под лицензией Apache 2.0, а разработчикам доступен временный бесплатный API для тестирования.
В чем уникальность и зачем это нужно?
Главная особенность Bonsai 27B в том, что модель можно запускать прямо на мобильных устройствах, без обращения к облачным серверам. Смартфоны имеют серьезные ограничения по памяти: даже iPhone с 12 ГБ оперативной памяти может выделить для работы модели около 6 ГБ, поскольку остальные ресурсы нужны для кэша и других процессов. Версия Bonsai 27B весит около 4 ГБ и, по словам разработчиков, стала первой моделью такого класса (27 млрд параметров), которая помещается на смартфон с запасом ресурсов.
Это важно, потому что локальный запуск модели дает более высокую скорость отклика, работу без интернета и больше приватности, ведь данные не уходят на сторонние серверы. Именно такие способы интересуют Apple, которая делает ставку на ИИ прямо на устройстве, а не в облаке.
Глава PrismML Бабак Хассиби рассказал CNBC, что Apple и другие компании уже изучают технологии стартапа, оценивая скорость работы, энергоэффективность и производительность моделей на устройствах. При этом он отметил, что переговоры находятся на ранней стадии и пока неизвестно, к чему они приведут.