На iPhone 17 Pro умудрились запустить гигантскую нейросеть на 400 млрд параметров: как это работает
Разработчики из проекта Anemll совершили, казалось бы, невозможное — они смогли запустить локально на смартфоне iPhone 17 Pro полноценную языковую модель Flash-MoE с 400 миллиардами параметров. И хотя скорость генерации текста пока катастрофически низкая, сам факт работы столь огромной нейросети прямо "в кармане" без интернета впечатляет.
Как обманули нехватку памяти?
Главная проблема заключалась в железе. Даже в сильно сжатом виде такая гигантская нейросеть требует как минимум 200 ГБ оперативной памяти. У нового флагмана от Apple, напомним, на борту всего 12 ГБ ОЗУ.
Чтобы обойти это физическое ограничение, разработчики пошли на хитрость. Вместо того чтобы пытаться загрузить всю модель (LLM) в оперативку, они заставили смартфон транслировать данные напрямую со встроенного SSD-накопителя на графический процессор (GPU).
Кроме того, помогла сама архитектура нейросети — MoE (Mixture-of-Experts). Это значит, что для генерации каждого конкретного слова алгоритму нужна не вся база данных, а лишь определенная часть из этих 400 миллиардов параметров.
Одно слово в две секунды и удар по батарее
Конечно, о комфортном использовании такого умного ассистента речи пока не идет. Со всеми программными фокусами iPhone 17 Pro смог выдавать скорость лишь в 0,6 токена в секунду — то есть смартфон «думает» над одним словом около двух секунд.
Также разработчики честно признаются, что этот экстремальный сценарий работы имеет серьезные минусы:
- колоссальная и непрерывная нагрузка на аккумулятор;
- быстрый износ встроенного SSD-диска из-за постоянного чтения огромных массивов данных.
Тем не менее, этот смелый эксперимент наглядно демонстрирует невероятную вычислительную мощность современных мобильных чипов. Возможно, уже через пару поколений смартфонов запуск тяжелых локальных нейросетей станет для нас обыденностью.
Кстати, если вы задумываетесь об обновлении гаджета, напомним: ранее Today.kg сообщал, что на рынке Кыргызстана заметно подешевели iPhone прошлых и актуальных линеек.