Microsoft представила новую ИИ-модель под названием Kosmos-1. Компания считает, что алгоритм, объединяющий различные режимы ввода, открывает путь для создания искусственного интеллекта, способного выполнять общие задачи на уровне человека.

По словам разработчиков, Kosmos-1 может анализировать содержание изображений и делать подписи к ним, решать головоломки, выполнять визуальное распознавание текста, проходить тесты IQ (пока с точностью от 22 до 26 процента) и понимать инструкции на естественном языке.

Этот проект Microsoft разработала без участия OpenAI. В его основе лежит отработка естественного языка LLM. Прежде чем ИИ-модель сможет прочитать изображение, исследователям необходимо перевести его в специальную серию токенов.

Для обучения Kosmos-1 использовались данные интернета, включая выдержки из The Pile и Common Crawl.

Разработчики оценили способности модели по нескольким тестам, включая понимание и генерацию языка, классификацию текста без оптического распознавания символов, создание субтитров к изображениям, визуальный ответ на вопрос, а также классификацию изображений с нулевым кадром.

По данным Microsoft, во многих из проведенных тестов алгоритм Kosmos-1 даже превзошел современные модели, а в будущем ученые хотят добавить в него функцию синтеза речи. Компания также заявляет, что в ближайшее время планирует открыть доступ к модели для разработчиков.