С момента выхода Kandinsky 2.1 было сгенерировано уже более 10 млн изображений, а количество уникальных пользователей достигло 2 млн. Также, на прошлой неделе модель Kandinsky 2.1. попала в топ-5 трендов мировых репозиториев по версии крупнейшего веб-сервиса GitHub.

Kandinsky 2.1 способна за несколько секунд генерировать изображения по их текстовому описанию на естественном языке. Модель знает 101 язык и открывает новые возможности для творчества: может смешать несколько рисунков, дорисовать изображение, создать картину в режиме бесконечного полотна (inpainting/outpainting). Нейросеть разработали и обучили исследователи Sber AI при партнёрской поддержке учёных из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и компании SberDevices.

Нейросеть унаследовала веса предыдущей версии, обученной на один миллиард пар «текст — изображение», и была дополнительно обучена на 170 млн пар «текст — изображение» высокого разрешения. Затем она дообучалась на отдельно собранном датасете из двух миллионов пар качественных изображений. В данный сет попали картинки с описаниями в таких традиционно сложных для нейросетей областях, как тексты и лица людей. Нейросеть также была усовершенствована за счёт новой обученной модели автоэнкодера, которая используется в том числе в качестве декодера векторных представлений изображений. Это кардинально улучшило генерацию изображений в высоком разрешении: лица, сложные объекты и так далее. Благодаря этому новая модель содержит 3,3 млрд параметров вместо двух миллиардов в Kandinsky 2.0.

Сгенерировать изображение можно в Telegram-боте, на промостранице модели, на fusionbrain.ai и на платформе ML Space в хабе предобученных моделей и датасетов DataHub. Kandinsky 2.1 доступно в мобильном приложении Салют и на умных устройствах Sber при помощи команды «Запусти художника».