ИА AmurMedia в MAX: оперативные новости, фото и видео
Пока вы спали: встреча лидеров, комнаты без связи, слово года, и чем удивили наггетсы
19 ноября в календаре: Международный мужской день и день преподавателя высшей школы
Утро в Хабаровске
Итоги дня: смена перевозчика, снегопад и метель, дуэль оркестров
Выездная регистрация домашних животных пройдет в Хабаровске
В Комсомольске-на-Амуре завершена запланированная модернизация автобусных павильонов
Авито передал "ЛизаАлерт" восемь автомобилей для поиска пропавших людей
Благодаря нацпроекту Президента обновлены дороги к малым населённым пунктам Хабаровского края
Рыбаки и власть строят единый фронт против "криминальной" икры в России
СберСтрахование: россияне все чаще начали получать мгновенные выплаты по ОСАГО
Сугробы не помеха: в Хабаровском крае боевую технику проверяют на зимнем бездорожье
Штормовой ветер и сильные снегопады ожидаются в шести районах Хабаровского края
Хабаровчан просят не паниковать из-за сообщений при оплате картами "Мир"

Сбер представил модель для генерации изображений по тексту на разных языках Kandinsky 2.0

Нейросеть разработали и обучили исследователи Sber AI при партнёрской поддержке ученых из Института искусственного интеллекта AIRI
Общество

На международной конференции по искусственному интеллекту (ИИ) Artificial Intelligence Journey (16+) Сбер представил Kandinsky 2.0 — российскую мультиязычную диффузионную модель для генерации изображений по текстовому описанию с 2 млрд параметров, сообщает пресс-служба Сбера.

Нейросеть разработали и обучили исследователи Sber AI при партнёрской поддержке ученых из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и SberDevices из 1 млрд пар "текст — изображение". Увидеть, как она рисует, можно на сайте FusionBrain, а также при помощи команды "Запусти художника" на умных устройствах Sber и в мобильном приложении Салют (6+).

FusionBrain.ai — открытый портал для демонстрации моделей, приближающих мир к созданию AGI (Artificial General Intelligence, сильный искусственный интеллект) от Института AIRI, который Сбер решил поддержать, выложив свою модель на ресурсе. В будущем на сайте FusionBrain.ai будут доступны как генеративные, так и передовые мультимодальные и мультизадачные модели.

В Kandinsky 2.0 разработчики использовали набирающий популярность диффузионный подход, поскольку модели подобной архитектуры, в отличие от трансформеров, дают хорошие результаты почти во всех задачах генерации мультимедийного контента по текстовому описанию (синтез изображений, видео, 3D и аудио).

Модель способна одинаково быстро и качественно обрабатывать запросы на 101 языке. Среди них как распространённые русский и английский, так и более редкие, например, монгольский. Система поймёт задачу, даже если в одном запросе будут слова на разных языках.

Kandinsky 2.0 отличается от своего предшественника более сочной, глубокой и реалистичной картинкой и расширенными возможностями. На сайте FusionBrain изображения можно генерировать в 20 различных стилях, среди которых ренессанс, классицизм, мультипликация, Новый год и даже хохлома. В модели также реализованы функции inpainting (замена любой части изображения и любого объекта на изображении на сгенерированные нейросетью) и outpainting (возможность дорисовывать готовое изображение и фон вокруг картинки).

Кроме того, в Kandinsky 2.0 пользователи могут оценить, как одинаковые с точки зрения смысла лингвистические конструкции и понятия отличаются в зависимости от языка и культурной окраски. Например, если сформулировать запрос "национальное блюдо" на русском языке, нейросеть чаще всего рисует щи, а на японском это будет мисо суп и суши.

Александр Ведяхин, первый заместитель председателя правления Сбербанка:

"Мы продолжаем развивать решения для автоматической генерации изображений по описанию на естественном языке — так называемый креативный ИИ. Kandinsky 2.0, который пришёл на смену первой версии модели, — прорыв в этой сфере. Наша модель позволяет за несколько секунд получить уникальную картинку под конкретную задачу и свободно распространять её без лицензии, что очень актуально для бизнеса. Генеративные модели развиваются очень быстро: ещё четыре года назад даже постановку такой задачи сложно было представить, а сегодня мы имеем работающую модель, которая понимает 101 язык и рисует реалистичные изображения, которые зачастую неотличимы от тех, что создают люди".

16842
77
31
поделиться