ИА AmurMedia в MAX: оперативные новости, фото и видео
СберСтрахование жизни: россияне получили более 500 млрд рублей выплат за 9 месяцев
Эксперт СберСтрахования жизни рассказал о развитии инвестиционного страхования жизни и роли ИИ в нем
Итоги дня: позолотили речку, народный боец, вернут ли планетарий
Эксперт Сбера рассказал, на что обращать внимание при выборе полиса ипотечного страхования жизни
Река Хабаровского края "позолотилась"
В Хабаровске открыли новый офис ВТБ в ТЦ "Стрелка"
Новый лечебный корпус в Николаевске-на-Амуре получил лицензии по 7 ключевым направлениям
"Ростелеком" открыл в Хабаровске специализированный учебный класс для подготовки связистов
Команды Хабаровского края завоевали золото и бронзу на Всероссийском финале "Вызов Первых"
Реструктуризация кредитных карт в России стала проще для заемщиков
Хабаровский край – в числе регионов-лидеров России по росту производства молока
Директор ЧОП из Хабаровска перевел мошенникам 2 млн рублей на замену домофона
Хабаровск, которого мы не знаем: история старого подвала
Ближе к звездам: в Хабаровске в центре "Кинокосмо" появится современный планетарий
ВТБ: рынок ипотеки на ИЖС вырастет на треть

Сбер представил Kandinsky Video — нейросеть для генерации полноценного видео

Нейросеть Сбера умеет создавать 8-секундные видеоролики по самым разным темам запросов
Общество
Нашли опечатку?
Ctrl+Enter

Сбер представил нейросеть Kandinsky Video (6+) — генеративную модель для создания полноценных видеороликов по текстовому описанию. Модель генерирует видеоряд продолжительностью до восьми секунд с частотой 30 кадров в секунду. Об этом в ходе международной конференции AI Journey (16+) рассказал первый заместитель председателя правления Сбербанка Александр Ведяхин.

Архитектура Kandinsky Video состоит из двух ключевых блоков: первый отвечает за создание ключевых кадров, из которых складывается структура сюжета видео, а второй — за генерацию интерполяционных кадров, которые позволяют достичь плавности движений в финальном видео. В основе двух блоков лежит новая модель синтеза изображений по текстовым описаниям Kandinsky 3.0 (6+).

Формат сгенерированного видео представляет собой непрерывную сцену с движением как объекта, так и фона. Именно это отличает видеоролики, синтезированные моделью Kandinsky Video, от анимационных видеороликов, в которых динамика достигается за счёт моделирования пролёта камеры относительно статичной сцены. Нейросеть создаёт видеоролики с разрешением 512 х 512 пикселей и различным соотношением сторон. Модель обучена на датасете из более чем 300 тысяч пар "текст — видео". Генерация видео занимает до 3 минут.

Александр Ведяхин, первый заместитель Председателя Правления Сбербанка:

"Недавно мы обучили Kandinsky создавать анимационные видео по текстовому описанию, а уже сегодня представляем модель совершенно другого уровня — модель по генерации полноценных видеороликов по тексту. Это важный вклад в развитие российских генеративных нейросетей. У пользователей появится ещё больше возможностей для креатива и реализации своих творческих задумок любой направленности. Люди смогут создавать видеоролики абсолютно бесплатно. Наша модель, как и большинство других в линейке Сбера, будет доступна в open source. Мы верим, что искусственный интеллект сможет открыть перед людьми новые супервозможности и создать инструменты, которыми они будут пользоваться для решения своих задач".

Ранее у активных пользователей Kandinsky 2.2 в тестовом режиме появилась возможность создания анимационных видеороликов. По одному запросу можно создать видео длиной в четыре секунды с выбранным эффектом анимации, с частотой 24 кадра в секунду и разрешением 640 х 640 пикселей. Пользователи нейросети Kandinsky 3.0 также могут создавать видеоролики по текстовому описанию в режиме анимации.

Оценить возможности нейросети Kandinsky Video можно на платформе fusionbrain.ai (18+) и в Telegram-боте (18+), где можно оставить заявку на доступ.

Нейросеть разработали и обучили исследователи Sber AI при партнёрской поддержке учёных из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и компании SberDevices. В апреле 2023 года сервис на базе нейросети Kandinsky 2.1 (6+), стал одним из самых быстрорастущих в мире. Он набрал 1 млн уникальных пользователей всего за четыре дня после выхода.

16842
77
31
поделиться