Гибридная модель искусственного интеллекта создает плавные видеоролики высокого качества за считанные секунды
Инструмент генеративного ИИ CausVid использует диффузионную модель для обучения авторегрессионной (пошаговой) системы быстрому созданию стабильных видео высокого разрешения.
Ученые из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) и Adobe Research разработали гибридный подход под названием «CausVid» для создания видео за считанные секунды. Подобно сообразительному ученику, который учится у опытного учителя, модель диффузии полной последовательности обучает авторегрессионную систему быстро предсказывать следующий кадр, обеспечивая при этом высокое качество. Затем обучаемая модель CausVid может генерировать клипы на основе простого текстового запроса, превращая фотографию в движущуюся сцену, расширяя видео или изменяя свои творения с помощью новых входных данных в процессе создания.
Этот динамичный инструмент позволяет быстро создавать интерактивный контент, сокращая 50-этапный процесс до нескольких действий. С его помощью можно создавать множество креативных и художественных сцен, например, бумажный самолетик, превращающийся в лебедя, шерстистых мамонтов, идущих по снегу, или ребенка, прыгающего в лужу. Пользователи также могут ввести начальную команду, например, «сгенерировать человека, переходящего улицу», а затем ввести дополнительные данные, чтобы добавить в сцену новые элементы, например, «он пишет в блокноте, когда доходит до противоположного тротуара».
Источник: MIT
