Разработчики Runway представили модель машинного обучения Gen-3 Alpha, предназначенную для генерации коротких видео. В блоге компании отметили, что обновлённая нейросеть лучше справляется с обработкой сложных запросов и более точно изображает движение в кадре.Модель обучали на изображениях и видеороликах, данные для обучения сопровождали аннотациями с кратким описанием происходящего.
Благодаря этому пользователи могут генерировать ролики в режимах Text-to-Video, Text-to-Image и Image-to-Video. Кроме того, доступны дополнительные инструменты для редактирования:Motion Brush. Кисть для выделения объектов на изображении, которые нейросеть анимирует.Advanced Camera Controls. Позволяет настраивать положение камеры и получать эффект прохода кинокамеры.Director Mode. Специальный интерфейс для удобного управления параметрами генерации и моментального просмотра результата с возможностью редактирования.Разработчики проекта подчеркнули, что нейросеть Gen-3 Alpha снабжена системой модерации визуального контента и соответствует обновлённым внутренним правилам безопасности.
Это сделано для предотвращения случаев генерации противоправного контента.Ещё одной особенностью обновления стала функция генерации реалистичных людей, поддерживающая широкий спектр передаваемых эмоций и движений.Вместе с моделью машинного обучения Runway предлагает услуги по интеграции и файнтюнингу.