Разработчики выпустили контроллер OminiControl для диффузионных моделей-трансформеров. С её помощью пользователи могут перемещать объекты с фотографии на сгенерированное изображение.OminiControl работает в двух режимах:Генерация. В этом режиме на вход нейросети надо передать фотографию исходного объекта и текстом описать желаемый результат.
После чего нейросеть сгенерирует изображение, на котором будет находиться исходный объект.Заполнение маски. Пользователь может закрыть маской фрагменты исходного изображения и задать текстовый запрос для генерации.
После этого нейросеть заполнит маску, учитывая промпт.Пока нейросеть может генерировать изображения с разрешением 512 × 512 пикселей.
Читать на habr.com