Объясняю · · 3 мин чтения

Как нейросеть «рисует» видео: диффузия на пальцах

Вы пишете нейросети: «рыжий кот идёт по снегу» — и получаете готовый ролик. Кажется, будто внутри сидит очень быстрый художник. На деле там происходит кое-что более странное: картинку никто не рисует. Она проявляется из шума.

Сначала учимся портить

Метод называется диффузией, и начинается он с порчи.

Берут обычную фотографию и добавляют на неё немного «снега» — как помехи на старом телевизоре. Потом ещё немного. И ещё. Через много шагов от снимка остаётся ровная серая рябь, в которой ничего не разобрать.

Нейросети показывают этот процесс на огромном количестве картинок и дают одно задание: посмотри на зашумлённое изображение и угадай, какой именно шум на него наложили.

Хитрость в том, что тот, кто умеет угадывать шум, умеет его и вычитать.

Потом запускаем наоборот

Когда вы просите картинку, модель начинает с чистого шума — с той самой ряби. И делает шаг: убирает чуть-чуть помех. Проступают смутные пятна. Ещё шаг — появляются контуры. Ещё — детали.

Больше всего это похоже на утренний туман в горах. Сначала виден только силуэт хребта. Потом проступают дома. Потом окна в домах. Пейзаж никто не рисовал — он просто перестал быть скрытым.

Но откуда в тумане взялся именно кот? Из вашего текста. Описание работает как компас: на каждом шаге модель убирает шум так, чтобы результат становился чуть больше похож на «рыжего кота на снегу». Начни она с другого шума, кот получится другой — поэтому два запуска с одной и той же фразой дают разные картинки.

А что с видео

Видео — это много кадров подряд. Если проявлять каждый кадр отдельно, кот в каждом получится немного другим, и ролик замерцает, как испорченная плёнка.

Поэтому видеомодели проявляют все кадры вместе, одним блоком, и следят не только за тем, что на картинке, но и за тем, как соседние кадры связаны между собой. Лапа, поднятая в одном кадре, должна опуститься в следующем, а не исчезнуть.

Отсюда же и знакомые странности: лишние пальцы, предметы, которые пропадают за спиной героя, лицо, которое к концу ролика «уплывает». Модель не знает физику. Она знает, как обычно выглядит видео, — и чем длиннее ролик, тем труднее ей удержать всё в согласии.

Как с этим работают на практике

Я делаю с помощью ИИ короткие 3D-мультфильмы для Reels — их можно посмотреть в Instagram @yerevanyan.mult. И главный приём там прямо следует из того, как устроена диффузия.

Я не прошу ролик по одному тексту. Сначала добиваюсь удачного неподвижного кадра с героем, а потом прошу модель его «оживить». Так ей не приходится придумывать персонажа заново: остаётся проявить только движение. И клипы делаю короткими, по несколько секунд, — пока туман не успел сгуститься обратно.

Что запомнить

Нейросеть не рисует видео, как художник. Она начинает с шума и шаг за шагом убирает лишнее, сверяясь с вашим описанием, — как скульптор, который отсекает от камня всё ненужное.

Отсюда и сила, и слабость: картинка выходит правдоподобной, но за длинные сцены и точную физику пока отвечает человек, который отбирает удачные дубли.

Автор — Геворг Оганнисян, ML-инженер из Еревана. Пишу об ИИ так, чтобы было понятно без словаря. Вопросы и темы — в Telegram: @hovhannisyan77
← Все статьи