Sora от OpenAI: как работает нейросеть, создающая видео по тексту

Компания OpenAI уже успела удивить нас ChatGPT и художником DALL-E, превращающим текст в изображения. Теперь же они сделали рывок в новое измерение — буквально. Их новый инструмент, Sora, создаёт целые видео по текстовому описанию. И это меняет правила игры.

Что может Sora?

Представьте, что вы даёте машине простую инструкцию вроде «морская выдра играет с ракушками на дне океана». А она возвращает вам минутный ролик, где каждая деталь — от движения воды до шерсти животного — выглядит абсолютно естественно. В основе Sora лежат наработки DALL-E и так называемая диффузионная модель, которая превращает хаотический шум в упорядоченное изображение или видео. Сложно? Суть проще: вы пишете запрос — она делает видео. Пока длительностью до минуты.

Секрет революционности — в слиянии двух технологий. С одной стороны, подход как у DALL-E для работы с изображениями. С другой — принципы, подобные GPT, для понимания текста и контекста. Чтобы научить модель «думать» о видео, как о словах, ролики разбиваются на множество мелких фрагментов-патчей. Это и позволяет достичь феноменального реализма.

Хотя сама модель пока доступна лишь узкому кругу тестировщиков, её творения уже вовсю гуляют по сети. И они поражают. Sora генерирует видео в любом формате — от горизонтального Full HD до вертикального для смартфонов. Можно даже сделать быстрый предпросмотр в низком качестве перед финальной генерацией. Она справляется с самыми разными сценами: от исторических реконструкций до сложнейшей анимации движений живых существ. Чувствуется, что это не просто склейка кадров, а некое понимание динамики.

Почему это прорыв?

Но самое главное — не простое комбинирование старых технологий. Ключевая особенность Sora в том, что она, кажется, усвоила базовые законы физики. Вам не нужно дотошно описывать, как рассыпается песок или как свет отражается в луже. Модель будто «знает» это по умолчанию. Разработчики даже назвали свою презентацию «Модели генерации видео как симуляторы мира». Не слишком ли громко? Возможно. Но это заставляет задуматься.

Дальнейшее развитие подобных систем может привести нас к созданию мощнейших симуляторов — целых миров со своей физикой и обитателями. Sora уже умеет моделировать простые причинно-следственные связи: художник оставляет мазок на холсте, и он остаётся там, человек откусывает бургер, и на нём появляется след от укуса. Это уже не статичная картинка, это маленькая история. Интересно, где предел этой «осмысленности»?

Конечно, судить по промороликам рано. Компания показала нам тщательно отобранные результаты, но не раскрыла полностью внутреннее устройство модели. Нам ещё предстоит узнать о её настоящих ограничениях и слабых местах.

В чём главная опасность?

И вот здесь мы подходим к самой щекотливой теме. Главная проблема Sora как раз в её силе — в невероятной реалистичности. Видео, которые она создаёт, легко принять за съёмки настоящей камеры. Это открывает ящик Пандоры для создания дезинформации и фейков невиданного ранее масштаба.

Разработчики это понимают. Они уже консультируются с экспертами по борьбе с misinformation, чтобы заранее продумать меры безопасности. Вполне вероятно, что в будущем все сгенерированные Sora ролики будут нести невидимые или видимые метки, указывающие на их искусственное происхождение. Вопрос в том, насколько это будет эффективно. Ведь мир только учится жить с глубокими подделками, а технология уже делает новый рывок. Готовы ли мы к этому?