Кот-король, гигантская утка в Бостоне и гонка дронов: как разработчики и руководители OpenAI генерируют видео в Sora
Недавно OpenAI представила нейросеть Sora — инструмент, который использует ИИ для создания роликов на основе текстового описания. Технология позволяет генерировать сложные сцены с несколькими персонажами и точной детализацией. За последние несколько дней на страницах представителей OpenAI были выложены видео, сделанные с помощью Sora, AdIndex собрал обзор таких роликов
Креативы по запросам подписчиков
Сэм Альтман, глава OpenAI, предложил пользователям соцсети X (бывшийTwitter) написать подсказки для Sora, на основе которых он будет генерироватьвидео, чтобы показать возможности ИИ-модели. Результатами он поделился на своейстранице.
Sora сгенерировала видео разных жанров — от бытовой зарисовки сприготовлением еды до гонок на другой планете.
Промт: Учебное занятие по приготовлению домашних ньокки, проводимоепожилой женщиной инфлюенсером в соцсетях на деревенской тосканской кухне скинематографическим освещением.
Промт: футуристическая гонка дронов на закате на планете Марс.
Нейросеть в кино и играх
Другие возможности технологии раскрыл Тим Брукс, член команды разработчиковOpenAI и ученый-исследователь. Он показал, как нейросеть может имитироватьигровой мир, создав короткую симуляцию геймплея Minecraft — с реалистичнымосвещением, интерфейсом и физикой из игры студии Mojang.
«Sora также может моделировать искусственные процессы – одним из примеровявляются видеоигры», — говорится встатье OpenAI. В компании отметили, что нейросеть способнаодновременно управлять виртуальным игроком в Minecraft, а также генерироватьгеймплей.
Кроме того, Sora может генерировать сцены из фильмов. Раньше другиенейросети создавали короткие видео с одним сюжетом, однако Sora научиласьвоспроизводить историю из связных между собой роликов. Они выглядят так, будтосняты с нескольких ракурсов на одной и той же улице.
Пример такого ролика привел Уильям Пиблз, разработчик OpenAI. Он выложилвидео, в котором экран разбит на пять частей — каждая из них показывает сценына заданную тему с разных ракурсов. Пиблз уточнил, что ролик не былсмонитрован: «Мы не склеивали это видео. Sora сама решила, что ей нужно пятьразных ракурсов одновременно!».
Пиблз также сгенерировал видео, ставшее вирусным, — огромного кошачьегокороля, которому поклоняются люди.
Промт: гигантский собор полностью заполнен кошками. Везде кошки, куда ниглянь. Мужчина входит в собор и кланяется гигантскому кошачьему королю,восседающему на троне.
Неоновый ИИ
Некоторые разработчики составляли более эстетичные описания для роликов.Например, Тим Брукс и Адитья Рамеш выложили на своих страницах видео сразличной флорой и фауной в неоновом стиле.
Промт: черепаха, тело которой сделано из стекла, с трещинами, заделаннымис помощью кинцуги, гуляет на закате по пляжу с черным песком.
Промт: темный неоновый тропический лес с сияющей фантастической фауной иживотными.
Недочеты нейросети
Тем не менее, несмотря на инновационную разработку, у нейросети еще естьзаметные недостатки. Это отмечает и сам глава OpenAI – Сэм Альтман. На одном изроликов, что для него сгенерировала Sora, хомяк летит на полуутке-полудраконе —в этом видео возникла проблема с направлением: герои перемещаются задомнаперед. После первого неудачного эксперимента Альтман выложил второй, указал,что он должен быть «получше».
Промт: наполовину утка, наполовину дракон летит через красный закат схомяком, одетым в приключенческое снаряжение на спине.
1 вариант:
2 вариант:
В другом видеоролике, где морские животные устроили заезд по морю навелосипедах, подписчики в комментариях отметили, что некоторые водоплавающиенарушают правила и перемещаются не на транспорте, а два дельфина и вовсе парятв воздухе.
Промт: велогонка по океану с участием разных животных в виде спортсменов,едущих на велосипедах под видом камеры дрона.
В сгенерированном видео, которое выложил Тим Брукс, гигантская игрушечнаяутка гуляет по улице Бостона. В ролике остаются неизменными предметы на заднемплане, когда перед ними перемещается объект, но есть нюанс — утка наступила начеловека, переходившего дорогу.
Промт: гигантская утка гуляет по улицам Бостона.
На своей странице в X Адитья Рамеш, разработчик Sora, поделился роликом, накотором рак с лампочкой вместо панциря перемещается по вечернему пляжу. Нонейросеть сделала ошибку: у животного не хватает одной клешни.
Промт: ночные кадры рака-отшельника, использующего лампочку накаливания вкачестве панциря.
Впрочем, российские рекламисты убеждены, что даже с учетом текущихограничений Sora будет полезна в работе на этапе презентации идей, а в будущемтехнология имеет все шансы повлиять не только на генерацию роликов, но и напроцесс закупки, размещения и автоматизации рекламы. Подробнее об этом вматериале AdIndex«Sora — видеореволюция или новая “игрушка” для креативщиков:как российские рекламисты оценили технологию».
Источник: ria novosti