OpenAI发布文生视频模型Sora——视频模型的奇点或许来临！！

初七啦，得开始工作了，没想到第一天就这么劲爆！

今天OpenAI迎来重大更新——发布视频模型Sora！！

官网Sora (openai.com)

说实话有点惊艳，在AI圈子里好多头部内容创作者看到都禁不住国粹了！

除了能够仅根据文本说明生成视频外（文生视频）

该模型还能够获取现有的静止图像并从中生成视频，从而准确无误地对图像内容进行动画处理，并注重小细节（图生视频）

该模型还可以拍摄现有视频并对其进行扩展或填充缺失的帧（帧填充）

目前更新只放出来了文生视频模式，并且只开放了一部分的内测，但已经激起了巨大的浪潮

1 卓越能力

1.1 60s超长时间 高度详细复杂的场景

Sora 能够生成具有多个角色、特定类型的运动以及主题和背景的准确细节的复杂场景。该模型不仅了解用户在提示中要求的内容，还了解这些内容在物理世界中的存在方式

不仅细节感拉满，而且可以达到60s！！！

如下所示提示词：

Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

提示词：一位时尚的女人走在东京的街道上，街道上到处都是温暖的发光霓虹灯和动画城市标志。她身穿黑色皮夹克，红色长裙，黑色靴子，背着一个黑色钱包。她戴着墨镜，涂着红色口红。她自信而随意地走路。街道潮湿而反光，营造出五颜六色的灯光的镜面效果。许多行人四处走动。

可以生成如下的视频

点击链接查看视频
cdn.openai.com/sora/videos/tokyo-walk.mp4

1.2 复杂的相机运动

之前如果有关注过AI视频的朋友应该了解，之前的AI视频的相机即便是固定的，一动不动的，给人一种很呆板不真实的感觉，但Sora竟然可以实现很复杂的相机运镜，完全和真实拍摄无法区分

如下提示词

Prompt: Drone view of waves crashing against the rugged cliffs along Big Sur’s garay point beach. The crashing blue waters create white-tipped waves, while the golden light of the setting sun illuminates the rocky shore. A small island with a lighthouse sits in the distance, and green shrubbery covers the cliff’s edge. The steep drop from the road down to the beach is a dramatic feat, with the cliff’s edges jutting out over the sea. This is a view that captures the raw beauty of the coast and the rugged landscape of the Pacific Coast Highway.

提示：无人机视角，海浪拍打着大苏尔加雷角海滩崎岖的悬崖。汹涌澎湃的蓝色海水掀起白色的波浪，而夕阳的金色光芒照亮了岩石海岸。远处有一个带灯塔的小岛，绿色的灌木丛覆盖着悬崖的边缘。从公路到海滩的陡峭落差是一项戏剧性的壮举，悬崖的边缘突出在海面上。这捕捉到了海岸的原始美景和太平洋海岸公路崎岖的景观。

可以生成如下的视频

点击链接查看视频
https://cdn.openai.com/sora/videos/big-sur.mp4

1.3 同一场景多个镜头

该模型对语言有深刻的理解，使其能够准确地解释提示并生成表达生动情感的引人注目的角色。Sora 还可以在单个生成的视频中创建多个镜头，以准确保留角色和视觉风格。

如下提示词

Prompt：A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors.

电影预告片，讲述了30岁的太空人戴着红色羊毛针织摩托车头盔的冒险经历，蓝天，盐沙漠，电影风格，用35毫米胶片拍摄，色彩鲜艳。

可以生成如下视频

点击链接查看视频
https://cdn.openai.com/sora/videos/mitten-astronaut.mp4

2 技术原理

Sora是扩散模型，生成一个视频通过一个静止的噪声开始，然后逐步移除噪声，同时核心架构还是用的Transformer，建立在DALLE3和GPT上

通过让模型一次看到许多帧，他们解决了一个具有挑战性的问题，即确保一个主题即使暂时离开视野也能保持不变。

他们将视频和图像表示为称为patch的较小数据单元的集合，每个patch都类似于 GPT 中的一个token。通过统一表示数据的方式，可以在比以前更广泛的视觉数据上训练扩散变压器，跨越不同的持续时间、分辨率和纵横比。

3 不足

Sora官方也谦虚的指出了自己的模型存在的不足

1. 可能难以准确模拟复杂场景的物理特性，并且可能无法理解因果关系的具体实例。例如，一个人可能会咬一口饼干，但之后，饼干可能没有咬痕。
2. 还会混淆提示的空间细节，例如，左右混淆，并且可能难以精确描述随时间推移发生的事件，例如遵循特定的摄像机轨迹。

4 安全战略

针对安全方面

Sora和Red teamers（一家专注于提高IT安全的公司）合作，建造工具来区别一个视频是否是AI生成的，也会努力避免政治类，暴力类的视频生成

并且呼吁社会各界积极反馈，避免视频模型的滥用

5 碎碎念

在Sora官网最后，Sora官方说到

Sora serves as a foundation for models that can understand and simulate the real world, a capability we believe will be an important milestone for achieving AGI.

Sora是能够理解和模拟现实世界的模型的基础，我们相信这一能力将是实现AGI的重要里程碑。

在一些AI圈子里，看到人一些人们的热烈讨论

一些人说“有生第一次觉得，AI能不能技术发展不要那么快……”

AI头部大号卡兹克也第一时间发了文章，说到“现实，不存在了”

每一次的技术的重大更新，总是惊喜，恐惧并存

但

与其恐惧

不妨告诉自己

事情变得越来有趣了！