2月15日,OpenAI 发布了文生视频模型 Sora,又一次震惊世界,引爆全网,其影响相当出圈,对其的讨论不光在技术圈了。
本文是对官方 Sora 介绍的梳理,能够对 Sora 有基本的认识。
Sora
Sora 是一个文生视频模型,可以根据用户输入生成长达一分钟的视频,可以遵循用户指令并保证生成视频的质量。
能力
目前发现的能力有:
- 可以生成多角色、特定运动和准确表现主体和背景的细节。
- 可以理解并表现出事物在真实物理世界的存在形式。
- 能够深入理解用户指令,能够充分解析用户指令并生动表达出来。(这个需要看官方的演示视频才能真切感受,指令一句话,但是生成视频体现出的内容很丰富)
- 在一个视频中创建多镜头,并在多个镜头中保持角色一致、视觉风格一致。
不足
目前的不足:
- 可能难以准确模拟复杂场景的物理原理
- 可能无法理解物体之间的因果关系,例如,一个人可能咬了一口饼干,但之后饼干可能没有咬痕
- 可能会混淆提示的空间信息,例如混淆左右
- 可能难以准确表现随着时间发生的事件,例如遵循指定的相机轨迹
相关技术点
对技术介绍较为浅显,实现方式都不清楚,当前仅作为了解即可,详细情况可以去看官方的技术报告
- Sora 是扩散模型。
- Sora 可以生成视频,或者在原有视频后面扩展。
- 让模型一次进行多帧预测,从而让视频中的主体保持一致,即使短暂离开视频,后面再次出现时与之前一样。(问题:什么是多帧预测?如何实现的?)
- Sora 使用 Transformer 架构。(问题:扩展模型和Transformer是什么关系?)
- 将视频和图像作为较小数据单元的集合,这个小的数据单元叫做 patch,每个 patch 和 GPT 中的 token 类似。(问题:patch 中的视频和图像通过什么形式表现的呢?一个patch有多少数据量呢?)
- 通过统一的数据表现形式,可以训练不同时长、分辨率和纵横比的视频,因此训练数据更为广泛。(问题:如何实现统一表现的呢?)
- Sora 建立在 DALL·E 和 GPT 模型的研究之上。Sora 使用了 DALL·E 3 的重述技术(recaptioning technique),通过为视觉训练数据生成详尽的描述性文字说明,大幅提升了模型对用户在视频生成中文字指令的理解和执行能力,从而能够忠实地实现用户指令的意图。
- Sora 可以根据指定的静态图片生成视频,扩展视频,视频补帧。
影响和意义
OpenAI 官方认为:
Sora 作为能够理解和模拟现实世界的基础模型,这一能力将是实现 AGI 道路上的重要里程碑。