Sora负责人揭秘技术探索之路：成功的研究者往往没有传统研究训练

2024年1月，Sora的横空出世为多模态赛道注入强劲动力，其视频生成能力不仅将时长提升至60秒，更促使AI行业从大语言模型转向原生多模态模型的探索，开启了通往AGI的新征程。

OpenAI推出的视频模型Sora，不仅将视频生成时长从10秒拉长至60秒，更推动AI行业从大语言模型训练进入新阶段：通过原生多模态模型，而非多个单模态模型拼接，加速探索通往AGI的可能性。

2024年智源大会上，智源研究院发布了原生多模态模型Emu3，能生成和理解视频，并邀请了两位Sora核心人物：Aditya Ramesh，OpenAI多模态负责人、DALL·E之父，也是Sora团队负责人之一；谢赛宁，纽约大学计算机科学助理教授，他与Sora核心成员William Peebles共同开创了Transformer与扩散模型的结合，其研究成果DiT成为Sora的核心架构。

在2024年4月的播客中，Aditya Ramesh提出，像Sora这样的模型是实现AGI的关键步骤，因为能够模拟复杂环境与世界。

在以“生成建模如何发展”的讨论中，Aditya Ramesh梳理了从DALL·E 1到Sora的视觉生成技术探索路径。他提到，视觉生成经历了手动打标签、理解语言与图像映射、从视觉中建构自然语言、从自然语言中构建视觉四个阶段。下一阶段，自然语言将建构一切模态。

在与谢赛宁的交流中，两人探讨了DiT架构对视觉建模的价值、通往AGI需要的人才、视频生成模型的应用及其训练数据来源。观点包括：语言是一切模型的支架，理论上可训练任何模态模型；随着参数规模增大，模型对语言的依赖程度降低，并开始自行解决问题。纳入在校生人才是OpenAI的招聘策略，更关注有潜力但尚未获得正式学术成绩的人才，很多成功研究者未经过传统研究正式培训，同时给予充足GPU很重要。若能提高可控性并灵活使用场景中的角色、资产等元素，视频生成模型可能成为用户界面的游戏改变者。现有互联网数据已足够，通过扩大模型规模，一旦模型成为独立的世界模拟器，即可在视频生成模型内部进行接触、模拟等操作。

以下是Aditya Ramesh和谢赛宁的对话实录，经整理编辑：

谢赛宁：我在你的X账号中看到一句话：“语言模型被高估了。”作为视觉研究出身的人，我真的很喜欢这个说法。但你认为视觉生成是通往AGI的关键道路吗？你如何看待建模人类语言与建模包含丰富感官数据的现实世界之间的关系？

Aditya Ramesh：我对此很坚信。在任何给定视频中，可以获取很多信息，且很多信息用语言难以表示。例如，从视觉中学习到的智能类型，很难仅通过学习语言来建模。所以我认为，语言将是更高阶智能系统的重要组成部分，可以推理事物。但在某一时刻，语言会被纳入视觉，这是一种更通用的界面。

谢赛宁：你提到，语言可以成为实现智能的框架。为了弥补视觉表现的不足，语言确实提供了许多先验知识。那么语言会成为一种捷径吗？你对此有什么想法？

Aditya Ramesh：我所期望的是，当用强描述性文本训练文生图模型时，它没有太多需要学习的东西。但在DALL·E 3中，在真正描述性文本以及短文本上训练模型时，短文本训练的模型性能会因更具描述性的文本训练而提高。因此，我们可以使用语言训练生成模型，帮助它们更有效训练。但随着参数规模扩大，模型对语言作为条件信息的依赖程度降低，并开始自行解决问题。

谢赛宁：我想聊聊Sora背后的天才。Bill在博士最后一年和我研究DiT，Tim在伯克利致力于长视频生成。这两位刚获得博士学位，就能产生如此影响，真是太了不起了。OpenAI的团队文化如何支持年轻研究员发挥热情和经验？

Aditya Ramesh：OpenAI的招聘策略与其他组织不同。Tim和Bill拥有博士学位和成果，但我们更关注有高潜力但尚未获得正式学术成绩的人，例如James Becker，DALL·E 3负责人之一，帮助将音频功能嵌入GPT-4o。其次，我们专注于长期研究目标，不受领域进展影响，设定足够遥远的目标，完全专注于此。最后，让每个人拥有充足GPU很重要。

谢赛宁：我注意到，和OpenAI一样，有很多非常成功的研究人员没有经历传统研究正式培训。就像现在高等教育的作用，你认为博士学位也被高估了吗？你有给想在AI领域从事职业的下一代研究人员的建议吗？

Aditya Ramesh：我认为，通过Transformer统一了可扩展的计算范式，知道如何表征数据，技术正在趋同。这会改变你在学术界追求项目的焦点，例如可解释性。现在攻读博士学位并期望获得最先进成果很难，因为所需资源比以前高得多。

谢赛宁：我知道你们有研究访问计划，为学术界提供学分用于LLM和多模型学习。我认为工业界和学术界之间建立这种合作伙伴关系的机会很多。很多人对Sora感到兴奋，但问题是我们仍无法访问。你可能看到了最近发布的同类产品，如Kling和Dream Machine。你如何看待视频生成领域的竞争？有没有Sora的最新消息？

Aditya Ramesh：我认为像Sora一样强大的视频生成系统，最关心的是安全及其对社会的影响。我们要小心确保发布模型时，不会用于虚假信息传播，同时模型行为符合期望。有竞争很好，很高兴看到其他实验室和公司发布视频生成模型，大量人用不同方法工作会激发创造力。回想DALL·E 2研究时期，Google Brain和OpenAI轮番发表论文，推动扩散模型发展。

谢赛宁：最近我参加了纽约AI电影节。我问所有艺术家和电影导演一个问题：你真正需要的视频生成模型的一个特征是什么？令人惊讶的是，答案都是一样的：更好的可控性。我想知道这是否是Sora在下一个版本也会关注的事情？通过和不同艺术家合作，你学到了什么？语言会成为创意世界更好可控性的终极媒体界面吗？

Aditya Ramesh：我认为更好的可控性和减少随机性是我们从合作者那里得到的头号功能请求。能够做到这一点，并重用以前场景中的角色、资产和其他元素将是重大变革，使视频生成模型在生产环境中变得有用。在DALL·E 1早期，我们就看到了上下文学习能力的出现，现在这些能力正在投入生产。

谢赛宁：我想问一些关于数据的问题。我知道很多Sora使用的数据来自互联网视频。为了通往AGI，像现在这样的互联网视频足以支持这个目标吗？还是需要发现新数据源，甚至不同感官媒介来帮助实现？

Aditya Ramesh：我认为现有数据可能已让我们走得很远。通过扩大模型规模，可以继续取得很大进展。一旦模型强大到成为独立的世界模拟器，就会发生很多有趣的事情，就可以开始在视频生成模型内部进行接触、模拟等操作，融合现实世界环境的所有多样化和有趣的约束，学习有趣的东西。

以下是Aditya Ramesh关于视频生成建模技术路径探索的分享，内容经整理编辑：

Aditya Ramesh：嗨，很荣幸能在这里演讲，我是OpenAI视频生成的负责人。今天我想谈谈过去几年生成建模如何发展的观察，以及我认为事情会走向何方。我想先谈一个相当古老的结果，至少在深度学习方面如此。2021年1月，我们发布了关于DALL·E 1的博客文章，这是一个大规模的自回归Transformer模型，在文本和量化图像上联合训练。我们决定这样做，是因为看到了Transformer建模语言的初步生命迹象，想知道同样技术是否能扩展到其他模式。最终效果很好，模型能输入文字并转换为量化图像补丁。

它的工作方式是给定一个语言Prompt，建模就像通用语言模型一样。我们还为图像训练了VQ-VAE编码器，图像块的嵌入被语言嵌入增强。很酷的是，我们看到了DALL·E规模增加，就像今天语言模型规模增加一样。如果训练小规模自回归图像模型，可以看到生成的图片中出现光照和反射、重复物体，以及小规模给事物上色的能力。在稍微大规模模型中，就可以绘制具有多个属性的对象、改变艺术风格。一旦规模再次过大，就可以看到文本渲染、组合泛化以及图像上下文学习的迹象。

所以我们试着做一些事情，比如对DALL·E进行雷文渐进式推理矩阵测试，这是一种视觉智商测试，模型看到网格中前八个元素，必须填写最后一个角落。我们还尝试了图像到图像的转换，给模型一张图像上半部分，要求绘制下半部分。当模型参数规模达到十亿后，测试结果开始转好。我们想知道，如果进一步扩大规模会发生什么？在DALL·E之后，我在想：这是学习智能的好方法吗？因为你正在训练一个模型来压缩视觉世界中的所有像素，这似乎是一项相当困难的任务，有很多信息需要建模。当时有些研究表明，这并非正确选择。Mark Chen之前训练了iGPT，第一个关于图像的自回归Transformer大模型。有趣的是，仅仅通过学习有效压缩图像，模型就可以学习视觉世界的底层结构，并最终获得良好图像表现。例如，增加iGPT模型参数规模时，它在ImageNet数据库探针上获得良好结果。然而，这比与DALL·E 1同期发布的CLIP效率低得多。CLIP的想法是学习文本-图像数据集之间的共有信息。你想象一个带有文本和图像的维恩图，CLIP使用对比损失来尝试学习数据集之间的共有信息，这最终比iGPT更有效地从图像中获取信息。所以当时我得出结论：DALL·E 1是一个有趣的项目，但这并非从视觉世界中提取智能并通往AGI的关键路径。

现在我将稍微谈谈CLIP如何提取文本-图像数据集之间的共有信息。CLIP包含一个图像编码器和一个文本编码器：文本编码器接收文本Prompt，图像编码器接收图像。在训练期间，CLIP模型会得到一个“图像-描述文本”数据对列表作为训练数据。文本编码器编码所有描述文本，图像编码器编码所有图像，最后对比损失优化，两个编码器从而对齐每个数据对的表征。

CLIP的发布带来了巨大范式转变，因为我们不用手动标注，而是可以利用互联网上自由格式文本，学习一个适用于所有领域的优秀分类器。比如你想对动物进行分类，你可以为想分类的动物类别构建一个Prompt列表，然后将想要分类的图像的嵌入与列表中的所有文本描述做点乘，取该点积的Softmax分数的最大值对应的类别作为分类结果。从那时起，“图像表示学习”领域开始发展。在早期，分类模型只是从图像中提取一些信息，即图像所属类别的标签。多年后，CLIP出现了，现在我们可以直接利用互联网上的文本来学习通用分类模型。紧接着，图像捕捉器也成了可扩展的视觉学习器。因此，与其使用对比损失来建模文本和图像数据集的共有信息，我们可以训练一个具有图像编码器的感知模型，利用视觉信息重建自然语言，就像语言模型一样。

看起来，随着时间的推移，视觉建模变得越来越简单。我们的问题是：随着算力预算的增加，图像表示学习最终形态会是怎样？iGPT的启示是，大规模参数的生成模型能够自动学习数据的底层结构，最终产生良好图像表示。那么“文本-图像”模型是否也有类似结果？事实上确实如此。不久前发表的论文“Your Diffusion Model is Secretly a Zero-Shot Classifier”的基本思想是，即使对给定文本描述的图像进行建模，该模型也可以转换为分类模型。它的工作方式与给定图像和描述文本的CLIP并没有太大不同，你可以使用扩散模型来计算图像与文本匹配程度的分数，只是衡量图文数据相似度的函数更为复杂。这篇论文表明，实际上稳定的扩散模型，能够获得良好的ImageNet探针测试结果。这是一个令人惊讶的结果。这样一来，我们就可以从以图像为条件预测标签的训练范式，转向以文本为条件预测图像的训练范式。但是目前还不清楚这是否有效，或者我们需要额外花费多少计算量来完成任务。

训练DALL·E 3时，我们发现，当训练文本更具描述性时，训练“文生图”生成模型的效率也会变得更高。即便文本很短，只要具有很强的描述性，训练效果也很好。这表明，我们可以使用强描述性文本作为训练框架来训练更好的无条件模型。

如图所示，第一列的图像添加了不同程度噪声，这些噪声表示建模图像的不确定信息。右边一列代表描述图片的最简单文本，比如只是描述图像中每个像素的颜色。假设基于这些图像训练一个文生图模型，由于我们可以用文本描述每个像素，所以图像没有任何不确定性，不需要深度学习模型。假设在图像中加入一点噪声，比如去掉一些表面细节和纹理，现在就有了一些不确定性，模型需要学习的东西不多，剩余的不确定性可以用一个强描述性文本来描述。假设你给图像添加大量噪声，就会存在很多不确定性。解释图像的剩余部分只需要简短的描述。当图像被添加成为纯噪声，就没有文本可以描述剩下的图像，此时任何图像都有可能。如果一个模型只是在学习将像素值转换为图像，它可能并没有真正学到任何有用的东西。如果你有更多算力，那么你可以训练一个将真正描述性的图像、真正描述性的文本翻译成图像的模型。直觉上，它可能没有学到很多东西，因为你给它的标题是如此描述性，图像中没有太多不确定性可以让它学习。如果算力更多，你可以期待这个模型可以使用更短的文字，建模没有任何条件的图像的熵。我们认为，利用高描述性文本训练，有助于在小规模模型上补充感知相关的先验。这意味着我们可以从基于描述性文本的训练，转移到短文本的训练，即便在小参数规模下，当给它描述性字幕时，它仍然可以是一个好的图像生成模型。当参数量较大时，它可以学习无法用语言轻松描述的知识，并在某种程度上填补剩余的空白部分。这表明，我们可以从训练给定图像的文本模型，切换到训练给定文本的图像模型，而且不会对计算效率造成太大影响。如果你在描述性文本上扩大模型参数，无条件建模任务的性能也会提高。

在整个探索过程中，最初我们并没有频繁使用文本，只是预测一些信息来训练图像分类器。然后我们开始在训练CLIP等图生文模型的过程中，更多地使用文本。最终我们可以通过使用高描述性文本来训练优秀的生成模型，比如DALL·E 3和Sora。最终，随着我们进一步扩展，也许语言会成为后续可以丢弃的框架，视觉世界可能是一个比文本更通用的界面。接下来，我将谈谈当我们遵循这个范式时会发生什么。我们最初从图像建模文本开始，现在我们从文本建模图像。随着我们不断增加计算，语言的作用似乎正在被纳入视觉。我们在DALL·E 1上也看到了一些有趣的东西，你可以做一些有趣的风格转移。你拿一张图片，然后使用CLIP嵌入的算法来改变图片的一些细节。通过足够参数规模的视觉上下文学习，我们在DALL·E 1上看到了一些“生命”迹象。比如，给模型一个图像的上半部分，并要求它绘制图像的下半部分，并对图像的上半部分进行一些更改。这个模型从来没有被明确训练来完成这样的任务，但在足够的参数规模下，它最终还是学会了这一点。我们感觉这可能是通往各种视觉处理任务的通用界面的途径。

现在，我们开始训练出可靠的视频生成模型。在未来，也许我们可以向模型展示我们所拥有的图片，并要求它生成视频以达到我们想要的效果。这就是我的简单观察。学习压缩一切可能是正确的方法，而语言只是使其实用的必要框架。但这还不够。我们需要其他技巧来重建我们看到的一切，以此有效地训练视频模型。语言会帮助我们到达那里，并最终被纳入视觉智能。最终，这将为我们提供一个非常通用的界面，用于模拟我们想要的任何东西。