Sora 对算力需求影响几何?

核心观点：

Sora算力需求将呈指数级增长，带动算力基础设施需求。北京时间2月16日凌晨，OpenAI发布了首个文生视频模型 Sora，可以用文字指令生成长达 60秒的高清流畅视频，在生成视频长度、连贯性、多镜头切换方面具备显著优势。本文基于大语言模型推导算力需求方法，对 Sora 单次训练算力需求进行推演，据相关研究推测，Sora参数规模估算在30B（待确认），如果按此参数测算，我们推演出 Sora 训练单次算力需求或可达到2.6×10^24Flops，相当于GPT-3175B的8.2倍。我们认为，目前Sora还在初级阶段，仍然存在如能以准确模拟物理运动规律及场景、混淆左右方向、混淆空间细节等，但伴随 Sora不断迭代调优，训练数据集规模增大，未来算力需求将呈现指数级爆发式增长，持续看好上游算力基础设施投资机会。

Sora 基于 DiT 架构，采用 Transformer 替换U-Net。Sora 实际上是一种基于DiT（Diffusion Transformer，扩散变换器）的模型搭建，同时采用了Diffusion与 Transformer，是一种用于扩散模型的新架构。Sora受到大语言模型的启发,用Transformer替换扩散模型中的U-Net，通过将Transformer与Diffusion结合成为一种基于扩散变换的模型 DiT，趋于标准 Transformer 架构，同时保留其可扩展性。与大语言模型将文本转换为可被理解的 token 类似，Sora 将视频转换成一系列 Patch（视觉编码块）并将其进行降维，用Patch 作为视觉图像统一表现形式，将噪声通过去噪来预测原始图像信息，进而生成视频。

. Sora实现跨越式提升，文生视频大模型开启新纪元。Sora可以将Prompt转换成长达6O 秒视频，相对于此前文生视频大模型Runway、Pika、StableVideo等提升几个级别。同时在视频分辨率以及质量方面，Sora 可以生成1080P 清晰度视频，并且能够相对完整实现对世界及物体运动规律理解及模拟，在镜头切换方面保持稳定性。此外，Sora 还支持图片格式输人、视频扩展、视频拼接等，是文生视频领域突破性技术变革。

. 投资建议：Sora 是人工智能发展进程中的“里程碑”，推动AGI时代加速到来，算力需求将持续爆发，持续看好产业链投资机会。建议重点关注国内上市公司：1、国内多模态大模型：科大讯飞、海康威视、大华股份；2、算力基础设施：工业富联、中科曙光、软通动力、神州数码、华勤技术、曙光数创、润泽科技、拓维信息；3、AI应用端：万兴科技、金山办公、超图软件、彩讯股份、拓尔思、卫宁健康、嘉和美康等。

风险提示：技术研发进度不及预期风险；供应链风险；政策推进不及预期风险；消费需求不及预期风险；行业竞争加剧风险等。

计算机行业

推荐维持评级

分析师

吴砚靖

T：（8610） 66568589

：wuyanjing@chinastock.com.cn

分析师证书编码：S0130519070001

研究助理研究助埋

胡天昊：（8610）80927637 ：hutianhao_yj@chinastock.com.cn

相对沪深300表现图 2024-3-31

资料来源：wind，中国银河证券研究院

一、Sora 大模型横空出世，AGI时代加速到来

北京时间2月16日凌晨，OpenAI发布了首个文生视频大模型 Sora，并配有48个生成案例及技术报告，能够通过自然语言指令生成长达60秒的高清流畅视频，在生成视频长度、清晰度、连贯性、多镜头切换方面都有显著提升。

图1：Sora对同类产品对比

资料来源：数字经济先锋号，中国银河证券研究院

Sora 在文生视频领遥遥领先。Sora 可以将简短文本描述转换成一分钟流畅视频，相对于Runway、Pika、StableVideo 等提升了几个代级。1）生成视频长度：Runway、Pika 等传统文生视频大模型平均时长在3-5秒，Runway 用户可以最多延长视频长度至16秒，Sora 相对传统视频生成工具提升15-20倍；2）视频质量显著提升：可生成1080P 高清视频；3）可实现多镜头切换：可以理解和模拟运动中的物理规律，可以实现复杂的运动相机模拟；4）视频连贯性与稳定性更好：在建模能力上表现更好，可以依赖关系进行建模，能初步理解及模拟物理运动规律；5）高可拓展性：支持多种数据格式输入，具备实现文生视频、图生视频、向前或向后视频扩展能力，同时支持视频连接。

表1：Sora与其他文生视频大模型能力对比

	细分能力项 Sora	其他文生视频大模型
视频基本参数	视频时长 60秒	平均3-5秒，最多可延长至16秒
视频基本参数	视频分辨率 1920 × 1080	固定尺寸，如 16:9，1:1等
视频质量	视频清晰度 1080P	upscale 后达到 4K 弱
	真实世界模拟	强
	运动相机模拟	强弱
输人类型	文本 √	√
	图片	√
	视频	√ √ √
建模能力	依赖关系进行建模强	弱
建模能力	影响世界状态	强

	人工过程（数字世界）模拟	强	弱
拓展能力	视频拓展	向前/向后	仅支持向后
拓展能力	视频连接	√	×

资料来源：CSDN，中国银河证券研究院

二、Sora 基于DiT模型搭建，更适用文生视频领域

Sora 实际上是一种基于DiT(Diffusion Transformer,扩散变换器)的模型搭建。，同时采用了Diffusion与 Transformer，是一种用于扩散模型的新架构。DiT尽可能趋于标准Transformer架构，以保留其可扩展性。

扩散模型广泛应用于视频生成领域，采用编码器-解码器架构。扩散模型是标准图像扩散架构的自然扩展，它可以从图像和视频数据中进行联合训练，可以减少小批量梯度的方差并加快优化速度，迅速取代了基于生成对抗网络（GANs）和自回归变换器的方法，成为图像生成的主导方法。

Sora 受到大语言模型的启发，用 Transformer 替换扩散模型中的 U-Net，通过将 TransformerDiffusion 结合成为一种基于扩散变换的模型DiT。

图2：DiT模块架构

资料来源：《Scalable Difusion Models with Transformers》，Willam Peebles,Saining Xie，中国银河证券研究院

Sora 将视频降维成时空Patch作为视频数据对模型进行训练。首先为了适应大模型支持的上下文长度，降低处理复杂度，类似ViT（VisionTransformer）将图像进行处理，将图像进行降维分解，这样一来可以兼容所有的数据素材（静态图像可以看成是在时间 t=0的一些列 Patch）。

Sora 采用DiT模型，通过VAE将视频压缩到Latent Space（潜在空间）中，然后将这种表现形式分解成时空Patch（视频块），相当于大语言模型中的 token。

图3：ViT模型架构

图4：将视频解码降维成Patch

资料来源：OpenAI官网，中国银河证券研究院

Sora 通过给定输入噪声及Prompt（文本提示信息），训练出的模型来预测原始的不带噪声的图像，类似于通过预测带有马赛克的原始图像，让模型去学习去除马赛克，从而达到去噪声的目的。在生成视频过程中，Sora 通过对噪声进行去噪，来预测原始 Patch，最后将图片转化为视频。

图5：给定输入噪声，Sora预测原始Patch

资料来源：OpenAI官网，中国银河证券研究院

三、Sora 算力分析框架拆解,单次训练算力需求或可达到GPT-3175B的8.2倍

通常在计算大语言模型算力需求通常与参数量及token 数量成正比，而 Sora 大模型中可以将Patch类比与大语言模型中 token，本报告基于大语言模型计算算力需求方法框架及以下三大假设，对 Sora算力需求进行分析测算。

假设一：Sora 训练数据集为60 亿张图片，分辨率为1980×1024；3500 万个视频，每个视频平均时长为30 秒，分辨率为1980×1024，帧率为60FPS。

根据阿里联合浙江大学、华中科技大学提出的文生视频模型I2VGen-XL,研究人员收集了大约 3500万单镜头文本-视频对和60亿文本-图像对来优化模型。我们暂且保守假设 Sora 训练数据集与I2VGen-XL相同，同时二维向量空间图片表示为H×W×C（其中H为长度，W为宽度，C为RGB颜色通道数，假设C=3）。

我们估算 Sora 训练数据集中视频类数据 Patch 规模=3500×10^4×60×30×3=1.89×10'11；图片类数据Patch规模=60×108×1024×1980×3=3.65×10'16；训练数据集总Patch=图片类数据Patch+视频类数据 Patch=3.65 ×10^16。

假设二：Sora中 Patch Size为 16×16，将 Patch 转化为 token。

根据谷歌论文《ANIMAGEISWORTH16×16WORDS:TRANSFORMERSFORIMAGERECOGNITIONAT SCALE》，Transformer 的输入是一个序列，对于一张图像来说如果把每个像素点当作一个 token,那就会需要相当旁大的计算量，该文则将图像划分为16×16大小的一个个Patch，然后将每个 Patch当作一个 token 组成一串序列作为 Transformer 的输入，减少了计算成本。我们假设 Patch Size 为16×16，通过将 Patch（N×P×P×C）转换为 token，N大小为H×W/（P×P），每个 token 的大小为P×P× C，P=16，通过计算得到 token=3.65×10^16/（16×16）=1.43×10^14。

图6：Tranformer 语义分割方法

资料来源：《Rethinking Semantic Segmentation froma Seq-to-Seq Perspective with Transformer》，Zhang Li,etal.，中国银河证券研究院

假设三：Sora 模型参数为 30B，训练一次所需总算力=模型参数量×token数量×3×2。

根据OpenAI 论文，T5 模型由于采用编码器-解码器模型，在向前和向后传播的过程中只有一半token处于激活状态，而BERT与GPT基于Transformer的自然语言监督模型，每个token都处于活跃状态，而每个 token 都在向前传播过程中涉及一次加法和一次乘法，论文添加一个3×的乘数来计算向后传递的计算量，故推出GPT模型所需算力：训练所需总算力=模型参数量×token 数量×3×2×训练轮数。通过上述公式我们计算得到Sora 训练一次所需算力=30×10^8×1.43×10^14×3×2=2.6×10^24Flops，约为 30093PF-days。

图7：不同模型训练一轮所需算力需求

	Total train compute	Total train compute	Training tokens	Flops			Fwd-pass flops per active param	Frac of params active for each
	Total train compute	Total train compute	Training tokens	Params (M)	(billions)	per param Mult for per token	Fwd-pass flops per active param	Frac of params active for each
Model T5-Small	(PF-days) 2.08E+00	(flops) 1.80E+20		1,000	3	bwd pass 3	per token 1	token 0.5
T5-Base	7.64E+00	6.60E+20	60 220	1,000	3	3		0.5
T5-Large	2.67E+01	2.31E+21	770	1,000	3			0.5
T5-3B	1.04E+02	9.00E+21	3,000	1,000	3	３３		0.5
T5-11B	3.82E+02	3.30E+22	11,000	1,000	3	3	1	0.5
BERT-Base	1.89E+00	1.64E+20	109	250	6	3	2	1.0
BERT-Large	6.16E+00	5.33E+20	355	250	6	3	2	1.0
RoBERTa-Base	1.74E+01	1.50E+21	125	2,000	6	3	2	1.0
RoBERTa-Large	4.93E+01	4.26E+21	355	2,000	6	3	2	1.0
GPT-3 Small	2.60E+00	2.25E+20	125	300	6	3	2	1.0
GPT-3 Medium	7.42E+00	6.41E+20	356	300	6	3	2	1.0
GPT-3 Large	1.58E+01	1.37E+21	760	300	6	3	22	1.0
GPT-3 XL	2.75E+01	2.38E+21	1,320	300	6 6	3 3		1.0
GPT-3 2.7B	5.52E+01	4.77E+21	2,650	300 300	6		2	1.0
GPT-3 6.7B	1.39E+02 2.68E+02	1.20E+22 2.31E+22	6,660 12,850	300	6	３３	22	1.0 1.0
GPT-3 13B	3.64E+03	3.14E+23	174,600	300	6	3	2	1.0
GPT-3 175B

资料来源：《LanguageModelsareFew-ShotLearners》，TomB.Brown,etal.，中国银河证券研究院

根据上述测算，基于 Sora 参数量大概在 30亿（待确认）水平，同时采用I2VGen-XL训练数据集水平进行估算，我们保守估计，Sora 训练一次所需算力或可达到2.6×10^24Flops，相当于GPT-3175B的8.2倍（测算采用参数和训练数据集规模会与实际有一定出入）。

假设四：Sora 模型训练不考虑利用及其他成本，大约需在1万张 A100 上训练 154天。

单张 A100 算力为19.5TFlops，暂时不考虑模型训练利用率及其他训练成本，如果在10000 张英伟达 A100 进行训练，所需时间=2.6× 10^24/(19.5 × 10^12× 10000)/(24× 60× 60)=154 天。

四、Sora 对算力需求将呈指数级增长

目前由于Sora还在初级阶段，训练数据集和参数规模有限，仍存在一些不足之处。对于Sora当前存在的弱点，OpenAI指出它可能难以准确模拟复杂场景的物理原理，并且可能无法理解因果关系。该模型还可能混淆提示的空间细节，例如混淆左右，并且可能难以精确描述随着时间推移发生的事件，例如遵循特定的相机轨迹。

未来训练数据集将会数以万倍的增长，模型参数量也会不段提升，目前来看 Sora训练所需算力不及GPT-4等大语言模型，伴随 Sora大模型不断迭代调优、训练数据集规模逐渐扩大，我们认为，未来Sora 所需算力将呈现指数级增长：1）短期来看模型迭代优化、训练数据集增大将快速带动训练端算力需求；2）长期来看，Sora 技术逐渐成熟带动下游 AI应用百花齐放，推理端需求将厚积薄发。有望持续带动上游算力基础设施需求爆发。

五、投资建议

Sora 是人工智能发展进程中的“里程碑”，推动AGI时代加速到来，算力需求将持续爆发，持续看好产业链投资机会：1、国内多模态大模型：科大讯飞、海康威视、大华股份；2、算力基础设施：工业富联、中科曙光、软通动力、神州数码、华勤技术、曙光数创、润泽科技、拓维信息；3、AI 应用端：万兴科技、金山办公、超图软件、彩讯股份、拓尔思、卫宁健康、嘉和美康等。

六、风险提示

技术研发进度不及预期风险；供应链风险；政策推进不及预期风险；消费需求不及预期风险；行业竞争加剧风险等。

图表目录

图1: Sora 对同类产品对比.
图2: DiT 模块架构.
图3: ViT 模型架构
图4: 将视频解码降维成 Patch. .5
图5: 给定输人噪声，Sora 预测原始 Patch. .5
图6: Tranformer 语义分割方法. .6
图7：不同模型训练一轮所需算力需求.

表格目录

表1：Sora 与其他文生视频大模型能力对比. 3

分析师承诺及简介

本人承诺以勤勉的执业态度，独立、客观地出具本报告，本报告清晰准确地反映本人的研究观点。本人薪酬的任何部分过去不曾与、现在不与、未来也将不会与本报告的具体推荐或观点直接或间接相关。

吴砚靖 TMT/科创板研究负责人

北京大学软件项目管理硕士，10年证券分析从业经验，历任中银国际证券首席分析师，国内大型知名PE机构研究部执行总经理。具备一二级市场经验，长期专注科技公司研究。

免责声明

本报告由中国银河证券股份有限公司（以下简称银河证券）向其客户提供。银河证券无需因接收人收到本报告而视其为客户。若您并非银河证券客户中的专业投资者，为保证服务质量、控制投资风险、应首先联系银河证券机构销售部门或客户经理，完成投资者适当性匹配，并充分了解该项服务的性质、特点、使用的注意事项以及若不当使用可能带来的风险或损失。

本报告所载的全部内容只提供给客户做参考之用，并不构成对客户的投资咨询建议，并非作为买卖、认购证券或其它金融工具的邀请或保证。客户不应单纯依靠本报告而取代自我独立判断。银河证券认为本报告资料来源是可靠的，所载内容及观点客观公正,但不担保其准确性或完整性。本报告所载内容反映的是银河证券在最初发表本报告日期当日的判断，银河证券可发出其它与本报告所载内容不一致或有不同结论的报告，但银河证券没有义务和责任去及时更新本报告涉及的内容并通知客户。银河证券不对因客户使用本报告而导致的损失负任何责任。

本报告可能附带其它网站的地址或超级链接，对于可能涉及的银河证券网站以外的地址或超级链接，银河证券不对其内容负责。链接网站的内容不构成本报告的任何部分，客户需自行承担浏览这些网站的费用或风险。

银河证券在法律允许的情况下可参与、投资或持有本报告涉及的证券或进行证券交易，或向本报告涉及的公司提供或争取提供包括投资银行业务在内的服务或业务支持。银河证券可能与本报告涉及的公司之间存在业务关系，并无需事先或在获得业务关系后通知客户。

银河证券已具备中国证监会批复的证券投资咨询业务资格。除非另有说明，所有本报告的版权属于银河证券。未经银河证券书面授权许可，任何机构或个人不得以任何形式转发、转载、翻版或传播本报告。特提醒公众投资者慎重使用未经授权刊载或者转发的本公司证券研究报告。

本报告版权归银河证券所有并保留最终解释权。

评级标准

评级标准		评级	说明
评级标准为报告发布日后的6到12个月行业指数（或公司股价）相对市场表现，其中：A 股市场以沪深 300 指数为基准，新三板市场以三板成指（针对协议转让标的）或三板做市指数（针对做市转让标的）为基准，北交所市场以北证50指数为基准，香港市场以摩根士丹利中国指数为基准。	行业评级	推荐：	相对基准指数涨幅10%以上
		中性：	相对基准指数涨幅在-5%～10%之间
		回避：	相对基准指数跌幅5%以上
		推荐：	相对基准指数涨幅20%以上
		公司评级	谨慎推荐：	相对基准指数涨幅在5%～20%之间
中性：			相对基准指数涨幅在-5%～5%之间
回避：			相对基准指数跌幅5%以上

联系

中国银河证券股份有限公司研究院

深圳市福田区金田路3088号中洲大厦20层

上海浦东新区富城路99号震旦大厦31层

北京市丰台区西营街8号院1号楼青海金融大厦

公司网址：www.chinastock.com.cn

机构请致电：

深广地区：程曦0755-83471683 cheng ×i_yj@chinastock.com.cn

苏一耘 0755-83479312 suyiyun_yj@chinastock.com.cn

上海地区: 陆韵如 021-60387901 luyunru-yj@chinastock.com.cn

李洋洋 021-20252671 liyangyang-yj@chinastock.com.cn

北京地区: 田薇010-80927721 tianwei@chinastock.com.cn

唐嫚羚010-80927722 tangmanling_bj@chinastock.com.cn

计算机行业：Sora对算力需求影响几何？-中国银河 听光Vic

计算机行业：Sora对算力需求影响几何？-中国银河听光Vic