证券研究报告行业深度报告

多模态大模型技术演进及研究框架

分析师：阎贵成

yanguicheng@csc.com.cn

SAC编号：S1440518040002

SFC 中央编号：BNS315

分析师：金戈

jinge@csc.com.cn

SAC编号：S1440517110001

SFC 中央编号：BPD352

分析师：于芳博yufangbo@csc.com.cnSAC编号：S1440522030001

发布日期：2023年3月18日

群内每日免费分享5份+最新资料

300T网盘资源+40万份行业报告

为您的创业、职场、商业、投资、亲子、网赚、艺术、健身、心理、个人成长 …… 全面赋能！

关注公众号获取更多资料

添加微信：xxyg_wei

备注“入群”

立刻免费领取

200套知识地图+最新研报

致终身学习者社群

行业报告/思维导图/电子书/资讯情报

收钱文案、增长黑客、产品运营、品牌企划、营销战略、办公软件、会计财务、广告设计、摄影修图、视频剪辑、直播带货、电商运营、投资理财、汽车房产、餐饮烹饪、职场经验、演讲口才、风水命理、心理思维、恋爱情趣、美妆护肤、健身瘦身、格斗搏击、漫画手绘、声乐训练、自媒体打造、效率软件工具、游戏影音……

扫码先加好友，以备不时之需

核心观点

• 核心观点：Transformer颠覆了传统深度学习模型，但仅限于文本，ViT打通了Transformer与CV领域的壁垒， BEiT模型将生成式预训练引入CV领域，基于ViT的多模态模型涌现。多模态已经在多个领域中得到广泛应用，如虚拟人、智能座舱、机器人等，各式应用持续推动多模态模型的演进。近期OpenAI发布能处理图像和文本的多模态模型GPT-4，引发关注，随着底座模型推出，上层应用预计将会涌现，催生巨大商业市场，我们建议关注。

• ViT打通了Transformer与CV领域的壁垒， BEiT模型将生成式预训练引入CV领域。Transformer的出现颠覆传统深度学习模型，BERT等证明了Transformer在NLP领域的优秀表现。然而传统的Transformer模型只适用于单模态文本，ViT模型将patch embedding引入Transformer，打通了Transformer与CV领域的壁垒。以ViT为基础的多模态模型如雨后春笋般涌现，以文图多模态为主，视频领域也产生了许多基于ViT的模型。生成式预训练被证明在自然语言处理领域有着广泛的应用，BEiT模型将生成式预训练引入CV领域，实现了CV领域大规模自监督预训练。

多模态发展经历五个阶段，包括行为时代、计算时代、交互时代、深度学习时代和大模型时代。多模态交互、感知、内容分发等应用已涉及多个方面，包括多模态检索、虚拟人、智能人、智能座舱、语音助手等。扩散模型等和多模态模型的结合催生了文生图任务的火爆。各式多模态场景下的应用持续推动多模态模型的演进。

多模态预训练大模型核心要素包括：对图文编码、设置学习目标、模型结构、模态融合等。多模态预训练模型首先要将图文进行编码，文字端有成熟的BERT等模型进行处理，图像特征基于Patch提取更加高效。学习目标是多模态预训练大模型重要一环，包括图文对比、编码语言模型、图文匹配等，模型可以使用不同的学习目标产生不同学习效果。多模态预训练大模型结果主要分为encoder-only和encoder-decoder，常见的是encoder-only模型，用于图文检索等任务，而后者适用于生成任务。根据模态融合方式不同，又可以分为fusion encoder和dual encoder模型，前者通过混合方式对模态进行处理，能够学习到不同模态之间的隐藏的知识，适合推理，后者分别对模态进行处理，适合检索等任务。

多模态预训练大模型未来将更加统一。虽然BEiT-3等统一模型将各种任务统一起来，但实际上仅仅是将几个任务的模块累加起来得到的，并非真正意义上的“统一”。未来，以微软发布的KOSMOS-1和谷歌发布的PaLM-E，将不同模态统一编码为文本模式或者使用通才模型统一下游任务使多模态预训练大模型走向统一。

• 多模态大模型正处于蓬勃发展阶段，随着底座模型的推出，上层应用预计将会涌现，催生巨大商业市场，我们建议关注，尤其关注当前多模态大模型的推出情况。中信建投证券中信建投证券

概述总括

技术奇点

多模态大模型的技术奇点在于：
1、BERT等模型证明了Transformer在NLP领域性能好，并且对于数据量、模型大小而言未见上限；
2、ViT模型将Transformer模型迁移到CV领域，让Transformer能够处理图像；3、BEiT将生成式预训练从NLP迁移到CV，图像大规模自监督学习成为可能。4、扩散模型与多模态大模型结合，推动文生图领域发展。

Transformer

处理图像

Vision Transformer

生成式预训练

BEiT

扩散模型

1、以BERT为主的Transformer模型取得很好的效果，但是仅限于文本领域；
2、Transformer中自注意力机制和前向传播网络权重共享适合于多模态模型。
1、将图片patch化，解决了Transformer不能应用于图像领域问题；
2、patch embedding提取图像特征高效；
3、基于ViT模型衍生了视频Transformer相关模型。
1、将生成式预训练MLM方法从NLP迁移至CV，实现CV大规模自监督预训练；
2、统一多模态大模型BEiT-3前身。

与CLIP结合，衍生多个文图生成模型，文图生成领域火爆

应用催化

各式多模态场景下的应用持续推动多模态模型的演进

多模态检索

虚拟人/智能助理

智能家居

机器人技术

机器翻译

正券ITIES

1.1 多模态表示包含两个或两个以上事物表现形式

• 模态是事物的一种表现形式，多模态通常包含两个或者两个以上的模态形式，是从多个视角出发对事物进行描述。生活中常见多模态表示，例如传感器的数据不仅仅包含文字、图像，还可以包括与之匹配的温度、深度信息等。

• 使用多模态数据能够使得事物呈现更加立体、全面，多模态研究成为当前研究重要方面，在情感分析、机器翻译、自然语言处理和生物医药前沿方向取得重大突破。

图表：利用多模数据能有助于学习

1.2 多模态发展主要经历五个时代

图表：多模态模型发展的五个阶段

1.3 Transformer颠覆传统模型，但限于单模态领域

• 2017年Transformer被提出，颠覆了传统的深度学习模型，在机器翻译任务上实现了最好性能。Transformer在大规模语料库上进行自监督预训练，然后在下游任务进行微调受到人们的关注，许多预训练大模型都是遵守这一范式提出，例如BERT、GPT等。

• 虽然基于Transformer的大模型都取得了很好的效果，但还是限于单一模态（文本）上，无法将其self-attention中良好的泛化能力迁移到其他模态（图像、视频等）中。Transformer不能迁移图像领域的主要原因在于输入长度限制，以BERT为例，其输入数据的长度只能支持512，而对于像素为224*224的图片来讲，其输入远大于512。

图表：Transformer基本架构

1.4 ViT的出现打通了CV和NLP之间壁垒，推动多模态演进

Transformer （Self-attention）在文本领域优秀的表现吸引着计算机视觉研究者，许多人开始将Transformer机制引入到计算机视觉。

Transformer限制在于其输入数据大小，需要考虑输入策略。谷歌借鉴前人的思想，在强大的算力资源加持下，提出ViT模型。

• ViT模型通过将图片进行切割成一个个patch（原文将一张图片切割成16个patch），对patch进行处理，通过线性映射，变成图表：ViT基本架构Transformer可接受的输入，打通了CV和NLP之间的壁垒。

ViT将图片的2D信息，通过切割，转化为类似文本的1D信息。

1.5 ViT中的Patch embedding在提取视觉特征方面效率优势明显

ViT不仅能够让Transformer能够对图像进行处理，而且ViT图像特征提取策略相较于之前的方式效率更高。

• 如左图，虚线框内是三种视觉提取方式，分别为基于Region、基于Grid和ViT中线性映射方法进行视觉特征提取。在ViT之前，视觉算法中的视觉特征多基于Region提取，大多会存在一个目标检测器，使用目标检测方法提取视觉特征。ViT在预训练阶段舍弃了目标检测器，使用基于Patch的视觉特征，几乎只相当于一个线性embedding，降低了运算复杂度。

• 如右图所示，ViLT多模态模型中在视觉特征提取方面使用了Patch embedding方法，实现了运行效率的大大提升，在特征提取阶段ViLT-B/32的视觉特征提取阶段仅用0.4ms，远高于Region（885ms）和Grid（45ms）方法。

图表：ViLT模型使用Patch embedding提取视觉特征并取得很好效率

1.6 基于Vision Transformer，Video Transformer模型出现

• 1、视频领域基于ViT模型推出各类Video Transformer。视频是一个典型的多模态形式，里面包含图像、声音、文字等。

• 2、在ViT之前，视频方面的任务，如视频理解等，基本是通过3D卷积网络展开的。借鉴ViT思想，许多Video Transformer被提出来，其中包括TimeSformer， TimeSformer将每一帧视频抽象成图像，并与其前一帧和后一帧相结合进行运算。与3D卷积神经网络（CNN）相比，TimeSformer 的训练速度大约是其4倍，而推断所需的计算量不足其十分之一。TimeSformer 的高效让在高空间分辨率（例如高达 560x560 像素的帧）和长视频（包括高达 96 帧）上训练模型成为可能。

图表：自注意力机制在视频领域应用机制
图表：自注意力机制在视频领域应用详情

1.7 Transformer权重共享决定其适合多模态

• Transformer存在权重共享，模型内部的某些模块可以共享权重参数。Transformer的权重共享主要是由于其自注意力模块和前向传播网络都和输入序列长度无关。

• 这种权重共享理念同样适合用于多模态模型中。例如，图文多模态中，图像训练得到的权重参数可以用于训练文本，结果依然有效，甚至不用fine-tune。

• 许多多模态模型都借鉴了Transformer里面的权重共享理念，典型的案例包括VLMo模型，该模型首先在BEiT中使用大规模纯图像数据预训练视觉网络和自注意力模块，然后冻结视觉网络和自注意力模块，通过对大量纯文本数据进行建模训练语言网络，最后使用视觉-语言预训练整个模型。

图表：VLMo预训练阶段

1.8 BEiT模型的出现将生成式预训练从NLP迁移到CV上

• 生成式预训练是自监督学习重要方法和训练目标，生成式预训练核心是在没有标签或者人工标注的情况下，学习如何产生数据。生成式预训练在自然语言处理中取得较大成功。BEiT模型的出现，将生成式预训练从NLP迁移到CV上，就是将BERT中的掩码语言学习（MLM）方法应用到图像领域。之后的MAE模型也是基于BEiT的工作展开的。如果说ViT将Transformer迁移到CV中，那么BEiT就是将BERT迁移到CV中。BEiT解决了CV上生成式预训练的两个问题：

• 1、如何将图像信息转化为NLP中离散的token，BEiT使用到了dVEA方法将图像离散化；

. 2、使用成熟的ViT结构将处理图像信息。

• 通过以上两点，BEiT成功将MLM/MIM方法应用图像领域，将生成式预训练迁移到CV上，实现CV领域中大规模自监督预训练。

图表：BEiT模型预训练架构

图表：dVAE架构

• 图文多模态任务是目前视觉语言预训练模型（VLP）中最重要的任务之一。图文任务包括图文检测、图文分类、图文分割等。根据Paper with code网站上VLP领域中模型相关论文数量来看，ALIGN和CLIP模型相关论文数量最多，均超过500篇，这两个模型均是以图像-文本为对象展开的研究。

• 其中ALIGN是谷歌2021年6月提出，CLIP是OpenAI2021年2月提出。

图表：VLP模型的相关论文数量（Paper with code数据）

图表：多模态模型主要情况

1.10 扩散模型推动多模态中文本图像生成发展

• 扩散模型是一种继GAN、VAE、Flow-based模型之后最新的生成模型，从气体扩散的物理过程中获得灵感，通过正向扩散和反向扩散两个过程进行生成。在OpenAI、英伟达、谷歌推出大模型后，扩散模型受到了较多的关注。

• 扩散模型与多模态预训练大模型的结合主要应用在文本图像生成领域。以扩散模型和多模态预训练大模型CLIP为基础模型，2022年4月OpenAI 发布文本生成图像模型DALL·E 2，之后谷歌推出Imagen，直接对标DALL·E 2。

图表：几种生成式模型

图表：扩散模型与CLIP融合

1.11 多模态模型有包括COCO在内的多个预训练数据集

• 和文本大模型或者视觉大模型类似，多模态预训练大模型也需要大量数据提前进行预训练，然后针对下游场景进行微调。

• 多模态模型目前用于许多预训练数据集，包括Flickr30k、COCO、LAION-400M、RedCaps在内的多项英文图像/文本数据集，也包括Wukong、WuDaoMM、WSCD在内的多项中文数据集。这些数据集一般都是以图像文本对的形式存在，例如，LAION-400M包含CLIP模型过滤的4亿个图像文本对数据集；Wukong包含1亿个中文图像文本对；Flickr30K包含31000张图片，每张都与5个句子相关。

• LAION是多模态模型数据集领域重要组织，他们是公益/非营利性组织，推出了LAION-400M、LAION-5B、Clip H/14等数据集，并且完全开源。

图表：多模态模型常见数据集

数据集	年份	规模 (图文对数量)	语言	是否可获取
SBU Captions	2011	1M	English	是
FIickr30k	2014	145K	English	是
CoCo	2014	567K	English	是
FashionGen	2018	300k	English	是
VQAv2.0	2017	1. 1M	English	是
CC3M	2018	3M	English	是
GQA	2019	1M	English	是
LAIT	2020	10M	English	否
CC12M	2021	12M	English	是
AltText	2021	1.8B	English	否
TVQA	2018	21,793	English	是
HT100M	2019	136M	English	是
WebVid2M	2021	2.5M	English	是
YFCC-100M	2015	100M	English	是

数据集	年份	规模	语言	是否可获取
LAION-400M	2021	400M	English	是
RedCaps	2021	12M	English	是
Wukong	2022	100M	Chinese	是
CxC	2021	24K	English	是
Product1M	2021	1M	Chinese	是
WIT	2021	37.5M	Multi-lingual	是
JFT-300M	2017	30M	English	否
JFT-3B	2021	3000M	English	否
IG-3.5B-17k	2018	350M	English	否
M6-Corpus	2021	60M	Chinese	否
M5Product	2021	6M	English	是
LocalizedNarratives	2020	849k	English	是
RUC-CAS-WenLan	2021	30M	Chinese	否
WuDaoMM	2022	600M	Chinese	是

1.12 多模态模型大一统成趋势

2022年8月，微软推出BEiT-3模型，引领图像、文本、多模态迈向大一统。

• BEiT-3提出了掩码图像建模，将masked data modeling引入到图像预训练任务，将图像和文本同等看待，以统一的方式对图像、文本、图像-文本对进行建模和学习。实际上，微软在2021年11月就推出了统一模型VLMO，使用混合模态专家（MOME）的方式来进行不同模态中进行预训练，训练出不同的编码器，用于不同的下游任务。BEiT-3在其基础上简化模型并增大预训练数据量，最终在多项下游任务上表现亮眼。2023年3月15日，微软旗下OpenAI推出多模态大模型GPT-4。

图表：VLMO预训练框架

图表：BEiT-3在多项任务上表现亮眼

资料来源: Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Task， VLMO: Unified Vision-Language Pre-Training withMixture-of-Modality-Experts，中信建投

1.13 视频/音频等领域模态融合进展也较快

. 在视频、音频领域，多模态融合同样是一种趋势。

• 图文多模态模型逐渐迁移至视频-文本/音频-文本多模态领域，典型的代表是CoCa模型，图文领域中推出后，在视频领域就推出了VideoCoCa，CLIP模型推出后，在视频领域就推出了VideoCLIP模型。

一些统一多模态大模型的出现也在推动该领域的发展。例如，阿里达摩院推出的mPLUG-2多模态大模型，不仅在图-文下游任务中取得很好的效果，也能进行视频领域的任务，例如在视频问答、视频字幕等领域相关工作上均取得了不错的成绩。

在音频多模态领域中比较著名的模型是谷歌推出的MusicLM模型，能通过文字生成音乐。

图表：视频多模态领域中的数据集及模型

领域	数据集	BestModel	评价	评价标准
Video Question Answering	ActivityNet-QA	VideoCoCa	56.10%	Accuracy
	MSRVTT-QA	mPLUG-2	48%
	iVQA	Text + Text (no Multimodal Pretext Training)	40.20%
	MSRVTT-MC	VIOLETv2	97.60%
	TVQA	FrozenBiLM	82%
	NExT-QA	HiTeA	63.10%
	Howt0100M-QA	Hero w/pre-training	77.75%
Video Captioning	MSR-VTT	mPLUG-2	57.8	BLUE-4
	YouCook2	UniVL	17.35
	ActivityNet Captions	VideoCoCa	14.5
	Hindi MSR-VTT	SBD_Keyframe	41.01
Video Retrieval	MSR-VTT-1kA	HunYuan_tvr (huge)	62.9	text-to-video R@1
	MSR-VTT	InternVideo	55.2
	MSVD	HunYuan_tvr (huge)	59
	YouCook2	VideoCLIP	32.2
	TVR	Hero w/ pre-training	4.34
	TGIF	MDMMT-2	25.5

• 多模态在交互、感知、内容分发等众多领域都有较为重要的地位。

多模态交互在家庭与办公场景下应用广泛，多模态交互可以进一步提升用户与智能家居设备的交互体验，提升了用户完成相同意图的效率与成功率。

多模态感知包括车场景和语音助手下的用户意图感知，例如，在驾车场景中，随着多屏主控等智能座舱技术进步，各种智能终端可以通过多模态交互实现意图识别准确率更高的用户体验。

• 多模态内容分发场景下，虚拟人结合动作、表情、情感、文本等信息，输出给用户。

图表：在家里通过多模态方式发出指令图表：多模态技术能够合成虚拟形象，给予用户多模态的信息图表：多模态技术的应用领域

应用	公司/市场领域
文本生成	阿里商品推荐
机器翻译	有道AR翻译
机器翻译	搜狗同传3.0
多模态检索	谷歌图像检索
多模态检索	爱奇艺人脸识别
智能个人助理	阿里小蜜
智能个人助理	小爱同学
数字人	虎牙直播
数字人	小爱虚拟形象
传感器智能	智能车舱

多模态预训练关键要素总括

1.对图文进行tokenization，转化为模型能处理的形式

2.设置学习目标

3.模型结构

可以通过叠加多个模型结构/模态融合方式改变模型性能

4.模态融合方式

5.提升数据质量

6.Prompt

文字使用成熟的BERT等模型进行处理

图像特征提取包括Grid、Region、Patch based方式

需要重要视觉特征；基于patch的方式更高效

图文对比（ITC）

掩码语言模型（MLM）

图文匹配（ITM）

使用不同的学习目标会带来不同的结果

Encoder-only

Encoder-decoder

常见的是Encoder-only结构，用于图文检索等任务，encoder-decoder结构适合相关生成任务

Fusion Encoder

Dual Encoder

Fusion Encoder通过融合方式对模态进行处理；Dual Encoder分别对各模态进行处理

ALBEF动量蒸馏生成伪标签

BLIP生成图像描述并和原来的进行比较过滤

CLIP

Visual ChatGPT

Prompt工程在多模态中更加重要，例如以上两个模型采取Prompt方式提升性能

2.1 图文需要Tokenization和Embedding

Token是模型输入的基本单元，Embedding是Token映射后的向量，用于计算。

• 文字方面早期一般使用Word2Vec进行Tokenization，包括CBOW和skip-gram，虽然Word2Vec计算效率高，但是存在着词汇量不足的问题，因此子词分词法（subword tokenization）被提出，使用字节对编码（BPE）将词分割成更小的单元，该方法已被应用于BERT等众多Transformer模型中。

• 图像的Tokenization要比文本更加复杂，可以分为基于region，基于grid和基于patch三类方式。基于grid的方式直接使用CNN进行图像网格信息提取，基于region的方式由预训练的目标检测器进行特征提取，基于patch的方式将图像切割成小块，提取小块上的线性投影。

图表：子词分词法示例

图表：图像编码的三种方式

相较于文本特征而言，多模态模型中视觉特征更为重要。

当前多模态预训练大模型中，不论CLIP、UNITER还是ViLT，在模型构造方面，视觉特征的embedding层数或者复杂度要超过文本特征，体现出视觉特征更重要，多模态需要从视觉特征中学习到更多知识。

• 根据METER模型中的数据显示，在视觉特征端进行优化对结果产生的影响要远大于对文本端进行的优化。

图表：多模态融合的四种形式
图表：文字/视觉特征改变对结果影响

2.3 如何设计学习目标是多模态训练的重要一步

• 学习目标是多模态预训练非常重要的一步，目前的多模态的预训练学习任务主要包括图文对比（ITC）、掩码语言学习（MLM）、掩码视觉学习（MVM）、图文匹配（ITM）等。

• ITC是通常构造正负样本对，通过对比学习方式，对齐图像和文本；

ITM可以看作是一个二分类任务，目标是预测一对图像和文本是否匹配；

MLM是让模型学习语言和视觉内容之间的隐式关系，目标是从已知的语言和视觉内容中重建掩码语言标记；

此外还包括掩码物体分类（MOC）、掩码物体回归（MOR）、行为预测（AP）、图文生成（ITG）等。

图表：多模态中学习目标

(a). Contrastive Loss
(b). Modality Matching Loss (MML)

(d). Image Question Answering (QA)

(e).Masked Object Classification (MOC)

(f).Masked Object Regression (MOR)
(g). Image-conditioned Denoising Autoencoding (IDA)

(h). Image-Text Generation (ITG)

同时使用不同的预训练学习目标可能会增强多模态模型的效果，例如UNITER模型中，使用更多的学习目标效果一般要更好，UNITER使用MLM+ITM+MRC-kl+MRFR+WRA等多个学习目标在在多个细分场景下表现要更好。

• 使用过多的学习目标可能效果并不好。例如，METER模型中，在MLM和ITM上再加入MIM学习模型，效果比使用单个学习目标要好，但不如仅仅使用两个学习目标，这一方面可能是学习目标之间的冲突导致的，另外一方面可能是图像中存在噪声，MIM重建图像噪声的监督学习没有任何意义导致的。

图表：UNITER模型在使用不同学习目标得到不同结果

Pre-training Data		Pre-training Tasks	Meta-Sum	VQA	IR (Flickr) (Flickr)	TR	NLVR²	Ref- COCO+
Pre-training Data		Pre-training Tasks	Meta-Sum	test-dev	val	val	dev	vald
None Wikipedia +		1 None	314.34	67.03	61.74	65.55	51.02	68.73
BookCorpus		2 MLM (text only)	346.24	69.39	73.92	83.27	50.86	68.80
In-domain (COCO+VG)		3 MRFR	344.66	69.02	72.10	82.91	52.16	68.47
	4 ITM		385.29	70.04	78.93	89.91	74.08	72.33
	5 MLM		386.10	71.29	77.88	89.25	74.79	72.89
		6 MLM+ ITM	393.04	71.55	81.64	91.12	75.98	72.75
		7 MLM + ITM + MRC	393.97	71.46	81.39	91.45	76.18	73.49
		8 MLM +ITM+ MRFR	396.24	71.73	81.76	92.31	76.21	74.23
		9 MLM + ITM + MRC-kl	397.09	71.63	82.10	92.57	76.28	74.51
		10 MLM + ITM + MRC-kl + MRFR	399.97	71.92	83.73	92.87	76.93	74.52
		11 MLM + ITM + MRC-kl + MRFR + WRA	400.93	72.47	83.72	93.03	76.91	74.80
	12 (w/o cond. mask)	MLM+ ITM+ MRC-kl+ MRFR	396.51	71.68	82.31	92.08	76.15	74.29
Out-of-domain (SBU+CC)		13 MLM + ITM + MRC-kl + MRFR + WRA	396.91	71.56	84.34	92.57	75.66	72.78
In-domain + Out-of-domain	14 MLM + ITM + MRC-kl + MRFR + WRA		405.24	72.70	85.77	94.28	77.18	75.31

图表：METER模型在使用不同学习目标得到不同结果

Pre-training Objectives	VQAv2	Flickr-ZS
Pre-training Objectives	VQAv2	IR	TR
MLM	74.19
ITM	72.63	53.74	71.00
MLM+ITM	74.98	66.08	78.10
MLM+ITM + MIM (In-batch Negatives)	74.01	62.12	76.90
MLM+ITM + MIM (Discrete Code)	74.21	59.80	76.30

2.5 多模态模型结构包括encoder-only和encoder-decoder两类

根据模型的结构不同，多模态可以分为encoder-only和encoder-decoder两类。

• 顾名思义，encoder-only指模型只用了transformer的编码器部分，多模态的输入直接通过encoder进行输出，而encoder-decoder则是使用了transformer中的编码器和解码器两部分，解码器同时获得解码器的输出结果以及之前生成的token，使用自回归产生输出。

常见的多模态模型是encoder-only，包括CLIP、ALBEF等，适合图文检索，但是不适合生成任务，例如image captioning等；

Encoder-Deocder模型包括VL-T5、SimVLM等，利用了decoder的特性，适合生成任务，但是不太适合图文检索等。

图表：多模态中的Encoder-only和Encoder-Decoder架构

图表：Encoder-only和Encoder-Decoder基本情况小结

架构	基本情况	代表
Encoder-only	常见；适合图文检索，但不适合生成任务	CLIP、ALBEF
Encoder-Decoder	不适合图文检索，适合生成任务	VL-T5、SimVLM

2.6 根据信息融合方式的不同，可以fusion/dual encoder划分模型

• 不同模态进行各自的编码后，需要设计一个编码器进行多模态编码，根据编码融合方式的不同，多模态模型可以分为Fusionencoder模型和Dual encoder模型。

Fusion encoder顾名思义，是使用融合的方法来进行模态之间的交互，经过自注意力或者交叉注意力操作后，最后生成模态的融合表示，融合方案主要包括单流和双流。单流假设两个模态存在潜在关联或者对齐比较简单，直接在两个模态上使用自注意力机制，然后将两个模态连接在一起；双流模型假设模态内交互和跨模态交互需要分开，从而可以获得更好的多模态表示，采用交叉注意力机制进行建模。融合编码器在不同层次上对跨模态进行交互建模，在某些推理领域取得了很好的效果，但是在图文检索中等匹配任务中，因为要编码交互所有的图文对，这就导致了最后推理速度非常慢。

• Dual encoder分别利用两个单模态编码器对两种模态进行编码，两种模态充分编码后，使用简单的点乘或者浅层注意力层计算相似性分数，就不再依赖复杂Transformer了。

图表：双流和单流模型架构

图表：Fusion Encoder和Dual Encoder具体模型示例

VL-PTM	Text encoder	Vision encoder	Fusion scheme	Pre-training tasks	Multimodal datasets for pre-training
Fusion Encoder
VisualBERT [2019]	BERT	Faster R-CNN	Single stream	MLM+ITM	CoCo
Uniter [2020]	BERT	Faster R-CNN	Single stream	MLM+ITM+WRA+MRFR+MRC	CC+COCO+VG+SBU
OSCAR [2020c]	BERT	Faster R-CNN	Single stream	MLM+ITM	CC+COCO+SBU+Flickr30k+VQA
InterBert [2020]	BERT	Faster R-CNN	Single stream	MLM+MRC+ITM	CC+COCO+SBU
ViLBERT [2019]	BERT	Faster R-CNN	Dual stream	MLM+MRC+ITM	CC
LXMERT [2019]	BERT	Faster R-CNN	Dual stream	MLM+ITM+MRC+MRFR+VQA	COCO+VG+VQA
VL-BERT [2019]	BERT	Faster R-CNN+ ResNet	Single stream	MLM+MRC	CC
Pixel-BERT [2020]	BERT	ResNet	Single stream	MLM+ITM	COCO+VG
Unified VLP [2020]	UniLM	Faster R-CNN	Single stream	MLM+seq2seq LM	CC
UNIMO [2020b]	BERT, RoBERTa	Faster R-CNN	Single stream	MLM+seq2seq LM+MRC+MRFR+CMCL	COCO+CC+VG+SBU
SOHO [2021] VL-T5 [2021]	BERT T5, BART	ResNet + Visual Dictionary	Single stream	MLM+MVM+ITM	COCO+VG
XGPT [2021]		Faster R-CNN	Single stream	MLM+VQA+ITM+VG+GC	COCO+VG
	transformer BERT	Faster R-CNN	Single stream	IC+MLM+DAE+MRFR	CC
Visual Parsing [2021]	BERT	Faster R-CNN + Swin transformer	Dual stream	MLM+ITM+MFR	COCO+VG
ALBEF [2021a] SimVLM [2021b]	ViT	ViT	Dual stream	MLM+ITM+CMCL	CC+COCO+VG+SBU
WenLan [2021]	RoBERTa	ViT	Single stream	PrefixLM	C4+ALIGN
ViLT [2021]	ViT	Faster R-CNN + EffcientNet Linear Projection	Dual stream Single stream	CMCL MLM+ITM	RUC-CAS- WenLan CC+COCO+VG+SBU
Dual Encoder
CLIP [2021]	GPT2	ViT, ResNet		CMCL	self-collected
ALIGN [2021]	BERT	EffceientNet		CMCL	self-collected
DeCLIP [2021b]	GPT2, BERT	ViT, ResNet, RegNetY-64GF		CMCL+MLM+CL	CC+self-collected
Fusion Encoder+ Dual Encoder
VLMo [2021a]	BERT	ViT	Single stream	MLM+ITM+CMCL	CC+COCO+VG+SBU
FLAVA [2021]	ViT	ViT	Single stream	MMM+ITM+CMCL	CC+COCO+VG+SBU+RedCaps

2.7 模型可以设计多个模型架构/信息融合方式，增加模型功能

• 在模型架构方面encoder-only模型更擅长图文检索，encoder-decoder模型更适合生成任务；在信息融合方面fusion encoder适合推理，dual encoder适合检索。

• 因此，很自然会将多个模型架构或者信息融合方式组装起来，从而增加模型功能，这也是多模态统一实现的机制。

• 例如，VLMO中使用“三个专家”处理不同预训练，在image-only，text-only和image-text上进行预训练，可以看成使用不同信息融合，从而在推理和检索等任务上均有较好表现。

BLIP将encoder-only和encoder-decoder进行组合，兼具理解与生成能力。

图表：VLMO有fusion encoder和dual encoder特性
图表：BLIP有encoder和decoder架构，适合检索，也适合生成

• 过去在文本以及视觉单模领域的经验说明更多的数据往往能让模型的性能变得更好，类似的，在多模态预训练模型中，更多的数据也通常让模型性能变得更好。

• 例如，CLIP模型中，随着处理的图片数量越多，模型在Zero-shot（零样本）任务上的性能更好；在VLMO模型中，使用更多的预训练数据，在几个任务下的表现均有较好的提升。

图表：CLIP模型随着图像数据的增多性能变好

图表：VLMO在更大数据上预训练后效果更好

Model	# Pretrain Images	MSCOCO (5K test set)						Flickr30K (1K test set)
		TR			IR			TR			IR
				R@1 R@5 R@10 R@1 R@5 R@10\|R@1 R@5 R@10 R@1 R@5 R@10
Base-Size Models Pretrained on COCO, VG, SBU and CC datasets
UNITER-Base	4M		64.4 87.4	93.1	50.3	78.5	87.2	85.9	97.1	98.8	72.5	92.4	96.1
VILLA-Base	4M	-	-		：	■	1	86.6	97.9	99.2	74.7	92.9	95.8
ViLT-Base	4M		61.586.3	92.7	42.7 72.9		83.1	83.5	96.7	98.6	64.4	88.7	93.8
ALBEF-Baset	4M	73.19	91.4	96.0	56.8 81.5		89.2	94.3	99.4	99.8	82.8	96.7	98.4
VLMo-Base†	4M		74.8 93.1	96.9	57.2	82.6	89.8	92.3	99.4	99.9	79.3	95.7	97.8
Large-Size Models Pretrained on COCO, VG, SBU and CC datasets
UNITER-Large	4M			65.788.693.8		52.9 79.9	88.0	87.3	98.0	99.2	75.6	94.1	96.8
VILLA-Large	4M	=	1	■	：	：	1	87.9	97.5	98.8	76.3	94.2	96.8
VLMo-Larget	4M			78.2 94.4 97.4	60.6 84.491.0			95.3 99.9		100.0		84.5 97.3	98.6
Models Pretrained on More Data
VinVL-Large	5.7M	75.4	92.9	96.2	58.8	83.5	90.3	=
ALIGN-Large†	1.8B	77.0	93.5	96.9	59.9	83.3	89.8	95.39	99.8	100.0	84.9	97.4	98.6
Florence-Huget	900M	81.8	95.2		63.2	85.7	-	97.2 99.9			87.9	）98.1
VLMo-Large++t	1.0B	83.1	96.0	98.2	65.2	86.5	92.2		96.8100.0100.088.1			98.4	99.3

2.9 如何解决数据噪声：通过自学习等方式

• 多模态模型中的图文数据大多数是从网络上收集的，带有很大的噪声。例如文本可能包含与图像无关的词，或者图像可能包含文本中未描述的物体，现有的预训练目标（例如 MLM）可能会过度拟合噪声文本并降低模型的泛化性能。

针对这种情况，可以采取自学习方式为图片生成新的文本对，提高预训练质量。

• 例如ALBEF提出动量蒸馏（MoD）方法为图像生成伪标签作为附加监督信号，生成的标签可以捕获真实文本未能描述的内容；BLIP通过自动为图像生成字幕，与图文数据对原有的文本数据进行对比，选择更优的文本标签，从而提升数据质量。

图表：ALBEF提出的伪标签可以捕获真实文本未描述的概念

图表：BLIP模型自动为图像生成字幕，并去除嘈杂的原始字幕

• Prompt方法主要通过改造下游任务的模板来缩小预训练和微调时的差异，降低微调成本，提高模型在下游的应用效果，最大的优点是零/小样本，已经被广泛用于各种文本大模型中。

• Prompt在多模态预训练任务有着非常重要的作用。例如，visual ChatGPT中，使用一个Prompt Manager生成让ChatGPT理解的提示性文字，让其进行图像模型的调度，最后生成相关图像；在CLIP模型中，在Zero-shot任务中，通过对文字生成提示性模板，能够取得更好的性能。

图表：visual ChatGPT架构

图表：CLIP模型中的文字提示模板生成

3.1.1 CLIP：使用对比学习实现图文对齐

CLIP：2021年由OpenAI提出，利用文本信息监督视觉任务自训练，训练数据集为40亿个“文本-图像”对，采用Transformer模型对图像的patch序列进行建模，将不同模态的原始数据映射到统一或相似的语义空间，实现不同模态信号间的相互理解，拥有寻找不同模态数据间关系的能力，如下图步骤3所示，狗狗图片对应的单词应该是“dog”，模型在这种对应关系中学习到文本和图像这两种不同模态信息背后的内涵，为多模态的生成模型奠定了基础。

• CLIP在zero-shot上表现较好。与CV中常用的先预训练然后微调不同，CLIP可以直接使用prompt进行零样本学习图像分类，即不需要任何训练数据，就能在某个具体下游任务上实现分类。如下图步骤2和3所示，根据任务的分类标签构建每个类别的描述文本，选择与图像相似度最大的文本标签作为图像预测分类的结果。

图表： CLIP模型示意图

3.1.2 CLIP：灵活通用，下游应用广

• CLIP很灵活并且适用范围广。由于 CLIP 模型直接从自然语言中学习各种视觉概念，更加灵活和通用，CLIP模型能够在zero-shot下执行许多不同的任务。例如在包含了细粒度对象分类、OCR、视频中的活动识别和地理定位等27个数据集的任务中，CLIP可以从图像表示中学习到更多有用信息。

• CLIP下游应用场景广泛。CLIP模型本身用来做图文检索，后续衍生出一系列基于CLIP的模型，在视频理解、图像编辑、图像生成、自监督学习、视觉问答领域都得到了广泛应用。例如借助CLIP模型，HairClip可以根据用户提供的文本或图像信息单独或联合设计头型，并取得了不错的效果。

图表：CLIP效果展示

图表：a.HairClip可以定制化修改发型 b.视频检测

• DALL·E2：基于CLIP实现文本与图像的联系，基于Diffusion从视觉语义生成图像。

• 2022年4月由OpenAI提出，在DALL·E1的基础上进行了改进和升级，分辨率从从256x256提升到了1024 x 1024，准确性也得到了较大提升。除此之外，其还可以实现以下功能：1）根据文本生成图片；2）将图像扩展到画布之外；3）根据文本对图像进行编辑，实现添加或删除元素；4）给定一张图片生成保持原风格的变体。

• DALL·E2模型可以分为两部分。首先是利用CLIP文本编码器将图像描述映射到表示空间，其次利用前向扩散从CLIP文本编码映射到相应的CLIP图像编码，最后通过反向扩散从表示空间映射到图像空间，生成众多可能图像中的一个。

• 总体来说， DALL·E2实现了功能更齐全的图文跨模态生成，图片的真实性和准确度也较以往的产品有了不错的提升。但是在生成一些复杂图片的细节方面， DALL·E2仍面临着一些挑战。

图表：DALL·E2.0模型基于文本描述生成图像

图表：DALL·E1.0与DALL·E2.0生成图片对比

• BEiT：提出了图像的掩码训练方式，解决了模型规模日益扩大导致的数据量不足问题。

• 模型训练过程中编码学习 Tokenizer，将图像变成离散的视觉符号（visual token），类似文本（下图红框）；二是，将图像切成多个小“像素块”（patch），每个像素块相当于一个文本中的字符（下图蓝框）。在预训练时，模型便可以通过掩码方式进行学习。

• BEiT-3：通过模型改进、预训练任务调整，为 AI 多模态基础大模型研究打开新思路。

• 模型改进方面，BEiT-3使用不同结构以对不同模态进行编码，其结构包含一个共享的自注意力模块（下图灰色方块），用以学习不同模态信息的对齐并将不同模态的信息深度融合，以及包含一个模态专家（下图蓝色方块为视觉，绿色方块为语言），即根据当前输入的模态类别，选择不同模态专家对其进行编码以学习更多模态特定的信息。预训练任务方面，相较于之前的多模态模型在预训练过程中采用不同的预训练任务，BEiT-3采用统一的任务，对大模型训练更加友好。
图表：BEiT提出图像的掩码训练方式图表：BEiT-3模型示意图

资料来源：Image as a Foreign Language:BEIT Pretraining for All Vision and Vision-Language Task，中信建投

• 在广泛的视觉及视觉-语言任务上， BEiT-3都取得了最优结果的迁移性能。在包含视觉问答、视觉推理、图像描述、目标检测与实例分割、语义分割、图像分类等在内的一共 12 个视觉 - 语言下游任务上，研发团队评估了 BEiT-3 的泛化能力。

• 结果表明，BEiT-3 在这些任务上都取得了 SOTA 的迁移性能。

图表：BEiT-3 在广泛的视觉及视觉-语言任务上都实现了SOTA的迁移性能

Category	Task	Dataset	Metric	Previous SOTA	BEIT-3
Vision	Semantic Segmentation	ADE20K	mIoU	61.4 (FD-SwinV2)	62.8 (+1.4)
	Object Detection	coCo	AP	63.3 (DINO)	63.7 (+0.4)
	Instance Segmentation Image Classification	CoCo	AP	54.7 (Mask DINO)	54.8 (+0.1)
		ImageNett	Top-1 acc.	89.0 (FD-CLIP)	89.6 (+0.6)
Vision-Language	Visual Reasoning	NLVR2	Acc.	87.0 (CoCa)	92.6 (+5.6)
	Visual QA	VQAv2	VQA acc.	82.3 (CoCa)	84.0 (+1.7)
	Image Captioning	coCOt CoCo	CIDEr	145.3 (OFA) 72.5 (Florence)	147.6 (+2.3)
	Finetuned Retrieval	Flickr30K	R@1	92.6 (Florence)	76.0 (+3.5) 94.2 (+1.6)
	Zero-shot Retrieval	Flickr30K	R@1	86.5 (CoCa)	88.2 (+1.7)

• KOSMOS-1：将多模态特征嵌入到Transformer模型中，基于统一的模型架构实现不同模态的对齐。

• 2023年3月由微软提出，其可以实现文本学习、文本生成等任务，还能够将文本以外的模态（如视觉图像、语音）嵌入到模型中。研究证明，在多个下游任务中，该模型具有非常优异的性能，例如在语言理解、视觉问答、多模态对话等。KOSMOS-1模型的参数总量为16亿。

• 我们认为，随着技术的不断发展和迭代，跨模态模型处理更多模态问题的能力将不断增强，多模态感知的大融合是迈向通用人工智能的关键一步。

图表：KOSMOS-1在视觉问答方面的测试样例

图表：KOSMOS-1可以讲笑话

• PaLM-E：将多模态AIGC技术拓展到机器人领域。

• 2023年3月，谷歌和柏林工业大学团队推出多模态具身视觉语言模型 PaLM-E，相较于之前的多模态模型，其不仅可以理解和生成图像/语言，输入可以为文本、图像等不同模态信息，还能够融合不同模态的知识进而生成复杂的机器人指令：例如“从抽屉中拿取薯片”是一个包含了多个计划任务，需要机器人摄像头和机械手相互反馈配合的任务。PaLM-E模型可以将其分解为走到抽屉旁、打开最上面的抽屉、从最上面的抽屉里拿起绿色的薯片、放在柜台上等多个步骤来完成。

• PaLM-E还具有强大的正迁移能力，即相较于单一任务数据训练出来的模型，利用不同领域的数据融合训练出来的模型具有显著的性能提高。

• 我们认为，PaLM-E的发展与成熟将进一步赋予机器人以“智能”，引发人机交互方式的重大变革，推进人工智能机器人在更多应用场景的落地。

图表：PaLM-E模型可以处理丰富的下游任务

资料来源：PaLM-E:An EmbodiedMultimodalLanguage Model，新智元，中信建投

图表：PaLM-E模型在混合数据训练下取得更为优异的性能

3.5 GPT-4：支持图像输入的ChatGPT升级版

• 2023年3月14日，OpenAI发布GPT-4。GPT-4沿袭了过去GPT路线，在GPT中引入RLHF机制，并且输入窗口更大，更适合处理长文本，GPT-4的上下文长度为8192个token，远高于GPT-3的2048个token。GPT-4文字输入限制提升到了2.5万字，回答准确率姚显著高于前模型。GPT-4在各类职业/学术考试上表现优秀，与人类相当，比如模拟律师考试，GPT-4取得了前10%的好成绩，而GPT-3.5是倒数10%。GPT-4训练过程更加稳定，且响应不被允许请求的概率也大幅度降低。

• GPT-4支持图像和文本的输入，可以对图像进行理解，做图表推理等，例如，GPT-4可以根据图片上的数字进行数据处理、发现图像上不合理之处等，但具体模型细节OpenAI并未描述。OpenAI一并发布GPT-4的API与集成GPT-4的ChatGPT。

图表：GPT-4能进行图表推理

图表：GPT-4能描述出图片上的不合理之处

3.6 多模态下游应用：重点产品时间线

• 随着技术的快速进步，AI生成内容极大的解放了生产力，多模态广阔的应用场景及潜在的市场价值推动着其商业化道路的快速发展。

• 垂直领域快速落地，爆款产品不断推出。随着技术不断演进，尤其是Diffusion和Transformer模型的提出，多模态应用在多个领域开始落地。其中代码生成、文本生成、图像生成、音视频/游戏等领域已有不少爆款级产品。

• 1）代码领域，基于OpenAI的Codex模型，Github推出的Copilot具备代码的生成、补全、建议等功能，用户量突破百万级别。

• 2）文本领域，ChatGPT目前已开放api接口，随着更多应用的接入，多模态的生态将进一步改善生产方式。

• 3）图像领域，Stable diffusion等文生图应用已突破千万级用户量，目前是商业模式最成熟的领域，国内也在积极布局。

• 4）音视频/游戏领域，起步较晚，对模型复杂度和算力要求更高，未来市场空间巨大。

图表：AIGC重点产品时间线

3.6.1 文生图：快速出圈，多款应用火爆

• 2022年下半年，AI由文本生成图像快速出圈，多款应用火爆。目前对大众开放的图片生成模型主要包括Stable Diffusion、StableDiffusion2、OpenAI的DALL-E 2、Midjourney等，几款模型中，仅Stable Diffusion和Stable Diffusion2开源，累计使用人数最多，在全渠道有超1000万用户。

• 图片生成是目前AIGCl领域相对成熟的方向，已经达到商用水平。MidJoruney用户每月付费30美元可将图片用于商用，其目前整体年营收已经突破1亿美元。DALL·E 与Stable Diffusion同样推出付费业务，其中DALL·E为15美元生成 115次图片， StableDiffusion则为10英镑1000次标准生成。

• 目前来看，Stable diffusion因其最出色的生成能力，成为图像生成商业领域的龙头。

图表：Stability AI、Midjourney、OpenAI、谷歌产品对比

	Stable Diffusion	Mid journey	DALL-E 2	Imagen
使用效果
开发公司	Stability AI	Mid journey	OpenAI	谷歌
推出时间	2022.08	2022.07	2022. 04	2022.05
是否开源	是	否	否	否
是否ToC	是	是	是	暂未对外公开
是否有内容创作限制	否	是	是
图片处理	本地超1000万	云端	云端
使用人数（22.11）		超300万	超150万	3y 中信建投证

• AIGC技术简化数字人开发流程，提升数字人开发效率：用户可以通过上传照片/视频/音频的方式，借助AIGC技术实现数字人建模，相较于传统的数字人构建方法具有效率高、成本低的特点。目前产品化的3D数字人建模精度已经可以达到次世代游戏人物级别。Meta、英伟达等科技公司已经推出基于AIGC技术帮助用户打造3D数字人的产品，英伟达的omniverse avatar便是其中一个例子。

• AIGC技术赋能AI驱动数字人，助推数字人智能化发展：AIGC技术是AI驱动类型数字人的智能核心，为这一类型的数字人提供多模态交互过程中的识别感知和分析决策功能。具体而言，自然语言生成技术影响着人机交互过程中内容的质量，计算机视觉技术则影响数字人面部表情和肢体动作（例如数字人声唇同步技术），AIGC技术的不断发展让高质量的人机交互成为可能。

图表：基于英伟达omniverse avatar构建数字人

图表：AIGC技术支撑数字人的多模态交互

技术	阶段	作用和目的
语音理解	感知	将人的语音转化为文本
	NLP 决策	处理并理解文本
	TTS 表达	将需要输出的文本转化为语音
动作合成	AI驱动嘴形动作表达	构建输出的音频与输出的视觉信息的关
动作合成	AI驱动其他动作表达	联映射

• 多模态大模型需要更深层次的网络和更大的数据集进行预训练。多模态大模型多基于Transformer架构进行预训练，而Transformer因其架构特点，未看到过拟合趋势，模型大小、数据集都未有饱和趋势，CLIP等模型也验证了数据量的大小将使得模型性能提升。以语言模型GPT为例，其从GPT1-3模型大小和预训练数据量均是逐步提升，和语言模型中类似，多模态大模型模型大小和数据量要逐步提升，例如，谷歌前不久发布的多模态模型PaLM-E，具有5620 亿参数。

• 现有的多模态预训练大模型通常在视觉和语言两种模态上进行预训练，未来可以获取更多模态进行大规模预训练，包括图像、文本、音频、时间、热图像等，基于多种模态数据的预训练大模型具有更广阔的应用潜力。

图表：GPT系列模型的参数量与数据量不断提升

模型	发布时间	参数量	预训练数据量
GPT	2018.6	1.17亿	约5GB
GPT-2	2019.2	15亿	40GB
GPT-3	2020.5	1750亿	45TB

图表：表示事物的主要模态

4.2 多模态模型训练要加速

虽然多模态大模型在多个领域取得了巨大成功，但是多模态模型对算力的要求还是对模型的训练造成了很大的难题，因此对模型训练加速提出了进一步要求。

• DeCLIP在CLIP基础上，通过改进数据处理方式加速模型训练；ViLT通过对使用更加有效率的方式对图像特征进行编码提升后续效率；此外，训练过程中的并行策略、显存优化、模型稀疏性等均可以提升模型计算效率。

图表：通过改进数据处理方式加速模型训练

图表：ViLT模型中使用Linear embedding处理图像特征

图表：并行策略
图表：零冗余优化器优化过程

图表：专家混合模型（MoE）是典型的模型稀疏性方法

资料来源: Supervision exists everywhere: A data efficient contrastive language-image pre-training paradigm，Dive into Big Model Training，中信建投

• 未来多模态大模型将走向“真正统一”。

• 以微软KOSMOS-1为代表，将图像、音频进一步编码成文本格式，统一成文本进行融合，KOSMOS-1 的模型主干是一个基于Transformer 的因果语言模型，Transformer 解码器用作多模态输入的通用接口，除了文本之外，其他模态也能被嵌入并输入到该模型中。谷歌发布PaLM-E，使用Uni-Perceiver，打造“通才”，将不同模态的数据编码到统一的表示空间中，并将不同任务统一为相同的形式。

图表：KOSMOS-1将视觉和音频信号统一成文本信号

图表：PaLM-E通才模型对下游任务进行统一建模

4.4 多模态预训练将引入更多外部知识

多模态模型的知识是从预训练数据集得到的，但一些任务，例如视觉问答非常依赖常识信息，这些信息是从特定任务数据集中没法学习到，因此可以将外部知识引入到模型中，补充模型知识，从而在一些问答任务场景下取得更好的成绩。

• MAVEx模型使用当前先进的 VQA 模型生成一组候选答案，再将问题和候选答案解析，以检索外部知识，最后预测每个知识来源对每个候选答案的可信度，预测最匹配的答案。MAVEx 展示了答案引导知识检索的明显优势，在 OK-VQA 数据集上实现了最先进的性能。随着多模态模型变大，最终训练出来的模型会越来越好，伴随更多模态的加入，最终多模态大模型会应用在越来越多方面，AI正加速奔向通用AI。

图表：MAVEx模型解决了基于知识领域的问答问题
图表：将外部知识引入图文问答中

资料来源: Multi-Modal Answer Validation for Knowledge-Based VQA， Reasoning over vision and language: Exploring the benefits of supplemental knowledge，中信建投

五、风险提示

多模态模型技术发展不及预期：多模态属于先进AI算法，若后续算法更新迭代效果不及预期，则会影响多模态演进及拓展，进而会影响其商业化落地等；

算法隐私问题：多模态预训练大模型在进行预训练过程中，使用了大量数据，很多都是从网络上直接获得的图文数据对，其中会涉及相关隐私问题；

算力基础设施支持不及预期：美国制裁中国高科技企业，对中国形成芯片、算力的封锁，大语言模型训练过程中需要大量算力资源，需要关注中美关系带来的中国算力的压力；

数据数量与数据质量不及预期：大型语言模型需要大量的高质量数据进行训练，若数据数量和质量存在短板，则会影响大语言模型效果；

伦理冲突风险：多模态大模型技术将进一步推动人工智能迈向通用型人工智能，人工智能进一步智能化将产生人工智能欺骗、人工智能上瘾、人与人工智能之间的关系等一些列伦理问题。

感谢辛侠平、陈思玥、樊文辉对本报告的贡献。

分析师介绍

阎贵成：中信建投证券通信&计算机行业首席分析师，北京大学学士、硕士，专注于云计算、物联网、信息安全、信创与5G等领域研究。近8年中国移动工作经验，6年多证券研究经验。系2019-2021年《新财富》、《水晶球》通信行业最佳分析师第一名，2017-2018年《新财富》、《水晶球》通信行业最佳分析师第一名团队核心成员。

金戈：中信建投证券研究发展部计算机行业联席首席分析师，帝国理工学院工科硕士，擅长云计算、金融科技、人工智能等领域。

于芳博：中信建投计算机行业分析师，北京大学空间物理学学士、硕士，2019年7月加入中信建投，主要覆盖方向智能汽车、CPU/GPU/FPGA/ASIC、EDA和工业软件等方向。

评级说明

投资评级标准		评级	说明
报告中投资建议涉及的评级标准为报告发布日后6个月内的相对市场表现，也即报告发布日后的6个月内公司股价（或行业指数）相对同期相关证券市场代表性指数的涨跌幅作为基准。A股市场以沪深300指数作为基准；新三板市场以三板成指为基准；香港市场以恒生指数作为基准；美国市场以标普500指数为基准。	股票评级	买入	相对涨幅15%以上
		增持	相对涨幅5%-15%
		中性	相对涨幅-5%-5%之间
		减持	相对跌幅5%-15%
		卖出	相对跌幅15%以上
	行业评级	强于大市	相对涨幅10%以上
		中性	相对涨幅-10-10%之间
		弱于大市	相对跌幅10%以上

分析师声明

本报告署名分析师在此声明：（i）以勤勉的职业态度、专业审慎的研究方法，使用合法合规的信息，独立、客观地出具本报告, 结论不受任何第三方的授意或影响。（ii）本人不曾因，不因，也将不会因本报告中的具体推荐意见或观点而直接或间接收到任何形式的补偿。

法律主体说明

本报告由中信建投证券股份有限公司及/或其附属机构（以下合称“中信建投”）制作，由中信建投证券股份有限公司在中华人民共和国（仅为本报告目的，不包括香港、澳门、台湾）提供。中信建投证券股份有限公司具有中国证监会许可的投资咨询业务资格，本报告署名分析师所持中国证券业协会授予的证券投资咨询执业资格证书编号已披露在报告首页。

本报告由中信建投（国际）证券有限公司在香港提供。本报告作者所持香港证监会牌照的中央编号已披露在报告首页。

一般性声明

本报告由中信建投制作。发送本报告不构成任何合同或承诺的基础，不因接收者收到本报告而视其为中信建投客户。

本报告的信息均来源于中信建投认为可靠的公开资料，但中信建投对这些信息的准确性及完整性不作任何保证。本报告所载观点、评估和预测仅反映本报告出具日该分析师的判断，该等观点、评估和预测可能在不发出通知的情况下有所变更，亦有可能因使用不同假设和标准或者采用不同分析方法而与中信建投其他部门、人员口头或书面表达的意见不同或相反。本报告所引证券或其他金融工具的过往业绩不代表其未来表现。报告中所含任何具有预测性质的内容皆基于相应的假设条件，而任何假设条件都可能随时发生变化并影响实际投资收益。中信建投不承诺、不保证本报告所含具有预测性质的内容必然得以实现。

本报告内容的全部或部分均不构成投资建议。本报告所包含的观点、建议并未考虑报告接收人在财务状况、投资目的、风险偏好等方面的具体情况，报告接收者应当独立评估本报告所含信息，基于自身投资目标、需求、市场机会、风险及其他因素自主做出决策并自行承担投资风险。中信建投建议所有投资者应就任何潜在投资向其税务、会计或法律顾问咨询。不论报告接收者是否根据本报告做出投资决策，中信建投都不对该等投资决策提供任何形式的担保，亦不以任何形式分享投资收益或者分担投资损失。中信建投不对使用本报告所产生的任何直接或间接损失承担责任。

在法律法规及监管规定允许的范围内，中信建投可能持有并交易本报告中所提公司的股份或其他财产权益，也可能在过去12个月、目前或者将来为本报告中所提公司提供或者争取为其提供投资银行、做市交易、财务顾问或其他金融服务。本报告内容真实、准确、完整地反映了署名分析师的观点，分析师的薪酬无论过去、现在或未来都不会直接或间接与其所撰写报告中的具体观点相联系，分析师亦不会因撰写本报告而获取不当利益。

中信建投证券研究发展部

北京
东城区朝内大街2号凯恒中心B
座12层
电话：(8610) 8513-0588
联系人：李祉瑶
邮箱：lizhiyao@csc.com.cn
上海
浦东新区浦东南路528号南塔2106室
电话：(8621) 6882-1612
联系人：翁起帆
邮箱：wengqifan@csc.com.cn

福田区益田路6003号荣超商务中心B座22层

电话：（86755）8252-1369

联系人：曹莹

邮箱：caoying@csc.com.cn

中信建投（国际）

香港中环交易广场2期18楼

电话：（852）3465-5600联系人：刘泓麟邮箱：charleneliu@csci.hk

群内每日免费分享5份+最新资料

300T网盘资源+40万份行业报告

为您的创业、职场、商业、投资、亲子、网赚、艺术、健身、心理、个人成长 …… 全面赋能！

关注公众号获取更多资料

添加微信：xxyg_wei

备注“入群”

立刻免费领取

200套知识地图+最新研报

致终身学习者社群

行业报告/思维导图/电子书/资讯情报

证券研究报告行业深度报告

多模态大模型技术演进及研究框架

群内每日免费分享5份+最新资料

300T网盘资源+40万份行业报告

致终身学习者社群

核心观点

目录

概述总括

技术奇点

扩散模型

应用催化

多模态检索

1.1 多模态表示包含两个或两个以上事物表现形式

1.2 多模态发展主要经历五个时代

1.3 Transformer颠覆传统模型，但限于单模态领域

1.4 ViT的出现打通了CV和NLP之间壁垒，推动多模态演进

1.5 ViT中的Patch embedding在提取视觉特征方面效率优势明显

1.6 基于Vision Transformer，Video Transformer模型出现

1.7 Transformer权重共享决定其适合多模态

1.8 BEiT模型的出现将生成式预训练从NLP迁移到CV上

1.10 扩散模型推动多模态中文本图像生成发展

1.11 多模态模型有包括COCO在内的多个预训练数据集

1.12 多模态模型大一统成趋势

1.13 视频/音频等领域模态融合进展也较快

目录

多模态预训练关键要素总括

2.1 图文需要Tokenization和Embedding

2.3 如何设计学习目标是多模态训练的重要一步

2.5 多模态模型结构包括encoder-only和encoder-decoder两类

2.6 根据信息融合方式的不同，可以fusion/dual encoder划分模型

2.7 模型可以设计多个模型架构/信息融合方式，增加模型功能

2.9 如何解决数据噪声：通过自学习等方式

目录

3.1.1 CLIP：使用对比学习实现图文对齐

3.1.2 CLIP：灵活通用，下游应用广

3.5 GPT-4：支持图像输入的ChatGPT升级版

3.6 多模态下游应用：重点产品时间线

3.6.1 文生图：快速出圈，多款应用火爆

目录

4.2 多模态模型训练要加速

4.4 多模态预训练将引入更多外部知识

目录

五、风险提示

分析师介绍

评级说明

分析师声明

法律主体说明

一般性声明

中信建投证券研究发展部

中信建投（国际）

群内每日免费分享5份+最新资料

300T网盘资源+40万份行业报告

致终身学习者社群

计算机行业：多模态大模型技术演进及研究框架-20230318-中信建投-51页