AIGC时代的多模态知识工程思考与展望

分享人：李直旭（研究员、博导）

复旦大学计算机科学技术学院

群内每日免费分享5份+最新资料

300T网盘资源+40万份行业报告

为您的创业、职场、商业、投资、亲子、网赚、艺术、健身、心理、个人成长 …… 全面赋能！

关注公众号获取更多资料

添加微信，备
注“入群”
立刻免费领取
200套知识地图+最新研报

致终身学习者社群

行业报告/思维导图/电子书/资讯情报

收钱文案、增长黑客、产品运营、品牌企划、营销战略、办公软件、会计财务、广告设计、摄影修图、视频剪辑、直播带货、电商运营、投资理财、汽车房产、餐饮烹饪、职场经验、演讲口才、风水命理、心理思维、恋爱情趣、美妆护肤、健身瘦身、格斗搏击、漫画手绘、声乐训练、自媒体打造、效率软件工具、游戏影音……

扫码先加好友，以备不时之需

分享人简介

李直旭

复旦大学计算机科学技术学院研究员、博士生导师

复旦大学知识工场实验室执行副主任、数据工程与多模态智能研究组负责人
上海市数据科学重点实验室办公室主任
中国计算机学会高级会员、数据库专委会委员
中国中文信息学会语言与知识计算等专委会委员

个人简历

澳大利亚昆士兰大学计算机科学博士

中国人民大学信息学院计算机学士&硕士

前苏州大学计算机学院教授、博导

前科大讯飞苏州研究院副院长（兼）

主要研究方向为知识图谱、知识工程与认知智能、自然语言处理等

已累计在知名期刊与国际会议上发表论文150余篇

拥有授权发明专利20余项

主持国家级和省部级纵向科研项目累计近十项

与华为、阿里、科大讯飞等人工智能企业保持长期合作

PART 1

AIGC时代：未来已来

ChatGPT的爆红出圈宣告了生成式人工智能(AIGC)时代的到来

AIGC典型事件

1950年，艾伦·图灵提出著名的“图灵测试”，给出判断机器是否具有“智能”的方法

1966年，世界第款可人机对话机器“人“Eliza”问世

80年代中期，IBM创造语音控制打字机“Tangora"

2007年，世界上第一部完全由人工智能创作的小《1 The Road》问世

Microsoft

2012年，微软展示语全自动同声传译系统，可将英文语音自动翻译成中文语音

2014年，LanJ.Goodfellow提出生成式对抗网络GAN

NVIDIA

2018年，英伟达发布StyleGAN模型用于自动生成高质量图片

2019年，DeepMind发布DVD-GAN模型用于生成连续性视频

2022年，OpenAI发布ChatGPT模型用于生成自然能语言文本

AIGC发展特点

人工智能总体阶段

受限于技术水平，AIGC仅限于小范围实验

早期萌芽阶段（20世纪50年代-90年代中期）

AIGC从实验性向实用性转变，受限于算法瓶颈，无法直接进行内容生成

沉淀积累阶段（20世纪90年代-21世纪10年代中期）

深度学习算法不断迭代，人工智能生成内容百花齐放

快速发展阶段（21世纪10年代中期-至今）

上图摘录自：国泰君安证券《ChatGPT研究框架(2023) 》

AIGC时代：万物皆可AI生成

AIGC

文本生成

图像生成

音频生成

视频生成

Jasper、copy.Ai、ChatGPT、Bard、GTP4

EditGAN、Deepfake、DALL-E、Stable Diffusion

DeepMusic、WaveNet、Deep Voice、 MusicAutoBot

Deepfake、VideoGPT、GliaCloud、ImageVideo

个很有意思的画，来自互联网）

多模态大模型的分类与发展脉络

文图生成AIGC – 逼真、高清；风格、意境

A photo of a Shiba Inu dog with a backpack riding a bike.It is wearing sunglasses and a beach hat.

Teddy bears swimming at the Olympics 400m Butterfly event.

An extremely angry bird.
东临碣石，以观沧海，水何澹澹，山岛竦峙：

• Google Imagen的高清作画

小桥流水人家，水彩
(Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1)
• 太乙Stable Diffusion的意境绘画

The close up of Sun wukong in a suit

文图生成AIGC – 精致、可控

"A Minecraft Pikachu"

"Astronauts on the moon"

Change head direction

"A doll in the shape of letter 'A' "

"A beautiful girl"

"A black Honda motorcycle"
Add two rabbit ears to the Iron Man

狮子王身穿紫色皇家大衣，身披红色皇家斗篷，正在发表史诗级的演说 The Lion King,wearing a purple royal coat and ared royal cloak, isdeliveringanepic speech

金字塔三明治The pyramidal sandwich

穿西装的孙悟空的特写镜头

一艘青花瓷质感的战舰 A warship with blue and white porcelain texture

视频生成AIGC – 自然流畅、栩栩如生

由静态图生成动态图

多模态AIGC大模型驱动的具身智能

谷歌5620亿参数PaLM-E，将真实世界的传感器信号与文本输入相结合，建立语言和感知的链接，可操控机器人完成任务规划和物品操作。

chipbag fromthedrawerand placeiton the counter.

block and placeit on thetable,then grasp the blue block.

Step1.Push the green star to the bottom left. Step2.Push the green circle to the green star.
beused to guidearobot's actions.

ü 在机器人操作规划、视觉问答和字幕生成等任务中进行了端到端的训练

主要架构思想：将连续的、可感知的观察数据注入预先训练的语言模型的嵌入空间中，以使其能够理解这些连续数据。这是通过将连续观测数据编码为与语言嵌入空间中的语言标记具有相同维度的向量序列来实现的。这种连续信息以类似于语言标记的方式注入语言模型中。

Is the AI GAME OVER?

• Rich Sutton在著名文章《苦涩的教训》中：唯一导致AI进步的是更多的数据、更有效的计算。

• DeepMind 研究主任 Nando de Freitas 宣称：

AI「现在完全取决于规模」

• AI 领域更难的挑战已经解决了。「游戏结束了！」

• 目前，大多数领域，大模型已经（暂时）战胜了精心设计的知识工程。

• 然而：Is the AI game REALLY over?

Someone'sopinionarticle.Myopinion:It'sallabout scalenow!TheGameisOver!It'saboutmakingthese modelsgger,ermtecint, sampling,smartermemory,moremodalities, INNOVATIVEDATA,on/offline,..1/N

DeepMind'snew GatoAl makes me fear humans willneverachieve AGl DeepMind justunveiled anew Al system called Gato thatmakes OpenAl's GPT-3 look likeachild's toy.But are we any closer to AGl?

Nando de Freitas @NandoDF· May 14

Rich Sutton is right too, but the Al lesson ain't bitter but rather sweet. I learned it from @geoffreyhintona decade ago. Geoff predicted what was predictable with uncanny clarity.

ChatGPT（包括GPT4）的诸多问题难以忽视

强语言，弱知识：“一本正经地胡说八道”

Q：红楼梦中贾宝玉为什么要葬花？

A：据小说描写，贾宝玉葬花的原因是因为他感到世间美好事物的短暂和凋零…

Q：鲁迅和周树人是同一个人吗？

A：不是同一个人，鲁迅和周树人是两个不同的人。鲁迅…而周树人(1895年1月25日-1968年11月6日)也是中国著名的现代作家和翻译家，代表作品有《春蚕》、《子夜》等。

逻辑推理不靠谱：不论是数学逻辑还是专业逻辑

Q：3个人3天用3桶水，9个人9天用几桶水？

A：根据题目可知，3个人在三天内用了3桶水，可以推算出每天每人用水量为：

3 桶 / 3 人 / 3 天 = 1 桶 / 人 / 天因此，在9个人使用9天内需要的总用水量为：

1 桶 / 人 / 天 × 9 人 × 9 天 = 81 桶所以，9个人在九天内需要用 81 桶的水。

（正确答案应该是：27桶水）

实时信息自更新慢，新旧知识难以区分

Q：现任韩国总统是谁？

A：现任韩国总统是文在寅。

Q：gpt4是什么时候发布的？

A：抱歉，目前还没有关于GPT-4的官方发布计划和消息。

无法真正为领域类问题提供专业、靠谱的答案

Q：华为手机没电了，请问能否使用苹果手机的充电器充电？

A：可以的，苹果手机和华为手机使用的充电器接口都是标准的USB接口，因此苹果手机的充电器也可以用来给华为手机充电。不过，请注意使用符合标准的充电器。

多模态大模型的跨模态生成能力尚不完善

文到图生成：来自Stable Diffusion

input：绿草红花

input：红草绿花

组合泛化问题

A red car and a white sheep.
属性泄露问题
Input: A couch on the left of a chair.
椅子左边的沙发

方位理解混乱
Input：a photograph of a horse riding an astronaut
一匹马骑着宇航员的照片

语义理解错误

多模态大模型尚未完全理解多模态数据

视觉问答VQA：来自BLIP2

What brand is the racket?

what brand is the racket?

Is this illegal or legal?

is this illegal or legal?

Why are they wearing wetsuits?

why are they wearing wetsuits?

nike

回答错误，因大模型不知晓球拍上的w图案是品牌wilson的logo

事实知识不足

illegal

回答错误，需要针对场景“在车上看手机是否合法”进行推理。

逻辑推理欠缺

to keep warm.

回答错误，因在海边拿着冲浪板应该是去冲浪，冲浪需要穿wetsuits

常识储备不足

大模型驱动的跨模态问答，往往因缺乏知识和常识而产生错误回答。

多模态大模型PaLM-E离实用级还有多远？

谷歌的PaLM-E虽然依赖于如此大规模的参数初步实现了对机器人的操控，但其Demo展示的空间范围、物品种类、任务规划复杂度等还比较有限。

千亿规模参数，DEMO展示却：

当前的空间范围封闭有限

当前的物品种类数量有限

当前的规划任务比较简单

当前的操作任务比较简单

如果要在真实世界的复杂场景中达到实用级别，PaLM-E的参数规模是否还需要增大百倍、千倍、甚至万倍？

如果一味用海量参数来存储所有知识，智慧涌现的代价是否过于昂贵？

小结：多模态大模型的本质、前提与不足剖析

多模态大模型的本质：“用语言解释视觉，用视觉完善语言。将文本中的语言符号知识，与视觉中的可视化信息建立统计关联。

用语言解释视觉：将语言中蕴含的符号知识体系和逻辑推理能力延伸至对视觉内容的理解；

用视觉完善语言：丰富的视觉信息可以成为符号知识体系和逻辑推理能力的重要完善补充。

重要前提

1）海量高质量图文配对数据；

2）文字富含事实知识和常识；

3）逻辑推理过程可显化被学习。

现实状况

1）数据大但质量差，信息不对称；

2）纯文字中的知识与常识不完备；

3）逻辑推理隐性难以学习。

组合泛化问题

属性泄露问题

事实知识不足

方位理解混乱

逻辑推理欠缺

语义理解错误

常识储备不足

统计模型难以较低成本全面准确地掌握人类的知识、常识与逻辑推理能力。

PART 3

多模态认知智能

多模态认知智能：研究框架

多模态认知智能：基于多模态数据的知识获取、表示、推理与应用。

多模态知识工程（符号主义）

多模态认知智能：两种实现路径

多模态大模型（连接主义、经验主义）

统计学习

• 端到端、干预少

• “数”尽其用

概率关联、简单鲁棒
符号表达、可见可控

专家系统、知识图谱易推理、可控、可干预、可解释信息损失

海量预训练数据

往往难以学习从因到果、从主到次、从整体到部分、从概括到具体、从现象到本质、从具体到一般等逻辑关系

精选数据+专家知识

数据转换成符号知识的过程往往伴随着巨大的信息损失，隐性知识、难以表达的知识是损失信息中的主体

多模态知识图谱（MMKG）：当前多模态知识工程的主要形式

多模态知识图谱（Multi-Modal Knowledge Graph）

• 在传统知识图谱的基础上，增加多种模态数据以丰富符号知识的表达

• 多模态数据包括但不限于：图像、视频、语音、代码

多模态知识图谱可以将符号接地到具象的视觉等模态对象上，实现跨模态语义对齐

多模态知识图谱（MMKG）：两种主流形式

多模态知识图谱的两种常见形式：

• 多模态数据仅作为文字符号实体的关联属性存在

• 多模态数据也可作为图谱中的实体存在，可与现有实体发生广泛关联

A-MMKG：MMKG with multi-modal data as attribute values

N-MMKG：MMKG with multi-modal data as entities
X. Zhu, Z. Li et. al. Multi-Modal Knowledge Graph Construction and Application: A Survey, Accepted by TKDE in Dec. 2022

AIGC多模态大模型 VS. 大规模多模态知识图谱

多模态大模型的优点

关联推理强：可以学习掌握大量跨模态知识模式，隐空间的关联推理能力强，具有很强的泛化能力

多任务通吃：一套大模型处理各类跨模态任务

• 人工成本低：不依赖人工Schema设计与数据标注

适配能力强：可通过调优训练或Prompt对话等方式来适配新的领域和任务

• 可靠程度低：所生成内容可靠性堪忧，存在误差累积、隐私泄露等，无法胜任高精度严肃场景需求

• 知识推理弱：没有真正掌握数据背后的知识，缺乏知识推理能力，更无因果推理能力

可解释性弱：虽有COT加持，但可解释性仍然不足

• 训练成本高：需要消耗大量的计算资源和时间来进行训练，需要强大的计算设备和高效的算法

多模态知识图谱的不足

• 推理能力弱：只能表示已有的知识和关系，对于未知或不确定的领域难以进行有效的知识建模和推理

• 人工成本高：其构建需要依赖于人工或半自动的方式进行知识抽取和建模，难以实现完全自动化

. 架构调整难：其基本schema架构通常是静态的，不易根据新的数据或场景进行修改和调整

专业可信高：其结构和关系清晰，易于理解和解释，可为人类决策提供参考，通常为某个具体应用场景而构建，可提供更精准和针对性的知识支持

可解释性强：以结构化形式表示知识，知识的可访问性、可重用性和可解释性好，对人类友好

可拓展性好：知识图谱的内容可以随着应用场景的需要进行不断扩展和更新，可以不断完善和改进

PART 4

AIGC for MMKG

AIGC为知识获取降本增效：知识诱导可快速获取大量知识或常识

大模型知识诱导（萃取）：利用Prompt机制来获得多模态大模型中富含的知识。

• 从语言大模型中探测语言知识

• 从语言大模型中探测关系知识

Petroni, F., Rocktäschel, T., Lewis, P., Bakhtin, A., Wu, Y., Miller, A. H., & Riedel, S. (2020). Language models as knowledge bases? EMNLP-IJCNLP 2019 - 2019 Conference on Empirical Methods in Natural Language Processing and 9th International Joint Conference on Natural Language Processing, Proceedings of the Conference, 2463–2473. https://doi.org/10.18653/v1/d19-1250

视觉语言模型作为常识库

• 从多模态大模型中探测跨模态对齐知识

• 从多模态大模型中探测视觉常识知识

Yang, H.-Y., & Silberer, C. (2022). Are Visual-Linguistic Models Commonsense Knowledge Bases? Coling, 5542–5559. https://pypi.org/project/

AIGC为知识获取降本增效：零样本、少样本、开放知识获取

无论是文本知识还是多（跨）模态知识的获取，都可依靠大模型的辅助，大幅提升知识抽取的效率，降低成本。

Antigovernment protesters carry. an injured man ona stretcher after clashes with riot police on Independence Square in Kyiv on February 20,2014.

OpenAI ChatGPT

Event Type	Transport (carry)
Agent	protesters
Entity	injured man
Instrument	stretcher

文本：利用ChatGPT的理解和生成能力，从给定文本中抽取三元组知识

多模态：利用多模态AIGC大模型的跨模态生成和理解能力，从给定图文对中抽取多模态知识

AIGC为知识获取降本增效：显著增强垂域多模态知识获取能力

GPT4、ChatPDF等已显示了强大的领域知识抽取能力(如基于多模态文档抽取)。

ACUTE TOXICITYINMICE

d0R19-2310A1
NHH_unk， 12/8/78 10/6/80,Updat
H.5.Tong&M，8.orte ，lotB1014-23
Hy dti(aYo)su1M%

xrv-Hebater tnk，
ro CanBeseach
D 0GarOtm.5 □ M 0
	1B
，	L	_180	/
1	10	2160	0/5
1	10	2592	0/6
：	_10	3732	1/6
，	10	479	6/5
Ltchfield，J，，ndi1on，F.，JfPhaco.
dxper，hr，90199，1948
1.5.1to.5/kg
d
fapiratoyeesositfood
activityurioeovedieefe
eforsingetrialbyinhaatininn0.3g.

Copies to the Pollowing：r.H，J，inee
Ns.L.B.Cray

Lablu lra.lgL g ec. (tmt:

FMIV Oripig poln 2.8±16 43±CA

Ueirbdydas E21W J114

Unip parmlsicgae JS151 321L4

dd 174:30 5.21C.9

l 17 5.4±C.5

Plptkn scpdikges

e1dd.d e12 :lap: 6.J154

1415 LA2

dyh

AIGC助图谱设计一臂之力：辅助Schema半自动化设计

大模型在部分领域上拥有领域常识知识，可以辅助完成Schema的半自动化设计。

大模型用作领域概念挖掘与分类
Oba A, Paik I, Kuwana A. Automatic Classification for Ontology Generation by Pretrained Language Model. IEA/AIE 2021

大模型用作领域本体生成

Large Language Model as a Source for Ontology
https://roman-suzi.medium.com/large-language-model-as-a-source-for-ontologye205891dea72

AIGC为知识推理保驾护航：辅助KG表示学习与KG补全

基于大模型的跨模态生成与推理能力，可以辅助完成KG表示学习、图谱补全等任务。

LLM辅助搜索候选实体进行KG补全

Hao, S., Tan, B., Tang, K., Ni, B., Zhang, H., Xing, E. P., & Hu, Z. (2022). BertNet: Harvesting Knowledge Graphs from Pretrained Language Models. http://arxiv.org/abs/2206.14268
Liang, K., Meng, L., Liu, M., Liu, Y., Tu, W., Wang, S., Zhou, S., Liu, X., & Sun, F. (2022). Reasoning over Different Types of Knowledge Graphs: Static, Temporal and Multi-Modal. 14(8), 1–19. http://arxiv.org/abs/2212.05767

跨模态生成和推理赋能MMKG的补全和表示学习

AIGC为知识融合扫清障碍：辅助Scheme融合与实体对齐

利用大模型的泛化能力和海量知识，可以辅助完成多模态知识图谱融合。

利用大模型生成实体知识/语义层面特征，辅助实体对齐

AIGC为知识更新添砖加瓦：大模型可辅助MMKG知识更新

基于大模型的常识知识和通用抽取能力辅助MMKG知识更新

外部信息源

新闻

wiki

视频

AIGC为知识问答锦上添花：辅助MMKG问答系统构建

利用大模型的语言理解和解析能力，可以帮助更好的构建多模态知识问答系统。

Yiming Tan, Dehai Min, Yu Li, Wenbo Li, Nan Hu, Yongrui Chen, and Guilin Qi. Evaluation of ChatGPT as a Question Answering System for Answering Complex Questions. https://arxiv.org/abs/2303.07992

PART 5

MMKG for AIGC

MMKG参与AIGC的生成能力评估

基于多模态知识图谱中的知识构建测试集，可对大模型的生成能力进行各方面评估。

1. 各类百科知识图谱用于事实性检验评估

2. 符号推理能力评估

3. 视觉常识推理能力评估

4. 非语言推理能力评估

MMKG引导AIGC的可控约束生成

已有工作在文本AIGC模型中引入指定约束（如包含/避免某主题）进行可控生成。

约束生成方案：

基于语言模型自身生成指定主题或约束的指导术语
使用该指导修改模型的tokens生成概率
指导的三种形式（binary verifier, top-k token,textual example），并采用prefix-tuning方法来蒸馏指导以解决各种自然语言约束

Howard Chen, Huihan Li, Danqi Chen, Karthik Narasimhan. Controllable Text Generation with Language Constraints. https://arxiv.org/abs/2212.10466

多模态知识引导大模型约束生成展望

对于图像生成，通过将文本链接到多模态知识图谱的具体实体，提供实体图像信息，帮助正确生成实体对应图像；

对于文本生成，通过链接到多模态知识图谱的具体实体，提供实体关系属性和实体图像等实体画像信息，帮助正确生成符合实体性质和特点的文本。

MMKG帮助AIGC进行知识编辑

展望：用多模态知识图谱中的显式结构化知识帮助大模型中隐式知识的编辑。

上图工作：文本大模型中的知识编辑
1. 依据知识图谱中的知识类型对数据分组

选择每组中信息量大的需要编辑（新增/遗忘）的知识
针对编辑数据所在的数据集对应的模型进行再训练

MMKG辅助AIGC的领域(任务)适配

用多模态知识图谱做领域知识微调可以将大模型的能力适配到领域任务。

电商领域跨模态检索场景的具体错误样例

大模型如何低成本高效率地解决领域问题是应用落地的关键

Figure 2: Overview framework of AGREE

领域适配方案：微调大模型 + 多模态知识辅助

利用外部知识和工具构建细粒度图文对
微调阶段使用对比学习和实体级别的MLM增强跨模态对齐
零样本场景下的重排序策略

PART 5

AIGC + MMKG

走向通用人工智能需要AIGC与MMKG携手

从视觉感知和语言认知到多模态认知；从连接主义和符号主义到神经符号主义。

Ernie-vil: Knowledge enhanced vision-language representations through scene graph, ACL2020

AIGC+MMKG方式1：知识注入增强的预训练大模型

已有较多工作讨论如何向预训练大模型注入知识，以提升大模型的知识掌握能力。

A survey of knowledge enhanced pre-trained models. arXiv 2021.

已有工作将场景图知识融入到视觉-语言模型的预训练过程，学习场景语义的联合表示，显著增强了跨模态的语义理解能力。未来可以融入MMKG中的知识进一步增强。

AIGC+MMKG方式2：知识检索增强的多模态生成

• 给定文本提示，访问外部多模态知识库以检索相关图文对，将其用作生成图像的参考。

• 多模态知识库检索增加了所提到实体的高级语义和低级视觉细节的知识，从而提高了其生成实体视觉外观的准确性

用给定图片搜索更多图片生成的图片和检索的全图对齐
Semi-Parametric Neural Image Synthesis. Blattmann A, etc. NIPS2022

用给定文字搜素更多图片生成的图片和检索的全图对齐
Re-Imagen: Retrieval-Augmented Text-to-Image Generator. Chen W, etc. ArXiv2022

AIGC+MMKG方式2：知识检索增强的多模态生成

• 给定文本提示，访问外部多模态知识库以检索相关图文对，将其用作生成图像的参考。

• 多模态知识库检索增加了所提到实体的高级语义和低级视觉细节的知识，从而提高了其生成实体视觉外观的准确性

Text inversion: 微调文本编码
使得生成图片和给定物体/风格接近
An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion. Rinon G, etc. ArXiv2022

AIGC时代的多模态知识工程思考与展望-50页-WN4