浙江大学DeepSeek系列专题线上公开课（第二季）

从大模型、智能体到复杂AI应用系统的构建以产业大脑为例

肖俊

浙江大学计算机学科与技术学院人工智能研究所浙江大学人工智能教育教学研究中心2025.03 杭州

提纲

•大模型推理能力快速提升

•推理模型和思维链 (CoT)

智能体是什么？

•四链融合产业大脑案例

大模型推理能力快速提升

快速回望历史——大模型的产生

 ChatGPT所能实现的人类意图，来自于机器学习、神经网络以及Transformer模型的多种技术模型积累

ChatGPT经过多类技术积累，最终形成针对人类反馈信息学习的大规模预训练语言模型

里程碑： ChatGPT的成功

OpenAI 公司于2022年11月发布ChatGPT，短短三个月内日活跃用户从零增长至超过 3000 万，标志着对话式 AI 进入大众应用阶段

三阶段训练技术构建GPT 3.5
ChatGPT 日活量（2022.11-2023.02）

里程碑： ChatGPT的成功

AI 1.0时代

辨别式AI

对现有内容进行分析、分类、判断、预测

分类

回归

聚类

图像分类

房价预测

客户分群

文本分类

销量预测

新闻聚类

信用评估

广告定向

客户流失预测

社区发现

AI 2.0时代

生成式AI

自动生成开放的文本、图像、音频、视频等内容

文本生成

图像生成

语音生成

文章报告

语音与对话

人像写真

问答内容

影视与广告

视频生成

专用人工智能解决特定的智能问题

短视频片段广告视频

代码生成

广告图片

样例代码测试用例

多模态生成

文生图文生视频

相对通用的人工智能一个大模型解决多个问题自适应地应对复杂外界环境的挑战

大模型能力不断增长

大模型在知识问答、数学、编程等能力上达到新的高度，多种任务上的表现超过人类水平。

Source: https://lifearchitect.ai/timeline/
大模型发展迅速，参数量从百亿到万亿规模

大模型能力涌现，多个任务上性能超越人类水平

早期大模型在推理能力上存在明显短板

大语言模型易产生幻觉，在数学推理方面表现在推理能力严重不足，体现在简单数值比较错误、多步推理能力弱、推理不一致等

GPT-40

Claude3.5Sonnet

Gemini

百度文心一言

阿里通义千间

字节豆包

腾讯元宝

智谱清言

月之暗面Kimi

科大讯飞星火

百川智能百小应

阶跃星辰跃间

商汤商量

昆仑万维天工

零一万物万知

9.11和9.9哪个大？

日

口

□

日

9.11和9.9相差多少？

□

英文提问9.11和9.9相差多少？

以

@ 谁是第一个登上月球的人	请告诉我独角兽的历史起源
浙白尤里·加加林是第个登上月球的人。	X 独角兽被记载在大约公元前10000年漫曲游亚特兰蒂斯平原，它们经常与皇室联系在一起。
模型的回答与事实不符，因为尼尔·阿姆斯特朗才是第一个登上月球的人，而尤里·加加林是第一个进入太空的人。	模型的回答是虚构的，因为没有经过验证的现实世界证据支持独角兽在亚特兰蒂斯的存在，特别是与皇室的关联。
?违反事实，专业知识不足https://www.lakera.ai/blog/guide-to-hallucinations-in-large-language-models

事实性幻觉问题
9.11>9.9? 简单数值比较错误

多步推理错误

早期大模型在推理能力上存在明显短板

大语言模型易产生幻觉，在数学推理方面表现在推理能力严重不足，体现在简单数值比较错误、多步推理能力弱、推理不一致等

If \$f(x)= frac{3x-2H{x-2}\$,what is the value of \$f(-2) +f(-1)+f(0)\$? Express your answer as a common fraction.

Attempt 1:

\$1+\frac{5}{3}+1=\frac{3}{3}+\frac{5}{3}=\frac{3+5}{3}=\frac{8}{3}\$. So the answer is \$\boxed{\frac{8}{3}}\$.

\frac{8}{3}

Attempt 2:

\frac{7}{3}+\frac{5}{3}+\frac{3}{3} = \frac{7+5+3}{3} = \frac{15}{3} = 5\$.

Attempt 3:

Find the product of \$6_8 lcdot7
52_8 找
Attempt 1:

We get \$6_8 \cdot 7_8 = 42_8\$ So the answer is \$42_8\$. #### 42_8

Attempt 2:

Correct.So that means \$6_8\ So our answer is \$42_8\$. #### 42_8

Attempt 3:

We can rewrite this as \$40_8 8_8 +1_8\$.
And we can rewrite that as \$4 +1_8\$.
And we can rewrite that_as \$5 So \$6_8 \cdot 7_8= 51_8\$.

51

Attempt 4:

Find the product of S6_8 Icdot 7_8.\$ Express your answer in base \$8.\$ 52_8

Attempt 1:

We get \$6_8 \cdot 7_8 = 42_8\$. So the answer is \$42_8\$. #### 42_8

Attempt 2:

So our answer is \$42_8\$. #### 42_8

Attempt 3:

88+18\$.
+1_8\$.
So \$6_8 \cdot 7_8= 51_8\$. #### 51

Attempt 4:

Redefine eas26+4.What is
first digit of e?
:ions:

answer is2.If you redefine e 26+4,then e becomes 30. The digit of 30 is 3.

Q:Redefine π as 534 mod 29.What is
the first digit of π?
Options:

Redefiningnas534mod 29means thatnis534%29=16.The first digit in 16 is1. So the answer is1.

无法在复杂的思维链中保持一致性

推理过程和答案不一致

怀疑论

Yann LeCun的批判观点：对纯粹扩大规模方法的根本质疑

Mehrdad Farajtabar："LLM本质上是统计模式匹配工具，而非真正的推理系统" 、 "下一个词预测框架不足以产生真正的理解"

Auto-Regressive Large Language Models (AR-LLMs)

Outputs one text token after another

Tokensmay representwords or subwords

Encoder/predictor isa transformer architecture

With billions of parameters:typically from1Bto 500B

Trainingdata:1to2trillion tokens

LLMs fordialog/text generation:

BlenderBot,Galactica,LLaMA(FAIR),Alpaca(Stanford)，LaMDA/Bard(Google),Chinchilla(DeepMind)，ChatGPT(OpenAI)，GPT-4?..

Performance is amazing ... but ... they make stupid mistakes

Factual erors,loicalerrors,nconsstencyliitedrsoning,oiit.

LLMs have no knowledge of the underlying reality

They have no common sense & they can't plan their answer

Yann LeCun：自回归大型语言模型没有前途

Apple提出LLM并非真正的推理系统

横空出世：OpenAI o1/o3、DeepSeek-R1等

2023-2024年，推理能力突破性进展：

• OpenAI o1/o3在数学和代码推理任务上的卓越表现

开源大模型DeepSeek-R1在MATH基准上达到87.2%的准确率

o1在数学和代码问题上的水平大幅提升，超越人类专家

开源大模型DeepSeek R1匹敌OpenAI o1

横空出世：OpenAI o1/o3、DeepSeek-R1等

2023-2024年，推理能力突破性进展：

• OpenAI o1/o3在数学和代码推理任务上的卓越表现

开源大模型DeepSeek-R1在MATH基准上达到87.2%的准确率

DeepSeek的 “aha moment”

Question: If a > 1, then the sum of the real solutions of √a-Va+x = x is equal
Response:
To solve the equation √a - Va+x =x,let's start by squaring both ..
(√a-√a+x)²=x² =a-√a+x=x².
Wait, wait. Wait. That's an aha moment I can flag here.
We started with the equation:
√a-Va+x=x
First, let's square both sides:
a-√a+x=x² =→√a+x=a-x²
Next, I could square both sides again, treating the equation:

7^999的最后一位数字是多少?

Q 要找到7999 除以10的余数，即7999 mod 10。
步骤如下：
。71＝7→最后一位是7
。7²=49→最后一位是9
。7=343→最后一位是3
2401→最后一位是1
16807→最后一位是7
：117649→最后一位是9
由此可见，7的幂次的最后一位数字按照7,9,3,1的循环规律重复
2．确定7999处于循环中的哪个位置：
。将指数999除以4，得到余数：
999 9余3
mod 4=3。

小结一：

早期的大模型推理能力不足
OpenAI-o系列模型和DeepSeek-R1等胜在推理能力较强

推理模型和思维链 (Chain of Thought, CoT)

推理大模型的发展

推理大模型：通过测试时拓展（Test-Time Scaling）、强化学习、蒸馏等技术，大模型的推理能力不断增强。

QwQ 由通义千问开发，QwQ 能通过思考与疑问解决一些复杂的问题。

deepseek KIMI

DeepSeek-R1与Kimi1.5都采用RL来进行推理能力的增强

Gemini 2.0 Flash Thinking

Try in Google Al Studio ≌

Our enhanced reasoning model,capable of showing its thoughts to improve performance and explainability

Gemini 2.0 FlashThinking 经过训练后，可以生成模型在回答问题时经历的思考过程。

2024.09

2024.11

OpenAI o1 是专注于复杂推理任务，通过深度思考和策略优化来解决问题。

2025.1

o3 通过模拟推理技术，能够暂停并反思自身内部的思考过程，从而在回答问题前进行更深入的推理，类似于人类的思考方式。

2025.2

Claude3.7是首个混合推理模型，集普通语言模型和推理模型于一体的混合模型。

OpenAI-o系列推理模型

o1/o3 在回答问题之前先Reasoning，生成一个详细的内部思维链，模拟人类的深思熟虑，逐步分解复杂的问题，提高答案的准确性和深度。

相较于GPT-4o o1大幅提升

逐步思考，并分解复杂的问题

什么是思维链 (CoT)

从浙大玉泉校区到紫金港校区如何最快出行？

地铁10号线黄龙体育中心站->文三路->

学院路（转2号线）->古翠路->丰潭路-

文新路->三坝->虾龙圩->步行

要知道从玉泉校区到紫金港校区如何最快出行，首先得知道有几种交通路线：

89路公交车，共17站，需步行2分钟，共用时50分钟
地铁10号线转2号线，这样就是2站+5站，共7站，需步行20分钟，共用时43分钟
地铁3号线转7149路公交车，这样就是3站+11站，共14站，需步行11分钟，共用时50分中
还可以……

这样综合看起来，最快的交通方案应该2，共用时43分钟

什么是思维链 (CoT)

• 有些问题，人也很难快速写出思维链，比如：

桌子上放着50 根火柴，丁丁、田田二人轮流每次取走1\~3根。规定谁取走最后一根火柴谁输。如果双方采用最佳方法，丁丁先取，那么谁将获胜?

假设世界实际上受经典力学支配。在这样一个经典宇宙中，我们可能会尝试通过将一个电子放置在围绕质子的圆形轨道上来构建一个氢原子。然而，我们从8.03课程中知道，一个非相对论性的中），其中q是电荷，a是加速度的大小。所以经典原子存在稳定性问题。这种效应有多大呢？

（a)证明每转损失的能量与电子的动能相比很小。因此，即使电子最终会螺旋式地落入质子，在任何瞬间将轨道视为圆形都是一个极好的近似。

多长时间。

·（c）将电子的速度（假设轨道半径为0.5A）与光速进行比较-相对论修正会实质性地改变你的结论吗？

(d)当电子接近质子时，它的能量会发生什么变化？电子能具有的能量有最小值吗？

依靠大模型自己生成思维链并求解

DeepSeek-R1的推理过程

求是小学组织去距离90公里的博物馆春游，全班同学8:00从学校坐大巴车出发。班主任老师因为有事情，8:10自己自驾小车以大巴车快1/3的速度追赶，结果比大巴车提前20分钟到。问：

（1）大巴和小车的速度各是多少？

（2）班主任老师追上大巴的地点距离博物馆还有多远？

首个将思维链显式展示的开源模型

新对话

求是小学组织去距离90公里的博物馆春游，全班同学8:00从学校坐大巴车出发。班主任老师因为有事情，8:10自己自驾小车以大巴车快13的速度追赶，结果比大巴车提前20分钟到。

（1）大巴和小车的速度各是多少？

(2）班主任老师追上大巴的地点距离博物馆还有多远？

& 思考中.. >

如何低成本实现推理模型？

s1通过在一个精心构建的小规模数据集上（1000条数据）进行微调，并结合预算强制技术，实现了强大的推理能力和测试时计算扩展性

如何低成本实现推理模型？

LIMO通过817个训练样本（题目难度高，覆盖知识面广，解题步骤精细），模型就能在复杂的数学推理任务中取得有益的表现

Less Is More for Reasoning

LIMO假说：在预训练阶段已经充分编码领域知识的基础模型中，复杂的推理能力可以通过最少但精确编排的认知过程演示来涌现：

模型具备丰富预训练知识

• 高质量的推理链示范

小结二：

自动化思维链 (CoT) 的实现是新一代大模型的精髓之一
经过精心设计的少量高质量样本即可实现适用于某个专业领域的高性能低成本推理模型

智能体 (AI Agent) 是什么？

灵魂发问

• 大模型除了可以和我聊天、回答问题，到底还能干什么？

ChatGPT \~

你除了聊天、回答问题和写报告，还可以干什么？

我能做的事情很多！除了聊天、回答问题和写报告，我还可以：

创意与内容创作

·写小说、剧本、诗歌、广告文案

·帮你润色文章、修改语法、提供写作建议

·生成故事大纲、角色设定、情节发展

技术与编程

编写和调试代码(Python、JavaScript、C++等多种语言)

·解释编程概念、优化代码、修复Bug

·生成网站前端代码，甚至做简单的Web应用 ↓

·帮助学习算法数据结构数据库网终安全等

#

灵魂发问

• ChatGPT的回答

你能帮我自动回复邮件吗？

可以！但目前我无法直接连接你的邮箱或自动发送邮件不过，我可以帮你：

1.撰写自动回复邮件模板（适用于请假、外出、客户咨询等场景）。

2．根据邮件内容生成个性化回复，你只需复制粘贴发送。

编写Python自动化脚本，让你的电脑定期扫描邮件并自动回复（如果你会用OutlookAPI、GmailAPI等）。

如果你想要一个邮件自动回复模板，告诉我具体场景，我可以帮你写！如果你需要自动化代码，也可以告诉我你的邮箱服务（Gmail、Outlook等），我给你写个脚本！

用大模型写邮件

• 如果你只有一个大模型，使用它回复邮件的过程大致如下：

用户打开邮箱，手动拷贝邮件内容

用户将邮件内容拷贝到大模型运行界面的对话框，写提示词：请基于以下邮件内容帮我草拟一封回复

大模型根据提示词自动生成回复邮件

用户将大模型生成的回复邮件拷贝至
邮箱

用户填写地址、邮件标题，点击发送

有没有更加智能或者自动化的工具来协助我们完成这些手动操作呢？

只有这个步骤是大模型自动完成，其余步骤均需要用户自行手动操作

智能体 (AI Agent)

大语言模型（ LLM ）可以接受输入，可以分析&推理、规划任务、输出文字\代码\媒体。然而，其无法像人类一样，拥有运用各种工具与物理世界互动，以及拥有人类的记忆能力。

• LLM：接受输入、思考、规划任务、输出

•人类：LLM（接受输入、思考、规划任务、输出）+ 记忆 + 工具

一个具体的例子

• 撰写调研报告：调研特斯拉 FSD 和华为 ADS 这两个自动驾驶系统

第一步：智能体进行任务拆解，首先调用CollectLinks工具从搜索引擎进行搜索并获取Url地址列表

一个具体的例子

• 撰写调研报告：调研特斯拉 FSD 和华为 ADS 这两个自动驾驶系统

2024-04-2117:26:49.4181INFO根据参考信息中的文章，华为智能汽车业务集团负责人于成东表示，华为在智能驾驶领域拥有最佳解决方案，并已经在自动驾驶解决方案方面超越了特斯拉FSD以及所有中国和外国公司。他解释说，智能驾驶涉及许多方面，华为在人工智能和机器学习技术方面进行了巨大投资，以满足所有高质量标准。他还指出，华为70%的投资用于汽车领域，其中80%用于智能驾驶。此外，华为最近发布了自动驾驶系统（ADS）2.0，具备最新功能。

与此相反，Notrelevant.特斯
2024-04-2117:27:00.1031 INFO 1 metagpt.utils.cost_manager:update_cost:57-Total running cost:\$o.eo91 Max budget:\$10.000拉的FSD Beta使特斯拉车辆能够在大多数驾驶场景下实现自主驾驶，但始终需要驾驶员进行严格需员频考讯变仍被视为程致驾驶辅助系统。

第二步：调用WebBrowseAndSummarize工具浏览网页并总结网页内容（此工具调用了LLM）

2024-04-21 17:27:39.125I INF0#特斯拉FSDVS华为ADS研究报告

简介特斯拉的全自动驾驶（FSD）和华为的高级驾驶系统（ADS）是两种不同的自动驾驶技术。特斯拉的FSD依赖于视觉解决方案，而华为的ADS则通过激光雷达来补充传统算法的不足。本报告将对这两种技术进行深入比较和分析，以便更好地了解它们的优势和劣势。

特斯拉的FSD采用了大量的机器学习和神经网络技术，通过对海量数据的学习和优化来提升自动驾驶的性能。而华为的ADS则侧重于高精度地图和传感器融合的定位技术，以及对复杂交通环境的感知和理解能力。特斯拉的FSD是纯视觉融合解决方案华为的AS则是激光来波雷达和像头的多传感器融合。因此，两者在定位能力、感知能力和技术实现上存在一定差异。

第三步：调用ConductResearch工具生成调研报告（此工具调用了LLM）

一个具体的例子

• 撰写调研报告：调研特斯拉 FSD 和华为 ADS 这两个自动驾驶系统

类型	名称	说明浙江学人智能育教
角色		调研员智能体，从网络进行搜索并总结报告。通过LLM提示工程(Prompt Engineering)，让LLM以调研员的角色去规划和拆分任务，使用提供的工具，完成调研过程，生成调研报告。在定义角色Y 时，会为其注册下面列出的各项工具
	CollectLinks炎	问题拆解，从搜索引擎进行搜索，并获取URL地址列表。该工具基于LLM提示工程和搜索引擎实现，其功能如下：（1）将问题拆分成多个适合搜索的子问题（基于LLM提示工程）；（2）通过搜索引擎搜索子问题；（3）筛选出与调研问题有关的URL，并根据网站可靠性对URL列表进行排序F (基于LLM提示工程)
工具	V	浏览网页并总结网页内容。由两个工具组成：浏览网页和总结网络内容。（1）浏览网页是通过封装的WebBrowserEngine工具访问搜索引擎实现的；（2）总结搜索结果是通过LLM提示工程实现。
工具	XConductResearch	生成调研报告。基于LLM提示工程的工具，该工具会整合WebBrowseAndSummarize的输出给到LLM，让LLM生成调研报告我折江
记忆	中 Short-term memory	短期记忆能力，metaGPT框架封装了短期记忆的能力，用于在任务执行周期内保存和检索上下文记忆，如CollctLinks和WebBrowseAndSummarize等工具的执行结果。

自动发邮件

Deployment Phase

Doc Source: Human Demonstration APP: Gmail

Task: Send an email to johndoe@email.com to ask him about his recent tripto LasVegas

（venv)jiaxuanliu@JIAXUANLIU-MB0 AppAgent %python run.py
Warning! No module named 'soundfile'
Warning!No module named'tensorflow'
Welcome to the deployment phase of AppAgent！
Before giving me the task,you should first tell me the name of the app you want me to operate and what documentation base you want me to use.I will try my bes t to complete the task without your intervention.First,please enter the main i nterface of the app on your phone and provide the following information. Warning! No module named 'soundfile'
Warning! No module named 'tensorflow'
Documentations generated from human demonstration were found for the app Gmail. The doc base is selected automatically,

Screen resolution of 2XT0219413002014:1080x2340

Please enter the description of the task you want me to complete ina few senten ces:

send an email to johndoe@email.com to ask himabout his recent trip to Las Vegas Round1

Documentations retrieved for the current interface: Documentation of UI element labeled with the numeric tag '6' This UI element is clickable.Tapping this UI element opens a new screen for com posing an email.

The screenshot shows an email application interface on a smartphone.There is a "Compose button labeled with the number 6 at the bottom right corner of the scr een.

Ta complete the given task,I should tap the "Compose button to open a new scre en for composing an email.

The growth trend on the field of LLM-based autonomous agents

A Survey on Large Language Model based Autonomous Agents, 2023.8
CCAI Collaborative Innovation Center of Artificial Intelligence by MOE and Zhejiang Provincial Government (ZJU)

Agent System 五层基石理论

Models，也就是我们熟悉的调用大模型API。

Prompt Templates，在提示词中引入变量以适应用户输入的提示模版。

Chains，对模型的链式调用，以上一个输出为下一个输入的一部分。

Agent，能自主执行链式调用，以及访问外部工具。

Multi-Agent，多个Agent共享一部分记忆，自主分工相互协作。

Al apps building blocks

@CRISTOBAL_DEV

5.MULTI-AGENTS

4.AGENTS

3.CHAINS

#

1.MODELS

The Framework of LLM-powered Agents

更复杂的任务：大小模型协作的生成式智能体

. ChatGPT: 具有强大的任务规划和工具调用能力

Hugging Face: 最大的AI模型社区，每个模型都有详细的功能描述

HuggingGPT：大小模型协作的生成式智能体

• 工作流程: 大语言模型负责规划和决策，AI小模型负责任务执行

• Task Planning  Model Selection  Task Execution  Response Generation

HuggingGPT

Can you describe what this picture depicts and count how many objects in the picture?

A text can describe the given image: α herd of giraffes and zebras grazing in a fields. In addition, there are five detected objects as giraffe with score 99.9%, zebra with score 99.7%, zebra with 99.9%, giraffe with score 97.1% and zebra with score 99.8%.I have generated bounding boxes as above image. I performed image classification, object detection and image captain on this image. Combining the predictions of nlpconnet/vit-gpt2-image-google/vit models, I get the results for you.

CCAI Colaborative Inovation Centerof Artificial Inteligence byMOEand Zhejing Provincial Government (ZJU)

HuggingGPT：大小模型协作的生成式智能体

• 大小模型协作AI Agent：大语言模型负责规划和决策，AI小模型负责任务执行

Please generate an image where a girl is reading a book,and her pose is the same as the boy in the image example.jpg, then please describe the new image with your voice.

The image you gave me is of "boy". The first thing I did was use & OpenCV's openpose control model to analyze the pose of the boy in the image.Ifed that image, specifically located at [Image-1], into the model to get an output image of the pose, located at [lmage-2]. Then I take that pose and generate a new image, located at [Image-3], using & Ilyasviel/sd-controlnet-openpose and the instruction "a girl is reading". Next,I ran object detection on the image generated in the previous step, to get predictions of the objects present in the image, including the box location. These predictions were run through the O facebook/detr-resnet-101 model. The box was drawn on the image, which is located at [lmage-4]. Then,I used the predictions of a image clasification model S google/vit-base-patch16-224 and a image caption model & nlpconnect/vit-gpt2-image-captionin model to generate the caption for newly generated image. It generated text: "a girl siting on a bed reading a book". Lastly, I ran the facebook/fastspeech2-en-ljspeech model to convert the generated text into audio, located at ).

HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face, Yongliang Shen, Kaitao Song, Xu Tan, Dongsheng Li, Weiming Lu, Yueting Zhuang. NeurIPS 2023 CCAI Collaborative Innovation Center of Artificial Intelligence by MOE and Zhejiang Provincial Government (ZJU)

HuggingGPT

• 学术界、开源社区和工业界影响力：

图灵奖获得者Bengio和Hinton 作论文引用：

Many of these risks could soon be amplified, and new risks created, as companies are developing autonomous AI: systems that can plan, act in the world, and pursue goals[1]

• 获得斯坦福客座教授吴恩达、英伟达GEAR Lab主任JimFan、 OpenAI研究员等科学家的博文推荐；

论文一年被引600余次，获得WAIC青年优秀论文奖；

• 开源仓库获得2万多次收藏，获得国际测试委员会颁发的2022-2023百大开源成就奖，Demo系统获得HuggingFace Space Top 10；

工业界影响：受到 Hugging Face 、 Langchain 、ModelScope等团队关注，推出相应的产品和功能：Transformers Agent Langchain HuggingGPT 和ModelScope Agent。

Bengio Y, Hinton G, et al. Managing ai risks in an era of rapid progress[J]

Many of these risks could soon be amplified, and new risks created, as companies are developing au-tonomous AI: systems that can plan, act in the world, and pursue goals. While current AI systems have lim-ited autonomy, work is underway to change this17. For example, the non-autonomous GPT-4 model was quickly adapted to browse the web18, design and ex-ecute chemistry experiments19, and utilize software tools20 including other AI models21

图灵奖获得者一作论文的引用评价

斯坦福大学客座教授吴恩达的推荐和解读

closeto the"EverythingApp"visionthatIdescribed awhileago. ChatGPT acts as a controller over the *Al model space*,picks the right model(app)givon the human specification,and assembles them correctlyto solvethetask.It'smultimodalina"low-bandwidth"way-all modalities need to becompressed and connected through text strings. HuggingGPTis also related to Prismer's idea:leverage pre-trained domainexpertmodelsasmuchaspossible.Sometimes traininglessis doingmorol

英伟达GEAR Lab主任Jim Fan的推荐和解读

OpenAI研究员Lilian和Akhaliq的推荐和解读

多模态/多领域数据通用接口

大语言模型正在成为人工智能时代的信息系统入口

智能时代一直没有出现像Windows、安卓/iOS这样真正的操作系统——能够为用户提供信息系统入口/界面，同时可以管理计算资源并支撑应用开发。而大语言模型，正在起到信息系统入口界面作用。

AI应用

桌面和移动应用

服务应用

办公

浏览器

CPU调度

文件系统

图片编辑

播放器

内存管理

科学计算

进程管理

人机交互

各种服务器

网络

安全管控

Chat

意图识别

翻译

情感分析

作曲

问答

画图

文本生成

写代码

图片生成

声音生成

文本表示

图像表示

图表示

大语言模型

图生成

操作系统

硬件虚拟层

Graphics Card (GPU)

Internal Hard Drive

Wireless Mouse

Language Models are General-Purpose Interfaces Yaru Hao Et. al. DOI:arxiv-2206.06336

Guv = 8πGTuv ibiteghr aqain

G+Agu=8πGTuv
Gw=8πG(Tuv-PDE9UN）

小结三：

智能体 (AI Agent) 是大模型 (Brain) 的眼 (Observation) 和手(Tools)
通过智能体 (AI Agent) 可以基于大模型实现各种较为复杂的智能应用系统

四链融合产业大脑案例

现在：主导权和卡脖子争夺

产业认知决策：国家战略需求

产业竞争从国家间分段互补合作模式转为主导权、制高点和卡脖子的争夺

研发设计

断链风险

核心制造

芯片架构操作系统等

美国/欧洲

晶圆制造存储器制造

中国台湾/韩国

终端制造

整机组装终端制造

中国大陆

关键芯片

制高点

决定性

基础软件

主导权技术标准核心专利

卡脖子核心器件高端设备

过去：分段互补合作模式

卡脖子技术识别

产业链自主可控

资源优化配置

如何精准科学地识别并批量形成具有战略意义的"卡脖子"问题清单，是我国实现关键核心技术突破要解决的首要任务，直接影响国家产业安全战略决策与创新资源配置

产业发展决策：广阔的社会需求

航空航天、轨道交通、新材料、新能源、电子信息等战略产业、未来产业对产业信息智能分析提出重大需求，呈现广泛、持续增长的发展态势。

政府决策需求

新兴产业培育

产业发展战略规划新兴产业布局指导产业能级提升路径未来产业培育方向

创新体系建设

关键核心技术突破创新链产业链融合科技创新体系优化产业创新生态营造

产业链安全

产业链风险预警供应链韧性提升产业链补链强链产业安全保障体系

企业创新需求

转型升级需求

市场竞争需求

技术创新路径规划
数字化转型方案
智能制造升级
绿色低碳发展

产业协同需求

上下游协同创新产业资源对接创新要素匹配产业生态融入

产业发展决策：广阔的社会需求

各地各行业在布局新兴/未来产业的过程中，由于对前沿技术、技术路线、应用场景、大规模产业化的时机等方面把握不准，难以做出有效选择。

产业技术监测跟踪

产业技术“弱信号”发现

技术演进路径分析

产业发展方向研判

前沿技术遴选研判

产业发展趋势预测

产业化应用场景研判

如何精准感知产业技术态势，科学研判产业发展方向，及时布局产业化应用场景培育新产品，成为未来产业大变局中区域/企业实现竞争突围的关键。

AI推动“科技创新”和“产业创新”的深度融合

推动创新链、产业链、资金链、人才链深度融合是解决当前乃至未来较长时间内加强产业创新发展、加快锻造新质生产力的重要抓手

产业经济面临机遇

·市场需求是驱动产业经济发展的关键因素全球经济发展，产品和服务的需求不断变化和升级，为产业经济提供了广阔的发展空间

·技术进步是推动产业经济发展的重要力量新技术、新工艺和新材料的涌现，为产业经济的升级和转型提供了强大的动力

·政策环境对产业经济的发展具有重要影响在政策的引导下，一些具有战略意义的新兴产业和领域将得到重点扶持，从而加速其发展和壮大

产业经济面临挑战

·产业基础能力不足

产业基础能力的不足是一个重要挑战。在核心技术、装备、原材料等方面，中国与国际先进水平之间存在明显差距

·产业创新生态亟需完善

产业的发展依赖于完整的产业体系,中国的基础设施、技术标准、检测认证和监管体系尚不健全，缺乏统一的战略规划和顶层设计

·人才基础较为薄弱

中国在基础研究和应用研究人才的比例较低，尤其缺少跨界型、复合型人才。以智能制造领域例，预计到2025年人才需求将达到900万人，面临高达450万人的人才缺口，中国亟需加强未来产业相关领域的人才培养和引进

情报服务

行业知识更深

业务流程更深

产业网链大模型

面向产业创新领域，以通用中文大模型为基座，注入数十亿海量产业数据和数百个产业链知识图谱，结合工具集、知识库和指令微调训练得到产业网链大模型。

• 底层拥有强大的产业数据和知识图谱数据，避免产业基础能力不足；

• 实现智能化、精细化的产业治理模式，推动产业创新与发展，加强产业创新生态完善；

• 具备强大的自动化处理产业信息能力、智能分析与预测，提升服务效率，降低人力成本。

CCAI Colaborative Inovation Centerof Artfial Intellgence byMOEand Zhejing Provincial Government (ZJU)

海量数据资源

通用产业数据

数据描述	数量
企业库工大学入工	1.9亿+ 教育
人才库	3000万+
专家库	3万+
全球海关	20亿+ 工智能教江大学
大宗商品交易行情	15亿+
政策	590万+
资讯	步汉 4000万+

招投标	14亿+
数据来源： 4	R CAII+

科技数据

数据描述	数量
专利学码	1.5亿+
论文	1.2亿+
书籍	浙江大学 291万
我百科	410万
数据来源：	研究中心 CAII+

行业数据

数据描述	数量
行业與情	1.3亿+
风险信息	200万+ 教学

海量数据资源

最具权威的产业链、供应链数据资源

产业链图谱数据：构建了10万级产业节点标准库，形成了100+产业链知识图谱，

• 进出口贸易数据：全球海关50亿条进出口记录，覆盖全球150多个国家、80%以上贸易量

招投标事件数据：汇聚了全国重大项目招采数据14亿+、招投标项目300万+、金额2.2万亿元+

• 产品供应链数据：整理了28大类通用零配件、10万件标准件模型、供应商数字产品1.9亿件

浙大CCAI产业链大数据中心

四链融合知识计算引擎

SupXmind基础平台：充分融合大模型+知识图谱的前沿技术，贯穿从“大数据”到“大知识”到“大模型”全流程，构建人机共生认知决策链路，帮助用户打造智能决策系统。

平台简介

OpenkS：由浙江大学牵头的国家科技创新2030“新一代人工智能”重大项目发布的科技成果

智能报告

产业网链大模型构成及服务框架

产业网链大模型使用海量产业数据和知识图谱训练，创新性地引入了“大小模型协同”的智能体框架，面向产业创新业务场景，提供了包括产业知识问答、产业报告生成、产业技术分析、产业文档理解等能力，向上为企业、园区、政府等产业认知决策需求机构提供专业产业知识服务。客户可私有化部署，也可根据需求替换模型基座和场景数据，快速输出定制化模型能力，此外可根据客户应用场景需求提供组件能力封装和应用系统集成。

典型应用场景

产业链治理决策应用

以项目强链、创新补链、培育拓链、监测固链等抓手，助力提升产业链竞争力、加强产业链安全性，寻找产业链发展新方向。

产业集群梯度引育

以“四链”融合为视角，治理侧厘清科技家底，助力创新态势洞察；服务测助力培育创新企业、科技人才招引、探索先进技术、寻找产业方向

科技攻关决策应用

围绕科技攻关“攻什么、谁来攻、如何服务攻关、科学评价”，推动全链条改革，通过双链融合认知、团队组建、资源配置、成果评价、需求凝练等功能实现高效协同

四链融合典型应用场景

产业链投资研究

结合大数据智能技术及专业投研力量，提供产业链深度研究、产业发展规划、产业链智能监测、产业链生态构建等服务。

产业链精准合作

以招商引智、产学研合作等为抓手，为集群治理提供助力；针对工业品产业，提供供求撮合信息情报以及技术情报，为撮合业务、金融服务业务和新产品研发提供帮助。

CCAI Colaborative Inovation Centerof Artificial Inteligence byMOEand Zhejang Provincial Government (ZJU)

应用实例：市域四链融合决策应用实践

宁波市产业链智能创新平台

特色创新

技术模式创新：首个产业链垂域大模型

iChainGPT为产业智能化服务开辟新模式服务模式创新：通过线上线下相结合的方式，提供产学研精准合作一站式服务，打通了四链融合落地最后一公里

绍兴市创谱数字化应用平台

特色创新

构建四链融合指数

构建企业成长模块

构建四链融合精准对接模型

CCAI Collaborative Innovation Center of Artificial Inteligence by MOE and Zhejiang Provincial Government (ZJU)

应用实例：市域四链融合决策应用实践

南平市绿色产业创新平台

杭州市成果转移转化服务平台

特色创新

绿色创新指数

关键技术挖掘

• 强补固拓模型

科技招商模型

投资决策模型

创新主体评价

特色创新

成果转化大模型

报告智能生成模型

企业需求预测模型

成果需求推荐模型

企业转化能力评价模型

CCAI Collaborative Innovation Center of Artificial Intelligence by MOE and Zhejiang Provincial Government (ZJU)

产业集群四链融合决策应用实践：中国视谷产业大脑

围绕“政府精准治理、产业生态培育、企业创新服务”的需求，运用知识计算、大数据等技术建设中国视谷产业大脑，驱动政府、园区、企业、人才等多元创新主体共谋产业发展

CCAI Colaborative Innovation Center of Artificial Inteligence by MOE and Zhejiang Provincial Government (ZJU)

产业集群四链融合决策应用实践：萧山机器人产业大脑

以夯实基础、高效上线、打造亮点为任务，以机器人产业面临的问题为导向，基于萧山机器人产业发展基础和规划，结合建设运营方已有的产品和经验，选取机器人产业链招商为切入点，建设全球机器人产业知识中心和产业链精准合作平台

浙江省经济和信息化厅

浙江省数字化改革数字经济组关于公布第二批工业领域行业产业大脑建设名单的通知

附件

第二批工业领域行业产业大脑建设名单

	序号	产业大脑名称	牵头单位
□		机器人行业产业大脑	杭州市萧山区人民政府
D	2	纸包装行业产业大脑	温州市瓯海区人民政府
	3	智能物流装备行业产业大脑	湖州市吴兴区人民政府

CCAI Collaborative Innovation Center of Artificial Intelligence by MOE and Zhejiang Provincial Government (ZJU)

产业集群四链融合决策应用实践

慈溪智能家电科技大脑

特色创新

宁波市高新区新材云创新材料科创大脑

家电知识问答大模型

用户决策树构建模型

赛道甄选5A模型

企业创新力评价模型

特色创新

建立数字化产业监管模式

构建综合资源服务体系

• 构建线上产业交流平台

总结：

新一代大模型的推理能力正在不断增强
基于高质量小数据集即可训练得到某个专业领域的高性能低成本推理模型
通过智能体 (AI Agent) 可以基于大模型实现各种较为复杂的智能应用系统

“推理大模型 + 知识图谱（知识库） + 智能体”是否会成为未来AI系统开发和应用的范式？

致天下之治者在人才，成天下之才者在教化，教化之所本者在学校

引教領育創恊先智新作行能

使能技术、赋能社会：人工智能是引领这一轮科技革命、产业变革和社会发展的战略性技术，具有溢出带动性很强的头雁效应，其作始也简，其将毕也必巨

浙# Y

肖俊博士、教授、博士生导师浙江大学计算机学院人工智能研究所电子邮件：junx@zju.edu.cn手机：13867424906 au.cx

从大模型、 智能体到复杂AI应用系统的构建以产业大脑为例

提纲

大模型推理能力快速提升

快速回望历史——大模型的产生

 ChatGPT所能实现的人类意图，来自于机器学习、神经网络以及Transformer模型的多种技术模型积累

里程碑： ChatGPT的成功

OpenAI 公司于2022年11月发布ChatGPT，短短三个月内日活跃用户从零增长至超过 3000 万，标志着对话式 AI 进入大众应用阶段

里程碑： ChatGPT的成功

AI 1.0时代

辨别式AI

大模型能力不断增长

早期大模型在推理能力上存在明显短板

大语言模型易产生幻觉，在数学推理方面表现在推理能力严重不足，体现在简单数值比较错误、多步推理能力弱、推理不一致等

多步推理错误

早期大模型在推理能力上存在明显短板

大语言模型易产生幻觉，在数学推理方面表现在推理能力严重不足，体现在简单数值比较错误、多步推理能力弱、推理不一致等

If \$f(x)= frac{3x-2H{x-2}\$,what is the value of \$f(-2) +f(-1)+f(0)\$? Express your answer as a common fraction.

Attempt 1:

\frac{8}{3}

Attempt 2:

Attempt 3:

Attempt 2:

Attempt 3:

51

Attempt 4:

Attempt 1:

Attempt 2:

Attempt 3:

Attempt 4:

无法在复杂的思维链中保持一致性

推理过程和答案不一致

怀疑论

Yann LeCun的批判观点：对纯粹扩大规模方法的根本质疑

Auto-Regressive Large Language Models (AR-LLMs)

横空出世：OpenAI o1/o3、DeepSeek-R1等

横空出世：OpenAI o1/o3、DeepSeek-R1等

• OpenAI o1/o3在数学和代码推理任务上的卓越表现

开源大模型DeepSeek-R1在MATH基准上达到87.2%的准确率

DeepSeek的 “aha moment”

小结一：

推理模型和思维链 (Chain of Thought, CoT)

推理大模型的发展

OpenAI-o系列推理模型

相较于GPT-4o o1大幅提升

什么是思维链 (CoT)

从浙大玉泉校区到紫金港校区如何最快出行？

什么是思维链 (CoT)

依靠大模型自己生成思维链并求解

DeepSeek-R1的推理过程

首个将思维链显式展示的开源模型

新对话

如何低成本实现推理模型？

如何低成本实现推理模型？

Less Is More for Reasoning

小结二：

智能体 (AI Agent) 是什么？

灵魂发问

• 大模型除了可以和我聊天、回答问题，到底还能干什么？

创意与内容创作

技术与编程

#

灵魂发问

• ChatGPT的回答

用大模型写邮件

智能体 (AI Agent)

一个具体的例子

• 撰写调研报告：调研特斯拉 FSD 和华为 ADS 这两个自动驾驶系统

第一步：智能体进行任务拆解，首先调用CollectLinks工具从搜索引擎进行搜索并获取Url地址列表

一个具体的例子

• 撰写调研报告：调研特斯拉 FSD 和华为 ADS 这两个自动驾驶系统

第二步：调用WebBrowseAndSummarize工具浏览网页并总结网页内容（此工具调用了LLM）

2024-04-21 17:27:39.125I INF0#特斯拉FSDVS华为ADS研究报告

第三步：调用ConductResearch工具生成调研报告（此工具调用了LLM）

一个具体的例子

• 撰写调研报告：调研特斯拉 FSD 和华为 ADS 这两个自动驾驶系统

自动发邮件

Deployment Phase

The growth trend on the field of LLM-based autonomous agents

Agent System 五层基石理论

Al apps building blocks

从大模型、智能体到复杂AI应用系统的构建以产业大脑为例

产业认知决策：国家战略需求

最具权威的产业链、供应链数据资源

特色创新

特色创新

新一代人工智能：机遇与挑战