《GPT-4 ，通⽤⼈⼯智能的⽕花》论⽂内容精选与翻译

引⾔：

《通⽤⼈⼯智能的⽕花：GPT-4早期实验》是3⽉最重要的⼀篇论⽂，引起了⼴泛的关注和讨论，但是论⽂⻓达 154⻚，中⽂版本还⽆⼈翻译。

本⽂挑选了论⽂中的重点结论并进⾏翻译，虽然已经是精选，但仍然超过万字。但考虑到 GPT5 明年才能⾯世，这篇⽂章在今年什么时候看都不晚。

微软的研究院在很早期就接触到了 GPT-4 的⾮多模态版本，并对⻬进⾏了详尽的测试。这篇论⽂就是整个的测试过程和结论。不管是测试⽅法还是结论都⾮常精彩，强烈推荐看⼀遍，传送门在此。https://arxiv.org/pdf/2303.12712v1.pdf

本⽂的翻译没有添加任何夸张的修辞（DeepL和ChatGPT贡献也很⼤），但⽂中透露的信息本⾝已⾜够震撼。

本⽂的⽹⻚链接，欢迎分享转发 https://orangeblog.notion.site/GPT-4- 8fc50010291d47efb92cbbd668c8c893

基本信息：

测试者：Microsoft Research

测试模型：GPT-4早期模型，⾮多模态版本。

群内每日免费分享5份+最新资料

300T网盘资源+40万份行业报告

为您的创业、职场、商业、投资、亲子、网赚、艺术、健身、心理、个人成长 …… 全面赋能！

关注公众号获取更多资料

添加微信，备
注“入群”
立刻免费领取
200套知识地图+最新研报

致终身学习者社群

行业报告/思维导图/电子书/资讯情报

收钱文案、增长黑客、产品运营、品牌企划、营销战略、办公软件、会计财务、广告设计、摄影修图、视频剪辑、直播带货、电商运营、投资理财、汽车房产、餐饮烹饪、职场经验、演讲口才、风水命理、心理思维、恋爱情趣、美妆护肤、健身瘦身、格斗搏击、漫画手绘、声乐训练、自媒体打造、效率软件工具、游戏影音……

扫码先加好友，以备不时之需

基本结论：

尽管是纯粹的语⾔模型，这个早期版本的GPT-4在各种领域和任务上表现出显著的能⼒，包括抽象、理解、视觉、编码、数学、医学、法律、对⼈类动机和情感的理解等等。

GPT-4的能⼒具有普遍性，它的许多能⼒跨越了⼴泛的领域，⽽且它在⼴泛的任务中的表现达到或超过了⼈类⽔平，这两者的结合使我们可以说GPT-4是迈向AGI的重要⼀步。

虽然GPT-4在许多任务上达到或超过了⼈类的⽔平，但总体⽽⾔，它的智能模式明显地不像⼈类。

GPT-4只是迈向通⽤智能系统的第⼀步。然⽽即使作为第⼀步，GPT-4也挑战了相当多的关于机器智能的假设，并表现出涌现的⾏为和能⼒，其来源和机制⽬前还不够清楚。

我们撰写本⽂的主要⽬的是分享我们对GPT-4的能⼒和局限性的探索，以⽀持我们关于技术⻜跃的评估。我们相信，GPT-4的智能标志着计算机科学领域及其他领域的真正范式转变。

研究⽅法：

本⽂的更接近于传统的⼼理学⽽不是机器学习，借鉴了⼈类的创造⼒和好奇⼼。我们的⽬标是⽣产新的和困难的任务和问题，令⼈信服地证明GPT-4远远超出了记忆的范围，并且它对概念、技能和领域有深刻和灵活的理解。我们还旨在探究GPT-4的反应和⾏为，以验证其⼀致性、连贯性和正确性，并揭⽰其局限性和偏⻅。我们承认，这种⽅法有些主观和不正式，可能⽆法满⾜科学评估的严格标准。然⽽，我们认为这是⼀个有⽤的和必要的第⼀步，以了解GPT-4的显著能⼒和挑战，这样的第⼀步为开发更正式和全⾯的⽅法来测试和分析具有更普遍智能的AI系统开辟了新的机会。

GPT-4的主要优势在于它对⾃然语⾔的掌握⽆可⽐拟。它不仅可以⽣成流畅和连贯的⽂本，还可以以各种⽅式理解和处理⽂本，如总结、翻译或回答⼀系列极其⼴泛的问题。此外，我们所说的翻译不仅是指不同⾃然语⾔之间的翻译，还包括语⽓和⻛格的翻译，以及跨领域的翻译，如医学、法律、会计、计算机编程、⾳乐等等。这些技能清楚地表明，GPT-4能够理解复杂的思想。

许多读者⼼中可能萦绕的⼀个问题是，GPT-4是否真正理解了所有这些概念，或者它是否只是在即兴发挥⽅⾯⽐以前的模型好得多，⽽没有任何真正深刻的理解。我们希望在阅读完这篇论⽂后，这个问题⼏乎会被反转，让⼈不禁思考：真正深刻的理解和即兴临场发挥的差别在哪⾥？⼀个能通过软件⼯程候选⼈考试的系统难道不是真正的智能吗？对于【真正深刻的理解】，也许唯⼀的测试⼿段，就是看它能否能产⽣新的知识，⽐如证明新的数学定理，⽽这⼀壮举⽬前对⼤语⾔模型来说仍然遥不可及。

⼀、多模态测试

智能的⼀个关键衡量标准是能够从不同领域或模态中综合信息，并能够在不同的情境或学科中应⽤知识和技能。GPT-4不仅在⽂学、医学、法律、数学、物理科学和编程等不同领域表现出⾼⽔平的熟练程度，⽽且还能够流畅地结合多个领域的技能和概念，展⽰出对复杂思想的令⼈印象深刻的理解。除了⾃然语⾔实验，我们还探索了两种可能出乎意料的模态，其中涉及视觉和⾳频（再次强调，我们的实验是在GPT-4的早期版本上进⾏的，该版本不是多模态的）。

我们探讨了GPT-4如何⽣成和识别不同模式的物体，如⽮量图、3D场景和⾳乐。我们表明，尽管GPT-4只接受过⽂本训练，但它能理解和处理多模态信息。

绘制图像

给模型指令，让模型使⽤可伸缩⽮量图形（SVG）⽣成猫、卡⻋或字⺟等对象的图像如下图

有⼈可能会说：这只是复制了训练数据中的代码，⽽且它只学习了⽂本概念，不可能理解视觉，怎么可能创建图像呢？

但模型确实掌握了视觉能⼒，以下是⼀些证据。

画⼩⼈

要求 GPT4 画出⼀个⼩⼈，测试其视觉能⼒

指令：使⽤TikZ代码，画出⼀个由字⺟组成的⼈。胳膊和躯⼲可以是字⺟Y，脸可以是字⺟O（添加⼀些⾯部特征），腿可以是字⺟H的腿。

指令：躯⼲有点太⻓，⼿臂太短，看起来像右臂在扛着脸，⽽不是脸在躯⼲的正上⽅。请你纠正这⼀点好吗？

指令：请添加衬衫和裤⼦。

⽣成 3D 模型

要求 GPT4 使⽤Javascript⽣成⼀个3D模型。

⼀个由漂浮的岛屿、瀑布和桥梁组成的幻想景观，⼀条⻰在空中⻜翔，最⼤的岛屿上有⼀座城堡。

与⼆维实验类似，我们要求GPT-4以各种⽅式修改三维模型，如添加、重新定位、重新着⾊物体和改变⻰的轨迹。GPT-4正确地完成了许多任务。最终结果如图所⽰。

这是⼀个有多条⻰在岛屿上空盘旋的三维动画：

空间理解

图像⽣成模型近⼏年的发展和探索很多，但它们⼤多缺乏空间理解能⼒，且不能遵循复杂指令。使⽤ GPT4 ⽣成草图可以极⼤地改善图像⽣成模型的效果。

指令：⼀张显⽰3D城市建造游戏截图。截图显⽰了⼀个地形，其中有⼀条从左到右的河流，河流下⽅是⼀⽚沙漠，有⼀座⾦字塔，⽽河流上⽅有许多⾼层建筑的城市。屏幕底部有4个按钮，分别是绿⾊、蓝⾊、棕⾊和红⾊。

GPT-4:

Stable Diffusion v2.1:

⾳乐能⼒

GPT-4 能够以ABC记谱法⽣成旋律，并在某种程度上解释和操作它们的结构。但是，我们⽆法让模型⽣成不常⻅的和声。

需要注意的是，ABC记谱法并不是⼀种⾮常⼴泛使⽤的格式，实际上，模型⽆法以ABC记谱法⽣成最著名的旋律，也⽆法识别这些著名旋律的谱⼦。（例如“欢乐颂”、“致爱丽丝”或“绿袖⼦”等⾳乐，尽管在⽹络上有很多这些⾳乐的ABC谱）

⼆、Code 测试

1.LeetCode 考题测试

为了防⽌模型作弊，此测试只⽤了模型训练完成之后所产⽣的新考题作为测试集。来⾃ LeetCode ，共100个问题。

并以⼈类的回答⽔平作为对⽐，⼈类样本中去除了全错的⽤户数据以保证质量。

k=1 是第⼀次尝试

k=5 是前五次尝试

考题分为容易、中等、困难三种级别。

考试结果如下：

⼈类 38.2分

GPT3.5 k=1 ，19分，k=5，36分，接近⼈类⽔平

GPT4 k=1 ，38分，达到⼈类⽔平，k=5 53 分，超过⼈类⽔平。

并且在中等和困难难度下，k=1就超过了⼈类。

	Easy		Median		Hard		Overall
pass@k	k=1	k=5	k=1	k=5	k=1	k=5	k =1	k=5
GPT-4	68.2	86.4	40.0	60.0 34.0	10.7	14.3	38.0	53.0
text-davinci-003 Codex (code-davinci-002)	50.0 27.3	81.8 50.0	16.0 12.0	22.0	0.0 3.6	3.6 3.6	19.0 13.0	36.0 23.0
Human (LeetCode users)
	72.2		37.7		7.0		38.2

Table 2: Zero-shot pass@1 and pass@5 accuracies (%) on LeetCode.

2.解决真实问题

代码测试题可以评估算法和数据结构的技能。然⽽，它们经常⽆法体现真实世界编码任务的全部复杂性和多样性，这需要专业领域知识、创造⼒以及整合多个组件和库的能⼒，以及更改现有代码的能⼒。为了评估GPT-4在更现实的环境中编码的能⼒，我们设计了端到端的真实世界编码挑战，涉及数据可视化、LATEX编码、前端开发和深度学习等领域，每个领域都需要不同的专业技能。对于每个任务，我们提供⾼级指令，要求GPT-4使⽤适当的语⾔和框架编写代码。在⼀些情况下，我们还会在代码编写后更改规格，并要求更新代码。

LATEX 测试

⽤LATEX写作对计算机科学家和数学家来说是⼀项重要的练习，即使是专家也会犯令⼈恼⽕的错误，由于其严格的语法和缺乏良好的调试器，每天需要⼏个⼩时才能修复。我们要求GPT-4将⽤半严格的（buggy）LATEX代码混合⾃然语⾔编写的⽚段传输到准确的LATEX命令中，这些命令可以⼀次性正确编译。ChatGPT3.5则只能⽣成⼀个因使⽤“#”和“\color”等错误⽽⽆法编译的⽚段。

GPT-4 vs ChatGPT

Prompt:

A function f is called {increasing)_{emphasize!} if f(s)K= f(t） holds for every s=t.Consider the formula:
limit_{x goes to O} {limit when n approaches infinite} underscore{
\matrix[[sum of i from 1ton (f(nx)-integral from O to x sin(nx)dx）,
（(x+2/8）2-5)/(4x-1/x2)/(n xor 3))，\，..,partialf(x/n)
over partial x*(e^{-i*omegan x}+3(x#7))，f inverse of (x mod n)]]
multiply\matrix{i,i，...,1\i,1，..,1}}
{grey_color{this gives us a good impression about the function}
Convert the above paragraph to LaTeX.

GPT-4:

A function f is called increasing if f(s)≤f(t) holds for every s≤t.Consider the formula:

ChatGPT:

A function \$f\$is called {\em increasing} if \$f(s) \leq f(t)\$ holds for every \$s \leq t\$.Consider the
formula:
\$\$\lim_{x\to O}\lim_{n\to\infty} \begin{bmatrix}\sum\limits_{i=1}^{n} (f(nx)-\int\limits_Ox
\sin(nx),dx)，\frac{(\frac{x}{2} +\frac{1}{8})2-5}{\frac{4x- \frac{1}{x2}}{n \operatorname{xor}
3},\vdots,\frac{\partial f(x/n)}{\partial x} \cdot (e{-i\omega n x} +3(x#7))，f{-1}(x \bmod
n）\end{bmatrix}\cdot\begin{bmatrix} 1\1\vdots\1 \end{bmatrix}\$\$
{\color{grey}This gives us a good impression about the function.} ]

代码理解能⼒测试

能执⾏代码⾃然就说明理解了代码。

需要注意的是，GPT-4不是在Python解释器上运⾏代码，⽽是⽤⾃然语⾔模拟代码。
这需要对代码的⾼度理解和推理，以及清晰传达结果的能⼒。

GPT-4 vs ChatGPT
Prompt: I have the following python code:
def to_str(i，j):
return str(i) +","+ str(j)
dict={
def DP(i，j)：
ifi<=oorj<=0:
dict[to_str(i，j)]=abs(4*j-3*i)
elif to_str(i，j） not indictey(：
arr=[
for ir in range(i):
for jr in range(j)：
arr.append(DP(ir,jr))
dict[to_str(i，j)]=max(arr)
return dict[to_str(i,j)]
GPT-4: What is the result of DP(3,4)? Write down the execution with intermediate steps.
DP(3,4):
-i>O and j >O,so we don't return from the first if statement
-to_str(3,4) is not in dict,so ve enter the second if statement
-arr=
- We loop through ir from Oto2,and jr from0 to 3
-to_str(o,O）is not in dict,so DP(O,O） returns abs(4*0-3*0）=0,dict={"o,0":0}，arr =[0]
-to_str(0,1）is not indict,soDP(0,1）returns abs(4*1-3*0）=4,dict={",":0,",1":4},arr=[0,4]
-to_str(,2)istindct,soD(,2）returnsabs(4*2-3*0）=8,dict={o,:0,"0,1:4,"0,2:8}，rr=[0,4,]
-to_str(0,3) is not in dict,so DP(0,3)returns abs(4*3-3*0)=12,dict= {"0,0":0，"0,1":4，"0,2":8,"0,3":12},arr =
[0，4,8,12]
-to_str(1,0） is not in dict，so DP(1,O） returns abs(4*0-3*1)=3,dict= {"0,0":0,"0,1":4,"0,2":8,"0,3":12,"1,0"：3}，
arr =[0,4,8,12,3]
-to_str(1,1)isnot in dict,so DP(1,1) enters the second if statement,arr1 =[]
-Weloop throughir fromOtoO,and jr from0to0
- to_str(O,O) is in dict,so DP(o,O) returns O,arr1 = [0]
-dict["1,1"]=max(arr1）=0,dict={"0,0"：0,"0,1"：4,"0,2"：8,"0,3"：12,"1,0"：3,"1,1"：0}，arr=[0,4,8,12,3,0]
-Contiuing vith the outer oop,to_str(1,2)isnotindict,so D(1,2)entersthe secondifstatement,arr2[]
-Weloopthroughir fromO toO,andjr fromOto1
-to_str(O,O)isin dict,so DP(o,0） returns O,arr2=[0]
-to_str(o,1)isindict,so DP(o,1）returns4,arr2=[o,4]
.(we skip some steps generated by the model here due to space constraints)
Continuing with the outer loop,to_str(2,3) is not in dict,so DP(2,3) enters the second if statement,arr6 =[]
-Weloop throughir fromO to1,andjr from0to2
-to_str(O,O)isin dict,so DP(o,0） returnsO,arr6=[0]
-to_str(O,1) is in dict,so DP(O,1) returns 4,arr6=[0,4]
- to_str(O,2)is in dict，so DP(o,2)returns8,arr6=[0,4,8]
-to_str(1,0）isin dict,so DP(1,0） returns3,arr6=[0,4,8,3]
-to_str(1,1）is in dict,so DP(1,1）returns0,arr6=[0,4,8,3,0]
-to_str(1,2)isin dict,so DP(1,2）returns4,arr6=[0,4,8,3,0,4]
-dict["2,"]=max(arr6）=8,dict={"0,：0,"0,1"：4，","：8,"0,"：12,"1,0：3,"1,1"：0，"1,2"：4，"1,"：8,"2,"：6,"2,1"：
3,"2,2"：4，"2,3":8},arr=[0,4,8,12,3,0,4,8,6,3,4,8]
- dict["3,4"]=max(arr)= 12
DP(3，4)returs12
ChatGPT:
The result of DP(3,4) is not specified in the given code. The function DP(i,j) is a dynamic programming function that uses a dictionary
tostore the result of previously computed values.The function first checks if the input valuesi and j are less than or equal to 0,
if so it assigns the value of abs(4*j-3*i) tothe key togtr(i,j) in the dictionary.If the key togtr(i,j)does not exist in the
dictionary,the function createsan emptyarray calledarrandthenusesnested for loops toappend the result of DP(ir,jr)to the array
forall possiblevaluesof irand jr,whereirranges fromOtoiand jr ranges fromOtoj.Finally,the functionassigns the maximum
value of arr to the key togtr(i，j)in the dictionary and returns that value.
Finally，the functionassigns the maximum value of arr to the key togtr(3,4) in the dictionary and returns that value.It is not clear from
thecode vhattheexpetedoutput of thefunctionis,asthespecificproblemthatthefunctionissolvingisnot providedAdditionally
the function uses nested for loops and recursion that can be computationally expensive and may cause the function to run into an infinite
loop if the base case is not veli defined.

三、数学

我们在两个通常⽤作基准的数学数据集上⽐较GPT-4、ChatGPT和Minerva（解决数学问题的最新LLM）的性能：GSM8K 和MATH 。GSM8K是⼀个⼩学数学数据集，包含8000个关于算术、分数、⼏何和单词问题等主题的问题和答案。MATH是⼀个⾼中数学数据集，包含12,500个关于代数、微积分、三⾓学和概率等主题的问题和答案。我们还在MMMLU-STEM数据集上测试模型，该数据集包含⼤约2000个多个选择（4个选择）问题，涵盖⾼中和⼤学STEM主题。这些数据集突出了GPT-4使⽤正确⽅法解决⾼中数学问题的能⼒。

结果：

GPT4 在每个数据集上的测试都超过了 Minerva，并且在两个测试集的准率都超过80% 。

Model	GSM8K	MATH	MMMLU-STEM
text-davinci-003	61.3%	23.5%	54.2%
Minerva	58.8%	33.6%	63.9%
GPT-4	87.1%	42.5%	82.7%

Table 3:Accuracy of different models on math data sets

再细看 GPT4 犯错的原因，68% 的错误都是计算错误，⽽不是解法错误。（ChatGPT3.5则容易犯解法错误）。

Error type	Percentage of wrong solutions
Arithmetic mistakes (including counting)	68%
Misunderstanding the problem statement Wrong approaches	10% 22%

四、与世界交互

1.⽹络交互

管理⽤户的⽇历和电⼦邮件

在下图，我们说明了GPT-4如何能够使⽤多个⼯具组合来管理⽤户的⽇历和电⼦邮件。⽤户要求GPT-4与另外两个⼈协调晚餐，并在⽤户有空的晚上预订。GPT-4使⽤可⽤的API来检索⽤户⽇历的信息，通过电⼦邮件与其他⼈协调，预订晚餐，并向⽤户发送详细信息。在这个例⼦中，GPT-4展⽰了它将多个⼯具和API组合起来的能⼒，以及对⾃由输出进⾏推理以解决复杂任务的能⼒（例如，“星期⼆或星期三晚上”与“周⼀到周四的任何⼀天”相结合，以及⽤户在星期⼆忙碌，导致只有周三是可⾏的选择）。

ChatGPT3.5（未显⽰在图中）⽆法完成相同的任务，⽽是编写了⼀个函数，其中“joe@microsoft.com” 通过电⼦邮件向 “luke@microsoft.com” 发送⼀个⽇期，并检查响应是否包含“yes”令牌。ChatGPT3.5也⽆法在给出其函数输出时做出响应。

Figure 5.4:Email and calendar execution

浏览⽹⻚

GPT-4使⽤搜索引擎和SUMMARIZE函数（它下载⽹⻚并根据提出的问题调⽤⾃⾝来进⾏总结）来浏览⽹络并回答问题。GPT-4能够识别相关的搜索结果并深⼊研究它们，总结它们，并提供准确的答案，即使问题包含错误的前提也是如此。虽然之前的LLM也有浏览⽹络能⼒，但GPT-4在这⽅⾯表现的更加出⾊，能够更准确地回答问题。

2.实体交互

虽然⽹络⼯具的使⽤是交互性的⼀个重要⽅⾯，但现实世界中的⼤多数交互并不是通过API进⾏的。例如，⼈类能够使⽤⾃然语⾔与其他代理进⾏通信，探索和操纵他们的环境，并从他们的⾏动结果中学习。这种具有实体的交互需要代理⼈理解每次交互的上下⽂、⽬标、⾏动和结果，并相应地进⾏适应。虽然GPT-4显然不是具有实体的，但我们探讨它是否能够通过使⽤⾃然语⾔作为⽂本接⼝来参与实体交互，包括模拟或真实世界的各种环境。

⽂字解密游戏

GPT-4浏览地图后对其“看到”的内容进⾏总结。在GPT-4的总结中，每个房间的门数与GPT-4在每个房间尝试的⽅向数完全相同。此外，GPT-4也会根据它们的名称和连接⽅式“想象”房间的外观。

GPT-4

GPT-4 summarizing what it “sees” after it navigates through the map. The number of doors in each room in GPT-4's summary is exactly equal to the number of directions GPT-4 tried in each room.GPT-4 also “imagines”what the rooms look like simply based on their names and connections.

Left:The true map and exploration path of GPT-4. Right:The map that GPT-4 generates. We see that GPT-4 accurately tracks all the locations of the room from the exploration and visualized them correctly.

左图：GPT-4的真实地图和探索路径。右图：GPT-4⽣成的地图。我们看到，GPT-4准确地跟踪了所有房间的位置并正确地可视化了它们

结论：

虽然GPT-4显然不是具有实体的，但上述⽰例说明了语⾔是⼀个强⼤的接⼝，使GPT-4能够执⾏需要理解环境、任务、⾏动和反馈，并相应地进⾏适应的任务。虽然它不能实际看到或执⾏动作，但可以通过替代者（例如⼈类）来执⾏这些任务。

五、与⼈类交互

⼼智理论对于与其他智能体的有效沟通和合作⾄关重要，因为它允许⼈们推断他们的⽬标、偏好、动机和期望，并相应地调整⾃⼰的⾏动和话语。此外，⼼智理论对于向他⼈学习也很重要，因为它使⼈能够解释他们的反馈、建议和⽰范。

在现实场景中进⾏⼼智理论测试

对话

⻢克：我不喜欢你昨天晚上对待杰克的⽅式

朱迪：你看到他在做什么了吗？他打了他哥哥的头!

⻢克：这并不能成为你对他⼤喊⼤叫的理由

朱迪：你想让我怎么做？让他打他的弟弟，然后什么都不说？

⻢克：不，我不同意

朱迪：那你为什么要为他辩护？

提问：⻢克的意图似乎是什么？

GPT4: ⻢克的意图似乎是要表达他对朱迪处理与杰克关系的⽅式的不满，并建议她可以更加冷静和尊重。

ChatGPT：根据谈话内容，⻢克的意图似乎是为杰克的⾏为辩护，并表达他对朱迪对待杰克的不满。

提问：朱迪如何看待汤姆的回应？

GPT4: 朱迪认为他的评论是对她的分析能⼒的攻击，也是对杰克的不当⾏为表⽰同情的表现。她的反应是防御性的和愤怒的，并质疑⻢克的动机。

ChatGPT：如果没有更多的⽂字，我不可能准确判断朱迪是如何接受⻢克的评论的。然⽽，根据朱迪的回应，她似乎并不同意⻢克的观点，⽽且可能对他为杰克的⾏为辩护感到沮丧。

提问：他们的谈话为什么没有实际进展？

GPT4: 他们没有取得进展，因为他们在谈论对⽅，没有倾听对⽅的观点。他们还在使⽤指责性和煽动性的语⾔，如 "辩解"、"吼叫"、"辩护 "和 "打⼈"。他们没有承认⾃⼰话语背后的情绪或需求，也没有试图找到⼀个共同点或解决⽅案。

ChatGPT：从所提供的信息中并不清楚为什么⻢克和朱迪在他们的对话中没有取得进展。有可能是他们的观点有冲突，或者在所讨论的问题上⽆法找到共同点。如果没有更多的背景，就很难确定他们没有取得进展的具体原因。

提问：他们中的任何⼀个⼈如何能改善情况以达成⼀致意⻅？

GPT4:他们中的任何⼀个⼈都可以通过⼏种⽅式来改善局⾯，以达成协议，⽐如说：

⻢克可以先承认朱迪对弟弟安全的担忧以及她对杰克⾏为的挫败感，然后解释他不是在为杰克辩护，⽽是担⼼喊叫对他们的关系和⾃尊的影响。他还可以问朱迪，她认为什么是管教杰克的更好⽅法，并提供他的⽀持和建议。

朱迪可以降低她的声⾳，调低她的怒⽓，并倾听⻢克的观点，不打断或评判。她也可以承认，她可能反应过度，她感到压⼒和不知所措。她还可以问⻢克，他认为与杰克沟通的更好⽅式是什么，并表⽰她愿意作为⼀个团队⼀起⼯作。

ChatGPT：⻢克和朱迪有⼏种⽅法可以尝试改善情况并达成协议：

他们可以尝试理解对⽅的观点，积极听取对⽅的观点。这可能有助于他们发现任何误解并找到共同点。
他们可以尝试妥协，找到⼀个能满⾜他们双⽅需求或关注的解决⽅案。
他们可以尝试使⽤尊重和⾮正⾯的语⾔来交流他们的想法和感受。
他们可以寻求中⽴第三⽅的帮助，如调解员，以促进交流并帮助他们达成协议。
如果对话变得过于激烈或困难，他们可以先休息⼀下，等以后双⽅都⽐较冷静，能够更有效地进⾏沟通时再回来讨论。

结果表明：GPT-4在需要推理他⼈⼼理状态的现实场景中优于ChatGPT，并且在社会环境中会为共同⽬标提出合作⾏动。GPT-4具有⾮常⾼级的⼼智理论⽔平。虽然ChatGPT在基本测试中也表现良好，但似乎GPT-4更加⼼思细腻，能够更好地推理多个⾏动者，以及各种⾏动如何影响他们的⼼理状态，特别是在更现实的场景中。

六、⾃回归模型的局限性

由于GPT-4是⾃回归的，每输出的下⼀个单词都是基于前⾯内容所进⾏预测，因此输出具有前向性。该架构不允许有 "内部对话 "或 "草稿存储"来进⾏多步骤计算或存储中间结果。虽然在某些情况下，这种限制可以通过使⽤不同的提⽰来补救，但在其他情况下，这种限制是⽆法缓解的。

问：150和250之间有多少个质数？

答：150和250之间有13个质数。（错误）

但是，如果我们要求模型列出这个范围内的质数，然后写出计数，它确实给出了正确的答案：

问：⾸先列出150和250之间的素数，然后输出这个列表的⼤⼩。答：这些质数是151，157，163，167，173，179，181，191，193，197，199，211，223，227，229，233，239，和241。所以这个列表的⼤⼩是18。（正确）

在算术/推理问题上缺乏计划性

有⼈可能会说，在上⾯的各种例⼦中，需要的 "内部记忆 "量是相当⼤的（⼈类可能也得借助草稿纸）。由于这个模型在⼀系列不同的任务上表现得⾮常好，这可能会让⼈相信它有合理数量的⼯作记忆。然⽽，即使对于更简单的任务，该模型也经常失败。我们考虑下⾯这个⾮常基本的例⼦：

2 * 8 + 7 * 6 = 58

7 * 4 + 8 * 8 =？

GPT4: 88

正确答案：92

这表明GPT-4对这类问题的⼯作记忆短得惊⼈。然⽽，如果GPT-4 "慢慢地 "回答问题，那么准确率就很容易上升。例如，如果我们要求模型使⽤以下提⽰写下中间步骤

以下表达式的值是多少？116 * 114 + 178 * 157 = ?

让我们⼀步⼀步地思考解决这个表达式，写下所有的中间步骤，然后才得出最终的解决⽅案。

当数字在区间1-40时，准确率达到100%，在区间1-200时准确率达到90%。

在⽂本⽣成时缺乏计划性

写⼀⾸短诗，要求最后⼀句和第⼀句话的单词相同，但顺序颠倒。

例如，如果第⼀句话是“我在晨光下看到了她的微笑”，那么最后⼀句话必须是“笑微的她了到看下光晨在我”。

然⽽，这个最后⼀句话在语法上不正确，所以请确保这⾸诗歌在语法和内容上都有意义。

GPT4:

可能的诗：

I heard his voice across the crowd（我在⼈群中听到他的声⾳）

⼀⾸吸引我的旋律

他唱着爱、希望和梦想

让我觉得我可以在梦想、希望和爱中获胜

他⽤旋律吸引我，

Crowd the across voice his heard I.（此句只做了词序颠倒，但语法错误）

这说明 GPT4 在⽣成⽂本时，未能提前考虑到最后⼀句。

这些例⼦说明了【预测下⼀个单词】这⼀范式的⼀些局限性，这些局限性表现为模型缺乏规划、⼯作记忆、回溯能⼒和推理能⼒。该模型依赖于⽣成下⼀个单词的贪⼼算法，对任务或输出没有任何全局或深刻的理解。因此，该模型擅⻓制作流畅和连贯的⽂本，但在解决⽆法按顺序处理的复杂或创造性问题⽅⾯存在局限性。这表明了两种类型的智⼒任务之间的区别：

增量任务。这些任务可以通过⼀次添加⼀个单词或句⼦来逐步或持续地解决，从⽽在解决⽅案的⽅向上取得进展。增量任务的例⼦包括编写⽂本摘要，回答事实问题，根据给定的韵律⽅案创作⼀⾸诗，或解决遵循标准程序的数学问题。

不连续的任务。在这些任务中，内容⽣成不能以渐进或持续的⽅式完成，⽽是需要某种“Eureka”的想法，不连续任务的例⼦包括解决需要新颖或创造性地应⽤公式的数学问题，写⼀个笑话或谜语，提出科学假设或哲学论点，或创造⼀种新的类型或写作⻛格。

七、⽅向与结论

通过以上对GPT-4在⼴泛的任务和领域的初步探索，为我们的结论【GPT-4在诸多任务和领域的能⼒⽔平与⼈类⽔平相当】提供了⽀持性证据。这⼀结论与OpenAI的发现⼀致。该模型的能⼒，在深度和通⽤性⽅⾯都得到了证明，这也表明单靠结构化的数据集和任务来做模型能⼒的基准测试是不够的，本⽂对模型能⼒和认知能⼒的评估在本质上已经更接近于评估⼈类的任务，⽽不是狭义的AI模型。

我们⼯作的核⼼主张是，GPT-4达到了⼀种通⽤智能的形式，确实显⽰了⼈⼯通⽤智能的⽕花。这表现在它的核⼼⼼智能⼒（如推理、创造⼒和推理），它习得的专业知识的领域（如⽂学、医学和编码），以及它能够执⾏的各种任务（如玩游戏、使⽤⼯具、解释⾃⼰）。

要创建⼀个可以被称为完整的AGI的系统，还有很多事情要做。在本⽂的最后，我们讨论了接下来的⼏个步骤，包括定义AGI本⾝，为AGI建⽴LLM中的⼀些缺失组件，以及更好地理解最近的LLM所展⽰的智能的起源。

定义AGI

在本⽂中，我们使⽤了⼀组⼼理学家在1994年对智能的定义作为指导框架来探索GPT-4的⼈⼯智能。这个定义抓住了智能的⼀些重要⽅⾯，如推理、解决问题和抽象，但它也是模糊和不完整的。它没有说明如何衡量或⽐较这些能⼒。此外，它可能没有反映出⼈⼯系统的具体挑战和机会，⼈⼯系统可能有与⾃然系统不同的⽬标和约束。因此，我们承认这个定义不是关于智能的最终说法，⽽是我们调查的⼀个有⽤的起点。

有⼤量正在进⾏的⽂献试图提出关于智能、⼈⼯智能和⼈⼯通⽤智能的更加正式和全⾯的定义，但其中没有⼀个是没有问题或争议的。例如，Legg和Hutter提出了⼀个⾯向⽬标的⼈⼯通⽤智能定义：智能衡量⼀个代理⼈在⼴泛的环境中实现⽬标的能⼒。然⽽，这个定义并不⼀定能捕捉到智能的全部范围，因为它排除了那些可以执⾏复杂任务或回答问题⽽没有任何内在动机或⽬标的被动或反应系统。

Chollet提出的定义强调了承认先验（相对于普遍性）的重要性，该定义将智能的中⼼放在技能获取效率上，或者换句话说，将重点放在1994年定义的⼀个组成部分上：从经验中学习（这也正好是LLM的关键弱点之⼀）。

Legg和Hutter对⼈⼯通⽤智能的另⼀个候选定义是：⼀个能做⼈类能做的任何事情的系统。然⽽，这个定义也是有问题的，因为它假设有⼀个单⼀的标准或衡量⼈类智能或能⼒的标准，⽽事实显然不是这样。⼈类有不同的技能、天赋、偏好和限制，没有⼀个⼈可以做任何其他⼈类可以做的所有事情。此外，这个定义还意味着某种⼈类中⼼主义的偏⻅，这对⼈⼯系统来说可能并不合适或不相关。

虽然我们在本⽂中没有采⽤这些定义中的任何⼀个，但我们认识到它们提供了关于智能的重要⾓度。

通往 AGI 之路

GPT4 或其他 LLMs 需要继续改进的⽅向包括：

信⼼校准：模型很难知道什么时候它应该有信⼼，什么时候它只是在猜测。模型会编造事实，我们称之为幻觉。如果是编造训练集⾥没有的内容属于开放域幻觉，如果是编造和prompt不⼀致的内容属于封闭域幻觉。幻觉可以⽤⼀种⾃信的、有说服⼒的⽅式陈述，所以很难被发现。有⼏种互补的⽅法来尝试解决幻觉问题。⼀种⽅法是改善模型的校准（通过提⽰或微调），使其在不可能正确的情况下放弃回答，或者提供⼀些其他可以⽤于下游的信⼼指标。另⼀种适合于缓解开放域幻觉的⽅法是将模型缺乏的信息插⼊到提⽰中，例如通过允许模型调⽤外部信息源，如搜索引擎（或其他 plugins）。对于封闭领域的幻觉，通过让模型对前⽂进⾏⼀致性检查会有⼀定程度的改善。最后，构建应⽤程序的⽤户体验时充分考虑到幻觉的可能性也是⼀种有效的缓解策略。

⻓期记忆：⽬前只有8000token（最新版可扩展到32k）。它以“⽆状态”的⽅式运⾏，且我们没有明显的办法来向模型教授新的事实。

持续性学习：模型缺乏⾃我更新或适应变化环境的能⼒。⼀旦训练好，就是固定的。可以进⾏微调，但是会导致性能下降或过度拟合。所以涉及到训练结束后出现的事件、信息和知识，系统往往会过时。

个性化：例如，在教育环境中，⼈们期望系统能够理解特定的学习⻛格，并随着时间的推移适应学⽣的理解⼒和能⼒的进步。该模型没有任何办法将这种个性化的信息纳⼊其反应中，只能通过使⽤ meta prompts，这既有限⼜低效。

提前规划和概念性跳跃：执⾏需要提前规划的任务或需要Eureka idea的任务时遇到了困难。换句话说，该模型在那些需要概念性跳跃的任务上表现不佳，⽽这种概念性跳跃往往是⼈类天才的典型。

透明度、可解释性和⼀致性：模型不仅会产⽣幻觉、编造事实和产⽣不⼀致的内容，⽽且似乎没有办法验证它产⽣的内容是否与训练数据⼀致，或者是否是⾃洽的。

认知谬误和⾮理性：该模型似乎表现出⼈类知识和推理的⼀些局限性，如认知偏差和⾮理性（如确认、锚定和基数忽略的偏差）和统计谬误。该模型可能继承了其训练数据中存在的⼀些偏⻅、成⻅或错误。

对输⼊的敏感性：该模型的反应对Prompts的框架或措辞的细节以及它们的顺序可能⾮常敏感。这种⾮稳健性表明，在Prompt ⼯程及其顺序⽅⾯往往需要⼤量的努⼒和实验，⽽在⼈们没有投⼊这种时间和努⼒的情况下使⽤，会导致次优和不⼀致的推论和结果。

⼀些提⾼模型精准度的扩展⼿段：

模型对组件和⼯具的外部调⽤，如计算器、数据库搜索或代码执⾏。

⼀个更丰富、更复杂的 "慢思考 "的深⼊机制，监督下⼀个词预测的 "快思考 "机制。这样的⽅法可以让模型进⾏⻓期的计划、探索或验证，并保持⼀个⼯作记忆或⾏动计划。慢思考机制将使⽤下⼀个词预测模型作为⼦程序，但它也可以获得外部的信息或反馈来源，并且它能够修改或纠正快速思考机制的输出。

将⻓期记忆作为架构的⼀个固有部分，也许在这个意义上，模型的输⼊和输出除了代表⽂本的标记外，还包括⼀个代表上下⽂的向量。

超越单个词预测：⽤分层结构代替标记序列，在嵌⼊中代表⽂本的更⾼层次的部分，如句⼦、段落或观点，内容是以⾃上⽽下的⽅式产⽣。⽬前还不清楚这种更⾼层次概念的顺序和相互依赖性的更丰富的预测是否会从⼤规模计算和“预测下⼀个词”的范式中涌现。

结语：所以实际发⽣了什么？

我们对GPT-4的研究完全是现象学的：我们专注于GPT-4能做的令⼈惊讶的事情，但我们并没有解决为什么以及如何实现如此卓越的智能的基本问题。它是如何推理、计划和创造的？当它的核⼼只是简单的算法组件--梯度下降和⼤规模变换器与极其⼤量的数据的结合时，它为什么会表现出如此普遍和灵活的智能？这些问题是LLM的神秘和魅⼒的⼀部分，它挑战了我们对学习和认知的理解，激发了我们的好奇⼼，并推动了更深⼊的研究。

关键的⽅向包括正在进⾏的对LLMs中的涌现现象的研究（最近的调查⻅

94[WTB+22]）。然⽽，尽管对有关LLMs能⼒的问题有强烈的兴趣，但迄今为⽌的进展相当有限，只有⼀些玩具模型证明了⼀些涌现现象[BEG+22, ABC+22, JSL22]。⼀个普遍的假设[OCS+20]是，⼤量的数据（尤其是内容的多样性）迫使神经⽹络学习通⽤的、有⽤的 "神经回路"，⽐如在[OEN+22, ZBB+22, LAG+22]中发现的那些，⽽模型的⼤尺⼨为神经回路提供⾜够的冗余和多样性，使其专门化并微调到特定任务。对于⼤规模模型来说，证明这些假设仍然是⼀个挑战，⽽且，可以肯定的是，猜想只是答案的⼀部分。在另⼀个思考⽅向上，模型的巨⼤规模可能有其他⼀些好处，⽐如通过连接不同的最⼩值使梯度下降更加有效[VBB19]，或者仅仅是使⾼维数据的平稳拟合[ES16, BS21]。

总的来说，阐明GPT-4等⼈⼯智能系统的性质和机制是⼀项艰巨的挑战，这个挑战已经突然变得重要⽽紧迫。

全⽂完，感谢你的阅读。如果对你有启发，可以转发给有好奇⼼的朋友。

PS：

⽂本很⻓，但依然只覆盖了不到原⽂三分之⼀的内容，所以有兴趣的朋友可以继续看英⽂原⽂，传送门 https://arxiv.org/pdf/2303.12712v1.pdf

GPT_4，通用人工智能的火花论文内容精选与翻译_-21页-WN4