消费电子

Ferret UI提升交互能力，AI助力苹果开启升级新周期

FerretUI通过任意分割UI界面实现全貌、细节捕捉，有望颠覆传统UI交互方式

Ferret-UI是一个为移动UI定做的大模型（MLLM），具备图片识别、定位和推理功能，有望通过整合于agent使用户直接交互操作手机，颠覆UI交互方式。FerretUI建立于Ferret多模态模型基础上，通过图像编码器、空间感知的视觉采样器和语言模型（LLM）架构实现图片精准理解与定位，并集成了"any re solution"(任意分辨率)技术灵活适应各种屏幕纵横比并捕捉细节。通过基础、高级分级训练，FerretUI得以具备基本的定位和理解UI组件能力以及进阶的AI交互推理能力。在与市场主流大模型的综合基准测试中，Ferret UI在除“查找文本”外的所有初级UI任务上超越了GPT-4V，在iPhone端高级UI任务的平均得分与GPT-4V非常相近，并具备一定的不同操作系统之间的迁移能力。

FerretUI催化iPhone规模出货、有望驱动升级周期，AI手机拉动上游价值量提升

类比5G，AI因其软硬件要求带来较高硬件承接需求，现有手机配置或难以支持AI应用，2023年全球智能手机出货量下降背景下，AI的高需求或将引领新的换机热潮，催化iPhone 出货提高；除此之外，Al将带来继功能手机向智能手机转变后最大的用户交互变革，显著改变市场规模，加快产品升级速度，手机市场格局快速变化下投资者或将面临AI驱动的iPhone新升级周期。同时AI手机对CPU、存储、无线通信、高频高速PCB等软硬件带来更高的要求，我们认为AI与手机结合将为上游产业注入新动能、推动潜在市场空间增长。

三星S24系列AI手机已获市场认可，看好苹果在AI手机领域的进展

在2023年手机市场下行的背景下，三星凭借“AI+手机”布局获得出货量增长。2024年1月三星率先推出S24系列AI手机，在通话、语音与文字翻译、写作与笔记等使用场景下通过“GalaxyAI”的助力，实现通话实时翻译、写作助手帮助使用者选择语言风格、笔记助手智能生成笔记、转录助手通过AI和语音进行文本转录总结以及首创的即圈即搜等实用功能。相较于上一季度，“AI大模型+手机”助力三星在 2024 年第一季度中出货由2023Q4的 5310万台增长至6010万台，占据的市场份额由16.8%增长至20.8%，位次重回首位。我们认为AI与手机的结合受到市场与消费者的认可，Fe ret UI与苹果iPhone系列手机的结合在未来将同样受到市场青睐；在此背景下，Ferret UI或助力苹果布局AI手机市场，我们看好苹果在AI手机领域的进展。

建议关注：

云端AI相关企业：寒武纪、海光信息（天风计算机覆盖）、龙芯中科、紫光国微、复旦微电、安路科技等。

边/终端AI 相关企业：瑞芯微、晶晨股份、恒玄科技、全志科技、乐鑫科技、富瀚微、中科蓝讯、炬芯科技、兆易创新、中颖电子、芯海科技等。

存储相关企业：江波龙（天风计算机联合覆盖）、澜起科技、聚辰股份、北京君正、普冉股份、东芯股份、佰维存储等。

AI 应用端相关企业：工业富联、大华股份、海康威视等。

风险提示：下游需求不如预期、库存去化不如预期、研发与技术升级不如预期、宏观环境变动带来的风险。

证券研究报告

2024年04月30日

投资评级

行业评级强于大市(维持评级)

上次评级强于大市

作者

潘睐分析师

SAC 执业证书编号：S1110517070005

panjian@tfzq.com

行业走势图

资料来源：聚源数据

内容目录

1.Ferret UI通过任意分割UI界面实现全貌、细节捕捉，有望颠覆传统UI交互方...3
1.1.Ferret模型图像理解和定位方面优势显著，“任意分辨率”技术分割子图像深度理
解手机UI. 3
1.2.FerretUI较市场主流大模型交互水平有较大提升，初级任务表现优异. .5
2.Ferret UI有望驱动iPhone升级周期，引领规模出货. .5
3.建议关注. .7
4.相关风险. 8

图表目录

图1：Ferret Ul的功能 3
图2：Ferret模型功能 3
图3：Ferret技术原理 4
图4：UI屏幕和自然图像分辨率比较 4
图5：Ferret-Ul-anyres架构 .4
图6：初级任务性能比较. .5
图7：高级任务性能比较 .5
图8：苹果AI技术递沿 6
图9：IDC统计数据.. 6
图10：AI手机新要求 7
图11：存储"价值"新周期

1.Ferret UI通过任意分割UI界面实现全貌、细节捕捉，有望颠覆传统UI交互方式

Ferret-UI是一个为AI手机定做的新大模型（MLLM），以Ferret多模型为基础。Ferret-UI吸收了Ferret模型在图像定位、理解上的优势，并在此基础上通过“任意分辨率”技术通过任意分割UI界面适应手机的各种横纵比并放大细节，做到将原有优势运用到手机UI上。通过进行初级/高级的分级训练，Ferret-UI得以完成图标识别、文本搜索等基础任务乃至交互对话、功能推理等复杂任务。最终Ferret-UI能够较好的识别手机应用的界面。并将自然语言翻译为界面操作点。这意味着FerretUI有望颠覆传统UI交互方式。

图1：FerretUl的功能

资料来源：Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs，天风证券研究所

将FerretUI与传统agent（如Siri）深入整合，用户预计可以直接通过与AI交互操作手机。Agent定义为以大模型为大脑驱动，能自动化执行完成复杂任务的系统。其基础架构可以简单划分为 Agent=大模型+规划技能+记忆+工具使用，其中 Fe rret-UI扮演了 Agent的“大脑”，在这个系统中提供推理、规划等能力。与广为人知的Chatgpt 相比，Agent多了实际去做的行动能力。在苹果系统中Siri 即为典型的agent，如果将Ferret Ul功能整合在Siri上，用户就可以通过自然语言与手机交互控制手机系统和App的功能，如语音控制 Siri直接打开外卖App下订单。

1.1.Ferret模型图像理解和定位方面优势显著，“任意分辨率”技术分割子图像深度理解手机 UI

Ferret模型能准确理解、定位并描述图像中的具体内容，无论这些内容呈现的形状和位置如何。在这个模型里，苹果提出了一个有着图像编码器、空间感知的视觉采样器和语言模型（LLM）的新架构。图像编码器处理图像输入，空间感知的视觉采样器采取类似处理3D点云的方法有效地提取不规则形状区域的视觉特征。二者通过结合区域的坐标信息和视觉采样获取的特征实现了一种混合区域表示方法，提高了对图像中不同形状区域的定位与理解能力。最终通过语言模型结合文本引用来理解、描述图像。用户可以基于画面中具体的区域与大模型展开更深入的对话。

图2：Ferret模型功能

资料来源：FERRET: REFER AND GROUND ANYTHING ANY-WHERE AT ANY GRANULARITY，天风证券研究所

图3：Ferret技术原理

资料来源：FERRET:REFER AND GROUND ANYTHING ANY-WHERE AT ANY GRANULARITY，天风证券研究所

“任意分辨率”技术实现UI界面全貌、细节捕捉，Ferret模型优势得以运用于手机。过往大模型因难以适应屏幕横纵比和细节不足问题难以理解手机UI。Ferret UI在Ferret模型基础上集成了“任意分辨率（anyresolution）”技术来灵活适应各种屏幕纵横比、放大细节并利用增强的视觉特征。该技术加入了额外的细粒度图像特征，其原理是“用放大镜分别观察”：1）将UI界面分割成子图像，以更好地捕捉UI界面的细节特征。2）预训练过的图像编码器和投影层为整个屏幕和分割出来的所有子图像单独编码，并形成图像特征。对于具有区域引用的文本，视觉采样器会生成相应的区域连续特征。3）最后统一被输入到大语言模型（LLM），LLM利用全图表示、子图表示、区域特征和文本嵌入来生成响应。

图4：UI屏幕和自然图像分辨率比较

Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs 7

Platform Resolution Train Test				iPhone Android
	Android 2560×1440 26,527 3,080		screen2words		78k
	1792×828	74,953 8,297	widget captions		109k
	828x1792	4,225 461	taperception		14k
	2436×1125	5,420 635	elementary tasks4	40kx7	40kx7
	1125×2436	87 17	advanced tasks	10kx4	10kx4
(a) Number of screens by resolution.				(b) Number of samples per training task.

Table 1: Mobile UI screen and training data statistics.
资料来源：Ferret-Ul: Grounded Mobile UI Understanding with Multimodal LLMs，天风证券研究所

图5：Ferret-Ul-anyres架构

资料来源：Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs，天风证券研究所

1.2.FerretUI较市场主流大模型交互水平有较大提升，初级任务表现优异

FerretUI几乎所有初级任务超越GPT-4V，高级任务平均得分与GPT-4V非常相近。苹果的团队比较了Ferret-UI和GPT-4V在所有UI任务上的性能：1）简单任务中，无论安卓/苹果系统，除了“查找文本”任务，Ferret-UI在包括OCR（图标识别）、查找组件等的所有任务超过了GPT-4V。2）高级任务中，苹果系统下，在详细描述、感知对话、交互对话和功能推断任务Ferret-UI展现了与GPT-4V相当的性能，并且在详细描述、功能推断任务上超过了GPT-4V。值得注意的是，Ferret-UI 的训练数据集不包含特定的安卓数据，但它在安卓平台的高级任务上仍表现出可观的性能，表明模型具有不同操作系统间的UI知识迁移能力。

图6：初级任务性能比较

资料来源：Grounded Mobile UI Understanding with Multimodal LLMs，天风证券研究所

图7：高级任务性能比较

	iPhone					Android
	DetDes	ConvP	ConvI	FuncIn	Avg	DetDes	ConvP	ConvI	FuncIn	Avg
Ferret[53]	2.5	34.7	23.7	19.1	20.0	2.0	33.9	24.9	21.9	20.7
Fuyu [6]	5.0	24.6	18.8	35.7	21.0	2.0	20.8	44.5	36.1	25.9
CogAgent [20]	53.1	59.7	74.8	71.9	64.9	28.0	58.5	90.1	90.5	66.8
Ferret-UI-base	64.5	75.0	77.5	76.5	73.4	90.8	72.8	79.3	79.2	80.5
Ferret-UI-anyres	97.4	92.1	91.1	95.2	93.9	86.4	70.3	50.2	77.3	70.1
GPT-4V [1]	66.8	105.6	198.5	86.3	114.3	126.6	109.4188.688.3A28.2

资料来源：Ferret-UI:Grounded Mobile UI Understanding with Multimodal LLMs，天风证券研究所

2.FerretUI有望驱动iPhone升级周期，引领规模出货

AI运用预计催化iPhone出货提高，换机潮下投资者或将面临AI驱动的iPhone新升级周期。AI技术带来的革新可类比于5G：1）需要硬件承接，引发换机潮。AI在硬软件对手机配置有了更高要求，现有手机配置或难支持AI使用。IDC数据显示2023年全球智能手机出货量同比下降3.2%，Canalys预测对于Al能力的需求有望刺激新一轮的换机潮，从而带动iPhone规模出货。2）带动新一轮升级周期。Al将带来继功能手机向智能手机转变后最大的用户交互变革，显著改变市场规模，加快升级速度。截至当地时间4月11日收盘，据科技记者MarkGurman透露M4芯片重点提升AI能力后，苹果股价出现近来罕见的飙升，大幅收涨4.3%，市值一夜暴涨8113亿人民币。

图8：苹果AI技术递沿

资料来源：科技狐公众号，AI前线公众号，VR陀螺公众号，来回科技公众号，集智学园公众号，腾讯科技公众号，天风证券研究所

“AI+手机"已获市场消费者认可,Ferret UI或将成为关键技术助推苹果布局AI手机市场。Al成为手机行业“兵家必争”之地，三星等品牌已取得一定成绩。2024年1月，三星率先在新发布的S24系列手机中引入全新“Galaxy AI”功能，带来功能与用户体验的提升：1）在语音通话方面基于AI与原生通话应用程序，实现通话实时翻译；2）在短信写作等方面写作助手协助用户根据不同场景选择语言风格，同时AI翻译为使用者提供AI文本翻译支持；3）在笔记方面，“Galaxy AI”的应用同样帮助三星笔记的笔记助手以及转录助手分别实现智能笔记摘要生成以及语音文本转换等功能；4）除此之外 AI赋能下 S24系列首创的“即圈即搜"功能以用户手势激发搜索功能，为在线搜索带来历史性的变革。IDC统计数据显示，相较于2023年第四季度，在“GalaxyAI”助力下，2024年Q1三星系列手机全球出货量由2023Q4的5310万部显著提升至6010万台，市场份额由16.8%上升至20.8%，排名重新上升至首位。以三星系列手机出货量的显著上升作为证明，AI模型与手机的结合获得了市场消费者的广泛认可，这表明FerretUI与苹果iPhone系列手机的结合将同样受到市场青睐。Ferret UI昭示了苹果对于iPhone手机高级交互控制的探索可能性，以及苹果对于重新定义AI时代手机的企图心。距离6月份的苹果WWDC开发者大会剩下不到2个月，看好苹果在AI手机领域的进展。

图9：IDC统计数据

资料来源：IDC官网，天风证券研究所

AI手机对软硬件需求提高，换机潮有望带动相关上游产业进入增长新周期。AI与手机结合所带来的高需求覆盖手机的各个组成部分：1）计算方面AI手机的高算力要求推动CPU设计思路转向全大核方案；2）存储方面大模型对高速、大容量提出新需求；3）WiFi7等新技术的产生有望满足AI对于数据传输的较高要求，对于高频高速PCB的需求同样应运而生；4）而散热方面AI手机对电磁屏蔽以及散热的要求显著上升；5）AI与手机的结合对于电池续航与健康管理同样产生更高的要求。

以存储为例：1）存储有望从“价格”步入“价值”周期。2019-2023年存储经历了供过于求到超跌这一轮周期变化，以减产控产告终。看好AI技术应用激发存储潜能，走出传统价格周期进入新价值周期。2）存储涨价建立信心，为新周期做准备。根据闪存市场数据，NAND价值已有80%涨幅，DRAM价值相对底部也有超30%涨幅，预计国产模组产品涨价趋势年内具有较好持续性。3）AI模型本地化，更大的存储容量和带宽为大势所趋，同时考虑到数据安全问题，国产存储厂商重要性凸显。AI手机将为产业链注入增长新动能，推动潜在市场空间增长。

图10：AI手机新要求

资料来源：半导体产业纵横公众号，央广网公众号，华为麒麟公众号，芯智讯公众号，雷峰网公众号，上证E互动，深交所互动易，头豹研究院公众号，电子发烧友网公众号，天风证券研究所

图11：存储“价值”新周期

表3：2023-2024年三大终端应用DRAM及NANDFlash单机平均搭载容量年成长率

Application	DRAM	NAND Flash
	2023	2024（E）	2023	2024（E)
智能手机	17.5%	14.1%	19.2%	9.3%
服务器	13.6%	17.3%	14.9%	13.2%
笔电	9.0%	12.4%	10.1%	9.7%

资料来源：闪存市场公众号，TrendForce，天风证券研究所

3.建议关注

云端AI相关企业：寒武纪、海光信息（天风计算机覆盖）、龙芯中科、紫光国微、复旦微电、安路科技等。

边/终端AI相关企业：瑞芯微、晶晨股份、恒玄科技、全志科技、乐鑫科技、富瀚微、中科蓝讯、炬芯科技、兆易创新、中颖电子、芯海科技等。

存储相关企业：江波龙（天风计算机联合覆盖）、澜起科技、聚辰股份、北京君正、普冉股份、东芯股份、佰维存储等。

AI 应用端相关企业：工业富联、大华股份、海康威视等。

4.相关风险

下游需求不如预期：下游市场需求如发生重大不利变化，或影响产品推广使市场规模下滑。

库存去化不如预期：如出现不可预测的市场需求的较大变化，导致市场需求出现下降，则可能出现一定的存货风险。

研发与技术升级不如预期：随着产品换代、技术升级、用户需求和市场竞争状况不断演变，Al相关产品研发及技术更新换代不如预期或影响整体产业发展。

宏观环境变动带来的风险：受贸易政策、宏观经济形势等因素影响，全球经济和半导体产业发展注入了新的不确定性和风险。

分析师声明

本报告署名分析师在此声明：我们具有中国证券业协会授予的证券投资咨询执业资格或相当的专业胜任能力，本报告所表述的所有观点均准确地反映了我们对标的证券和发行人的个人看法。我们所得报酬的任何部分不曾与，不与，也将不会与本报告中的具体投资建议或观点有直接或间接联系。

一般声明

除非另有规定，本报告中的所有材料版权均属天风证券股份有限公司（已获中国证监会许可的证券投资咨询业务资格）及其附属机构（以下统称“天风证券”）。未经天风证券事先书面授权，不得以任何方式修改、发送或者复制本报告及其所包含的材料、内容。所有本报告中使用的商标、服务标识及标记均为天风证券的商标、服务标识及标记。

本报告是机密的，仅供我们的客户使用，天风证券不因收件人收到本报告而视其为天风证券的客户。本报告中的信息均来源于我们认为可靠的已公开资料，但天风证券对这些信息的准确性及完整性不作任何保证。本报告中的信息、意见等均仅供客户参考，不构成所述证券买卖的出价或征价邀请或要约。该等信息、意见并未考虑到获取本报告人员的具体投资目的、财务状况以及特定需求，在任何时候均不构成对任何人的个人推荐。客户应当对本报告中的信息和意见进行独立评估，并应同时考量各自的投资目的、财务状况和特定需求，必要时就法律、商业、财务、税收等方面咨询专家的意见。对依据或者使用本报告所造成的一切后果，天风证券及/或其关联人员均不承担任何法律责任。

本报告所载的意见、评估及预测仅为本报告出具日的观点和判断。该等意见、评估及预测无需通知即可随时更改。过往的表现亦不应作为日后表现的预示和担保。在不同时期，天风证券可能会发出与本报告所载意见、评估及预测不一致的研究报告。

天风证券的销售人员、交易人员以及其他专业人士可能会依据不同假设和标准、采用不同的分析方法而口头或书面发表与本报告意见及建议不一致的市场评论和/或交易观点。天风证券没有将此意见及建议向报告所有接收者进行更新的义务。天风证券的资产管理部门、自营部门以及其他投资业务部门可能独立做出与本报告中的意见或建议不一致的投资决策。

特别声明

在法律许可的情况下，天风证券可能会持有本报告中提及公司所发行的证券并进行交易，也可能为这些公司提供或争取提供投资银行、财务顾问和金融产品等各种金融服务。因此，投资者应当考虑到天风证券及/或其相关人员可能存在影响本报告观点客观性的潜在利益冲突，投资者请勿将本报告视为投资或其他决定的唯一参考依据。

投资评级声明

类别	说明	评级	体系
股票投资评级	自报告日后的6个月内，相对同期沪	买入	预期股价相对收益20%以上
		增持	预期股价相对收益10%-20%
		持有	预期股价相对收益-10%-10%
行业投资评级	自报告日后的6个月内，相对同期沪	卖出强于大市	预期股价相对收益-10%以下预期行业指数涨幅 5%以上
		中性	预期行业指数涨幅-5%-5%
		弱于大市	预期行业指数涨幅-5%以下

天风证券研究

北京	海口	上海	深圳
北京市西城区德胜国际中心B	海南省海口市美兰区国兴大	上海市虹口区北外滩国际	深圳市福田区益田路5033号
座11层	道3号互联网金融大厦	客运中心6号楼4层	平安金融中心71楼
邮编：100088	A栋23层2301房	邮编：200086	邮编：518000
邮箱：research@tfzq.com	邮编：570102	电话：(8621)-65055515	电话：(86755)-23915663
	电话：(0898)-65365390	传真：(8621)-61069806	传真：(86755)-82571995
	邮箱：research@tfzq.com	邮箱：research@tfzq.com	邮箱：research@tfzq.com

天风证券-消费电子行业报告：Ferret UI提升交互能力，AI助力苹果开启升级新周期-240430.pdf