可信AI技术和应用进展

白皮书

2023

摘要

人工智能的飞速进步和应用带来了前所未有的机遇和挑战，也将可信人工智能推向产业发展的前台。2021 年，中国信通院《可信人工智能白皮书》首次系统提炼出业内较为统一的可信AI 特征要素，在安全鲁棒、隐私保护、公平性、可解释的大框架下，可信 AI 正在金融、保险、制造、医疗等领域加速落地。伴随人工智能技术底座不断夯实和大模型、AIGC等的爆发式增长，人工智能迈出了走向通用人工智能的关键一步，2023 年4 月中共中央政治局会议强调“重视通用人工智能发展，营造创新生态，重视防范风险”，可信 AI成为新阶段平衡创新与风险的重要技术手段。

本报告基于统一的可信 AI认知维度，梳理总结可信 AI 技术和应用发展现状，提炼面向新阶段大模型和 AIGC 引发的新需求，形成以技术为保障的可信AI评估体系和工具。全文主要观点如下：

一是归纳了可信AI发展变迁的产业技术背景，即近期算法、算力、数据基础不断夯实，人工智能固有技术风险持续放大，可信 AI技术成为AI领域关键底层能力，各国也正在围绕生成式人工智能监管、人工智能伦理等推动治理。

二是梳理了现阶段可信AI 四大技术方向发展情况。可信 AI 已在行业领域落实成具体产品和实践案例，总体上正从创新整合解决方案阶段迈向形成可信系统机制的阶段，完整的实践链路、健全的标准和系统机制将逐步落地。

三是概括了面向大模型和 AIGC 的可信 AI 探索，即大模型时代下可能面临的安全可信挑战，主要包括大模型的生成式攻击和防御、

大模型自身的安全风险和隐患、大模型的可解释性和公平性问题等三大类。

四是构建了以技术为保障的可信AI评估体系，面向产业发展需求，构建了包括隐私保护检测、可解释性检测、公平性检测和鲁棒性检测的可信AI检测指标体系，并提出了具体的评估内容、指标和方式，并可进一步赋能大模型与 AIGC 发展。

最后，本白皮书从技术、产业、生态和监管维度对可信人工智能发展提出了建议，对趋势进行了展望，将迎来研究应用更加均衡、内在动力更加多维、外在监管更加全面的发展局面。

第一章人工智能迈向发展新阶段 .......
1.1 人工智能发展迎来全新时代 ..
1.2人工智能可信面临全新挑战
1.3全球人工智能治理机制进展 ....
1.3.1 基于政策法规的治理机制
1.3.2 基于生态共识的治理机制 .
第二章可信AI产业实践深入发展..
2.1 应用 AI 鲁棒性技术对抗恶意攻击 - 12 -.
2.1.2 提升图像伪造识别能力 .. - 13 -- 14 -.
2.1.3 提升生物核身检测能力 . - 16 -.
- 17 -
2.2.1 用于模型归因的可解释 - 18 -
2.2.2 复杂关系网络的可解释 - 20 -
- 21 -.
2.3.2 改善信息茧房现象 .. 25 -
2.3.3 强化弱势群体保护 .. 26 -
2.4 AI 应用实践中的数据模型安全和隐私保护 - 26 -
2.4.1 终端社交内容中的隐私保护. - 28 -
- 28 -.
2.4.3 多方安全计算助力行业跨机构协作 .. - 30 -.
- 31 -.
3.1 大模型和 AIGC 的发展与生态 . - 31 -.
3.1.1 大规模深度学习模型发展历程. - 31 -...
3.1.2 大模型时代下AIGC的产业生态与可信挑战.. - 33 -...
3.2 大模型的生成式攻击和防御
3.2.1 大模型的生成式攻击 - 35 -
3.2.2 面对生成式攻击的防御挑战 37
3.3 大模型自身的安全风险与隐患 39 -
3.3.1 大模型的数据泄漏问题 39
3.3.2 大模型的伦理道德问题 - 42 -
3.3.3 大模型的攻击对抗问题 - 44 -
3.4 大模型的可解释性及公平性 .. - 47 -
3.4.1 大模型的可解释性. . - 48 -
3.4.2 大模型的公平性 . .. - 49 -
第四章以技术为保障的可信 AI 评估. . - 50 -
4.1 可信 AI 检测工具 . . - 50 -
4.2 可信 AI 检测框架 - 53 -
4.3 检测实例分析.... - 55 -
第五章发展建议和趋势展望 57
5.1 发展建议.. 57
5.1.1 技术维度.. 57 -
5.1.2 产业维度... 59 -
5.1.3 生态维度.. 60 -
5.1.4 监管维度.. - 61 -
5.2 未来展望 . - 62 -
英文缩略语对照表 . . - 64 -

插图目录

图 1-1 可信人工智能技术发展
图 1-2 大模型引发的不同维度风险
图 1-3 典型场景风险分析.
图 1-4 可信人工智能技术与监管治理进程 .
图 2-1 可信AI发展阶段判断
图 2-2 AI 鲁棒性的一般技术架构 3
图 2-3 梯度攻击以微小扰动产生错误识别. - 15 -.
图 2-4 常见可解释性技术分类... - 18 -..
图 2-5 图模型可解释案例 ... - 21 -...
图 2-6 互联网法庭智能审理案例. - 22 -.
图 2-7 公平性 AI 的常见问题和方法 .. - 23 -..
图 2-8 跨主体隐私计算的常见方法. - 27 -.
图 2-9 TEE-DP 算法方案. - 29 -..
- 33 -.
- 34 -.
图 3-3 大模型和 AIGC 的生成式攻击 .... - 36 -
图 3-4 生成式模型的AI生成内容甄别. 38 -
图 3-5 基于模型水印的身份标识方法的逻辑架构. 39 -
图 3-6 大模型的提示语泄漏风险.... 40 -
图 3-7 大模型学习敏感数据导致的隐私泄漏 ............................................................................................................................ 41 -
图 3-8 承载大模型的软件漏洞导致的数据泄漏 42 -
图 3-9 大模型的提示语安全风险. - 45 -
图 3-10 大模型的数据安全风险 - 46 -..
图 3-11 大模型的模型安全风险 .. - 47 -...
图 3-12 大模型意识形态偏见所引发的公平性问题. - 50 -....
图 4-1 当前面向可信 AI 各子领域的常见工具. - 51 -.....
图 4-2 蚁鉴平台测评流程和报告示例. - 56 -....

表格目录

表 1-1 近期代表性政策法规
表 1-2 近期代表性监管框架
表 1-3 近期可信相关代表性标准 .
表 1-4 近期代表性企业可信探索.
表 4-1 可信 AI 检测指标体系 53 -

第一章人工智能迈向发展新阶段

1.1 人工智能发展迎来全新时代

优化算法、通用数据、硬件算力推动人工智能技术底座不断夯实。算法层面，已开启千亿级甚至万亿级参数量预训练模型的研发热潮，助推深度学习技术突破，加速人工智能外溢性和普惠性发展。数据层面，人工智能快速发展推动数据规模不断上升，并呈现多模态发展态势，数据服务进入深度定制化阶段，各方正在积极建设高质量数据集以支撑知识驱动的人工智能发展。算力层面，单点算力持续突破，面向训练和推理用的芯片快速演进，新架构不断研究，类脑芯片、存内计算、量子计算等加快探索。近期，大模型为代表的生成式人工智能正在发挥纽带效应，以通用智能体、具身智能和类脑智能等为代表的通用人工智能可能带来新一轮生产力范式变革。

政策关注引导人工智能赋能产业应用，数实融合推动经济发展。各国将人工智能作为构建核心竞争力的重要领域之一，加快部署人工智能工程化落地，产业规模持续扩大。IDC数据显示，2022 年全球人工智能市场收入达 4497 亿美元，同比增长 17.3%；预计 2023年收入达5373亿美元，同比增长19.5%。中国依托庞大的制造业规模、丰富的应用场景和海量数据资源，加强数实融合布局，人工智能在制造、金融、医疗、交通、教育、商业等诸多垂直领域助推数字化转型，并不断催生出具有产业通用性的新产品新业态，中国信通院数据研究中心统计，截至2023年一季度，全球人工智能企业超

28000 家，中国约占 15%。

大模型降低人工智能应用门槛，推动产业应用创新，应用生态初步显现。大模型是传统人工智能能力的集大成者和新业态的创造者，一方面降低人工智能应用门槛，通过零样本、小样本学习即可获得领先的效果，同时依托“预训练+精调”等开发范式加速 AI 工程化应用落地进程。另一方面驱动产业应用创新，使传统任务系统架构大幅简化，降低生产成本，提升应用效果和效率，加速数据和模型应用闭环建设，推动形成智能能力的生产和消费模式，在广告、营销、文娱、教育等场景快速适应并实现智能化升级，塑造形成新兴商业模式，引领数字经济新浪潮。

1.2 人工智能可信面临全新挑战

人工智能固有技术风险持续放大，可信 AI 技术成为 AI 领域关键底层能力。以深度学习为核心的人工智能技术在应用中暴露出由其自身特性引发的风险隐患：一是深度学习算法存在的设计漏洞、恶意攻击等问题引发安全风险，人工智能系统可靠性难以得到足够信任；二是算法的高度复杂性和不确定性、模型运行的强自主性导致“黑箱”问题和不可解释；三是数据中已经存在的偏见歧视可能被算法进一步固化，导致生成的智能决策形成偏见；四是训练数据的收集、使用、共享可能导致对个人隐私的侵犯和滥用，用户常常需要在AI带来便利与隐私保护之间寻求平衡。以AI安全和鲁棒性、隐私保护、公平性和可解释性为核心的可信AI技术在数据安全、算法安全和系统安全等方面持续发力，成为关键的人工智能底层能力，并正由单点的可信AI技术解决方案发展向包含事前评估、事中攻防和事后治理的人工智能模型全生命周期管理发展。

图 1-1 可信人工智能技术发展

大模型在技术、产业和社会等多方面引发新问题，可信需求更加凸显。从技术维度来看，大模型使用深度神经网络结构，其继承于深度学习的自有技术局限进一步放大，模型不可解释、数据模型窃取等问题凸显。从产业维度来看，大模型潜在的垄断风险，在赋能产业的同时可能发生产业链风险传递；大模型本身参数规模大、性能相对较强，而配套的标准、评估体系的不健全、不规范将威胁产业安全。从社会维度来看，大模型高效生成信息的能力可能带来对弱势群体权利的侵害、对劳动力的替代，并可能降低有害信息传播的门槛，增大社会安全风险。随着 AI 技术向巨量参数大模型和通用人工智能深入发展，在模型尤其是生成式大模型提供公众服务之前，相应的可信AI 技术问题更加复杂，既需要安全意识的长期到位，也需要技术上的投入和突破。

图 1-2 大模型引发的不同维度风险

受益于大模型技术快速迭代及“模型即服务”趋势显现，传统企业可享受低成本构建应用模型的便利，经济社会进入与人工智能全面融合发展新阶段，也可能形成新的风险。参考《中国新一代人工智能科技产业发展（2023）》对人工智能应用领域的判断，我们分析了大模型时代智慧城市、制造、金融、教育、医疗等领域应用风险：智慧城市可能因数据过度收集而增加数据监管难度，威胁公民、企业甚至国家安全；制造场景数据合规性、可信度未知，质量和安全层面均存有疑问，可能因错误指令导致机器人运行故障；医疗场景一旦生成错误诊疗方案，严重情况下将有致命风险，且事故责任主体难以确认；金融场景涉及客户隐私保护和公平性问题，如对特定人群的信用偏见产生贷款等服务歧视；教育场景涉及误导及帮助学生利用生成类工具投机取巧的学术伦理问题；新媒体和数字内容场景下可能存在虚假内容生成、知识产权归属和侵犯等问题。

图 1-3 典型场景风险分析

1.3 全球人工智能治理机制进展

1.3.1 基于政策法规的治理机制

各地区人工智能治理各有亮点，整体向以“硬法”为保障的风险防控体系迈进，正在围绕生成式人工智能监管、人工智能伦理治理以及人工智能数据版权等议题发布政策法规，并开始出现人工智能治理评估框架和工具包，促进负责任、合乎道德的人工智能发展。

来源：中国信息通信研究院

图 1-4 可信人工智能技术与监管治理进程

近期，大模型和AIGC的兴起带来可信AI治理新机遇和挑战。美国《人工智能权利法案蓝图》提出五项基本原则以避免人工智能系统滥用带来的危害，其中将公平和隐私保护放在首要位置；欧盟《人工智能法案》谈判授权草案重点确保人工智能系统由人监督，实现安全、透明、可追溯、非歧视和环保；意大利、西班牙、法国等政府于近期对ChatGPT所涉投诉展开调查，我国发布《互联网信息服务深度合成管理规定》《生成式人工智能服务管理办法（征求意见稿）》，引导新技术健康发展；2023 年 4 月中共中央政治局会议也强调“要重视通用人工智能发展，营造创新生态，重视防范风险” 在地方层面，2021 年，上海率先成立国内首个可信 AI 评测中心，此外，上海发布的首部人工智能省级法规《上海市促进人工智能产业发展条例》提出探索分级治理和沙盒监管，设立人工智能伦理专家委员会；北京将推动实行包容审慎监管试点、建设通用人工智能领域科技伦理治理公共服务平台。

表 1-1 近期代表性政策法规

国家/组织发布时间政策法规内容
英国	2023年3月	发布人工智能新监管框架的提案《支持创新的人工智能监管方法》，涉及安全性、透明性、公平性、问责制、竞争和赔偿等五个方面。
英国	2023年5月	英国竞争监管机构对人工智能展开调查，专注于大型语言模型和生成人工智能等“基础模型”。
K	2022年10月	白宫发布《人工智能权利法案蓝图》，提出五项原则：（1）安全有效的系统；（2）算法歧视保护；（3）数据隐私；（4）通知和解释清晰、及时和可访问；（5）设计自动系统失败时使用的替代方案、考虑因素和退出机制。
	2023年3月	美国科技政策办公室发布“促进隐私保护数据共享和分析的国家战略”，推进建设保护隐私数据共享和分析(PPDSA)技术，在公平的同时促进创新、建立问责机制、尽量减少弱势群体的风险。
	2023年4月	美国商务部国家电信和信息管理局发布《人工智能问责政策征求意见》。
G7	2023年4月	七国集团数字与科技部长发布联合声明，同意对人工智能采取基于风险的监管，计划开展关于生成式人工智能的讨论。
中国	2022年11月	互联网信息办公室、工业和信息化部、公安部发布《互联网信息服务深度合成管理规定》，强调不得利用深度合成服务从事法律、行政法规禁止的活动，要求深度合成服务提供者落实信息安全主体责任。
中国	2023年4月	中国国家网信办就AIGC研发和应用发布了《生成式人工智能服务管理办法》征求意见稿
韩国	2023年5月	将在2023年9月之前制定有关机器学习数据生成内容的新标准和指导方针，以最大限度地减少围绕人工智能生成内容的知识产权争议，确保数字合法性和可持续性。
欧盟	2023年5月	欧洲议会通过《人工智能法案》提案的谈判授权草案，新版本补充了针对通用目的人工智能和GPT等基础模型的管理制度，扩充了高风险人工智能覆盖范围，要求生成式人工智能模型的开发商必须在生成的内容中披露“来自于人工智能”，并公布训练数据中受版权保护的数据摘要等。
澳大利亚	2023年6月	考虑进行全面人工智能立法。工业部长EdHusic发布两份讨论档案就如何使用人工智能征求各界意见，表示可能考虑在被视为高领域的领域实施禁令。

来源：根据公开资料整理

相关国家和组织也正在发布人工智能监管测试框架、可信人工智能风险管理评估指南、人工智能伦理建议等开放式规则，坚持共治性、灵活性原则，强化协同治理，重点关注技术创新与安全监管的兼顾方法，促使AI向善，打造可信人工智能良性生态。

表 1-2 近期代表性监管框架

国家/组织	发布时间内容
新加坡	2022年5月	发布全球首个人工智能监管测试框架和工具集A.I.Verify，旨在融合测试和过程检查，促进企业和相关利益者之间透明性。
美国-欧盟贸易和技术委员会	2022年12月	发布可信人工智能和风险管理评估与衡量工具联合路线图，为人工智能风险管理和可信人工智能方法提供信息，推进与人工智能相关的国际标准机构的协作方法。
美国国家标准与技术研究院	2023年1月	发布 NISTAI100-1《AI风险管理框架1.0》，为设计、开发、部署、应用AI系统的组织提供参考，以使之能够在控制多样性风险的同时，促进可信赖、负责任AI系统的开发与应用。
美国国家科学基金会与澳大利亚国家科学机构CSIRO	2023年2月	合作资助解决负责任和合乎道德的人工智能问题，加速在负责任和道德的人工智能解决方案方面开创性研究。
联合国教科文组织	2023年3月	在ChatGPT应用取得巨大成功的背景下，呼吁各国立即全面实施其《人工智能伦理建议》。该建议书首次于2021年11月发布，是现有人工智能伦理框架之下的第一份全球公认的准则性文书，形成了全面包容、可执行性强的人工智能伦理治理框架。
美国商会技术合作中心	2023年3月	发布《人工智能委员会报告》，旨在抓住该技术广泛应用下的窗口期，鼓励人工智能创新和发展的同时规避因技术进步导致的国家安全风险。
联合国	2023年6月	计划于年底设立一个高级AI咨询机构，定期审查AI治理安排，并就这些安排如何与人权、法治和共同利益保持一致提出建议。

来源：根据公开资料整理

1.3.2 基于生态共识的治理机制

近期人工智能国内外标准研究主要涉及安全性、可靠性、公平性、风险管理等领域，并开始注重人工智能稳定性、透明性，以及人工智能应用后为组织和社会带来的伦理道德影响。但总体来看，现阶段针对通用大模型的标准仍较为欠缺，没有与人工智能的总体治理框架紧密结合。2021年，中国信通院成立人工智能工程化推进委员会大模型工作组，联合各方共同梳理明晰大模型发展痛点难点问题，形成技术和应用评测标准体系；中国国家人工智能总体组已于2023年5月设立大模型专题组，并启动大模型标准化选题建议。

表 1-3 近期可信相关代表性标准

组织时间标准名称
ISO/IEC	2022年4月	《信息技术IT治理组织使用人工智能的治理影响》
	2023年2月	《信息技术人工智能风险管理指南》
	在研	《人工智能功能安全与人工智能系统》
	在研	《信息技术人工智能机器学习模型与人工智能系统可解释性的目标和方法》
	在研	《信息技术人工智能自动化人工智能系统的可控性》
	在研	《信息技术人工智能人工智能系统的透明分类》
IEEE	2023年5月	《基于人工智能医疗设备的性能和安全评估》
	2023年6月	《基于人工智能图像识别服务的鲁棒性测试和评估》
	在研	《人工智能组织治理的推荐实践》
	在研	《可解释人工智能的架构框架指南》
	在研	《自主和智能系统中仿真同理心的伦理考虑标准》
中国电子技术标准化研究院	2023年3月	《人工智能伦理治理标准化指南》
全国信息技术标准化技术委员会	在研	《人工智能深度学习框架多硬件平台适配技术规范》
全国信息技术标准化技术委员会	在研	《人工智能管理体系》
全国信息安全标准化技术委员会	在研	《信息安全技术机器学习算法安全评估规范》
全国信息安全标准化技术委员会	在研	《信息安全技术人工智能计算平台安全框架》
中国人工智能产业发展联盟	在研	《可信人工智能组织治理能力成熟度模型》
中国人工智能产业发展联盟	在研	《大规模预训练模型技术和应用评估方法第5部分：安全可信》 T

来源：根据公开资料整理

企业是可信人工智能的实践主体，是人工智能技术研发和创新应用的领先者，要以高度负责的态度对待其所开发和使用的人工智能技术。随着生成式AI 和通用大模型浪潮的袭来，以微软、英伟达、OpenAI为代表的企业充分发挥了企业的能动性，正在积极开展自律自治工作，积极落实人工智能技术、产品和服务的可信要求。

表 1-4 近期代表性企业可信探索

企业	发布时间相关产品/计划
微软	2023年3月	推出第一个生成式人工智能安全产品 SecurityCopilot,将GPT4技术应用在了网络安全领域。
英伟达	2023年4月	发布新软件NeMoGuardrails，可以帮助软件开发者给AI模型设置“护栏”，防止它们产生不良的输出。
谷歌	2023年4月	推出生成式人工智能网络安全套件。
OpenAI	2023年4月	发布了ChatGPT 安全方法（Our approach to AI safety），以确保安全、可靠地为全球用户提供ChatGPT服务。
英特尔BCG	2023年5月	提供企业级、安全的生成式AI，为企业提供定制和专有的解决方案，同时将私人数据与他们的可信任环境隔离。
OpenAI	2023年5月	首席执行官 SamAltman呼吁美国国会成立一个监管人工智能的专属机构。国会听证会结束后，OpenAI宣布将拨出100万美元开展人工智能治理的研究计划。
百度	2023年1月	发布模型可解释算法库InterpreteDL、可信AI工具集TrustAI、安全与隐私工具PaddleSleeve。
华为	2023年2月	参与发起“人工智能安全可信护航计划”，探索人工智能安全可信管理解决方案，开展AI安全可信度自评估。
商汤	2023年4月	推出“AI安全治理开放平台”，可提供模型体检和开源的防御解决方案，推动建设开放、可信的人工智能创新生态。

来源：根据公开资料整理

第二章可信 AI 产业实践深入发展

人工智能技术在各个行业的深入应用，带来了前所未有的机遇和挑战，可信 AI 成为了产业界关注的焦点。2021 年，中国信通院在国内首本《可信人工智能白皮书》中首次系统提出可信人工智能全景框架，提炼出行业内较为统一的可信人工智能特征要素。在安全鲁棒、可解释、公平性、隐私保护的大框架下，可信 AI 技术正在逐步成熟，并在金融、保险、制造、医疗等行业领域逐渐落实形成具体的产品和实践案例，为行业领域发展注入新的动力。

来源：蚂蚁集团

图 2-1 可信 AI 发展阶段判断

预计可信 AI 的发展会经历模块开发、方案整合、系统集成、生态共建四个阶段。

总体上看，我们可以将可信AI 的发展大致划分为模块开发、方案整合、系统集成、生态共建四个阶段。当前，可信AI 的实践正从创新统合解决方案的第二阶段迈向形成可信系统机制的第三阶段，在未来几年里，市场上会出现更加有影响力的可信AI 解决方案供应商，落地行之有效的完整实践链路，行业标准和系统机制逐步健全，为产业链注入新的发展动力。

2.1 应用 AI 鲁棒性技术对抗恶意攻击

AI鲁棒性技术研究是一项重要且复杂的课题，涵盖不同成因、不同数据类型的鲁棒性问题及其防御机制。鲁棒性问题的成因主要分为以下四种：随机攻击（在自然条件下随机发生的，例如随机噪声、缺失、分布漂移）、盲盒攻击（仅仅基于先验条件下的攻击，例如文字同音词替换、图像风格迁移）、黑盒攻击（不能够获取模型的参数信息，但能获取模型推理结果）和白盒攻击（被攻击模型的模型参数可以被获取，通常用于评估最坏情况下的模型安全和鲁棒性）。其中，高回报的场景如人脸识别更多面临黑盒攻击，而实际业务场景则更常见随机攻击和盲盒攻击，白盒攻击在实际业务中较为少见。不同数据类型的攻击形式具有明显差异，有效的防御手法应依数据类型而定，包括基于检测的防御、预处理防御、模型结构加固、鲁棒性 loss、对抗样本训练及对抗参数训练等。

提升鲁棒性技术的关键在于结合不同的数据类型和攻击方式，采用相应的防御手法，以实现模型的安全性和可靠性。此外，对鲁棒性问题进行全面深入的研究，并将所获得的知识和技术应用到具体的业务场景中，对于建立更强大、更鲁棒的AI 系统至关重要，相信随着研究的深入和技术的进步，人工智能模型的鲁棒性也将持续增强。

来源：蚂蚁集团
面向不同数据类型和攻击方式，提供针对性的防御优化能力。

图 2-2 AI鲁棒性的一般技术架构

2.1.1 提升文本识别对抗能力

在文本场景中，攻击者的攻击手法多、成本低且会不断更新。以赌博推广文本的识别场景为例，攻击者会采用各种策略，如文字形变、音变、语种混杂等，尝试在不改变原有文本语义的前提下，规避识别（例如，将一句常见的赌博推广语“快加入我队伍，一起躺赢赚红包”，转变为“赽咖叺我队伍，一起躺赢賺葒笣”，仍然能传达出赌博推广的信息）。类似的变形变种技巧难以穷举，对于

识别模型来说，是极大的挑战。

业界目前常用稳定化特征、对抗训练等鲁棒性技术予以应对。首先，模型开发者可以提取更为稳定的特征，例如字音、字形和深度表征，这些特征更能反映文本的本质含义，而不易受表面形式的干扰。其次，模型开发者可以采用基于参数的对抗训练方法，如快速梯度方法（FGM，Fast Gradient Method），通过引入微小的扰动，对模型参数进行调整，使模型在面对未知的攻击时，能够具有更强的稳定性和鲁棒性。同时，为了提升模型的泛化能力，可以利用变种数据进行数据增强和采用无监督的数据辅助训练鲁棒表征，让模型在学习过程中接触到更多样化的数据，从而增强其对未见攻击手法的预防能力。除此之外，也有研究者在深度学习模型的结构上进行改进，比如引入注意力机制，模型可以更聚焦于关键词汇，从而提升模型的识别能力。

2.1.2 提升图像伪造识别能力

在图像场景中，模型的鲁棒性问题在学术界和工业界都有大量的研究和应用。2014年，GoodFellow等研究者介绍了对模型采用基于梯度攻击的方式，仅以微小的扰动就使得模型以高置信度将熊猫错误识别为长臂猿。后续学术届有大量关于梯度攻击和防御的相关研究（PGD、C&W、DeepFool 等），然而在实际业务场景下，攻击者很难获取模型参数而进行类似的白盒攻击。

来源：蚂蚁集团

图 2-3 梯度攻击以微小扰动产生错误识别

2014 年，GoodFellow 等介绍了对模型采用基于梯度攻击的方式，仅以微小的扰动就使得模型以高置信度错误识别图片内容。

与之相对的，通过在样本侧的修改进行攻击尝试，是生产实践中更为常见的形态。以商户门头照检测场景为例，攻击者通过PS（泛指图像编辑篡改类技术）手段生成虚假的商户门头照，以此来绕过监管从事不法经营。这一场景下，标注数据存在较大困难（PS图片即使人眼都很难做出正确判断）、训练数据集中黑样本很少、覆盖的 PS 手法不全面、攻防对抗不断变化（一旦某种 PS 手法被模型检测到后，攻击者便会升级手法），模型鲁棒性面临很大挑战。行业内对图像识别的鲁棒性也有较为成功的案例，包括样本增强和参数对抗等方式，比如通过分析PS对图像的处理过程，采用自合成方式模拟生成PS图像，在模型训练过程中引入这种对抗数据生成方式，同时也有利用基于模型参数对抗的算法 AWP（Adversarial WeightPerturbation）和对抗算法 TRADES（TRadeoff-inspired AdversarialDEfense via Surrogate-loss minimization）等，提升了模型鲁棒性。

目前 AIGC 技术发展十分迅速，生成的伪造图像质量也越来越高，相比 PS 伪造，AIGC 生成技术具有易使用、成本低的特点，未来风险会从 PS 伪造向 AIGC 伪造迁移。如何防御 AIGC 伪造内容的滥用，会是 AIGC 时代重要课题之一，而如何利用鲁棒性技术提升对不同的AIGC算法生成伪造内容的检测能力，也会变得愈加重要。

2.1.3 提升生物核身检测能力

近年来，人脸识别、声纹识别及指纹识别等生物识别技术在各领域广泛应用，其影响力跨越支付安全、智能门禁、公共安全等多个领域。然而，随之而来的挑战就是如何有效抵御攻击者使用深度伪造技术制作的假图像、音频和视频等进行欺诈。

声纹识别场景中，语音合成与语音转换技术的发展，使得攻击者能够制造出极具欺骗性的伪造语音，这对声纹识别系统构成了严重威胁。对抗训练可以作为一种强化模型对攻击样本抵抗力的方法，从而提升模型的鲁棒性。在声纹伪造识别的环境中，我们可以运用对抗性训练以增强模型对伪造语音的检测能力。人脸识别场景中，静默活体检测技术可以有效区分真人和伪造人脸，从而确保系统的安全性。在这些场景中，特别是对抗样本稀缺和新方法引发的样本分布漂移问题，鲁棒性技术的应用显得尤其重要，相关技术主要包括辅助信息和增强算子两大领域，辅助信息技术通过为模型提供额外的有用信息，从而提高模型的判断力，常见的辅助信息包括活体深度图、攻击反射图、傅里叶频谱以及心率脉冲信号等。例如，活体深度图可以提供3D人脸信息，从而帮助模型识别3D面具攻击；反射图则可以通过探测反射光线，判断是否为照片攻击；而心率脉冲信号则可以通过检测面部皮肤的微小色彩变化，确认目标是否为真人。增强算子则通过对原始图像进行特殊处理，揭示图像中的深层信息，从而提高模型的识别能力。常见的增强算子如 Sobel、高斯双边滤波、Laplacian 等，当这些算子与深度学习的卷积操作结合使用时，可以进一步提升模型的鲁棒性和区分能力。

需要关注的是，生物识别应用中鲁棒性技术的发展并不是孤立的，而应与其他技术，如传感器技术、图像生成、大模型技术等，共同发展，实现相互推动。只有这样，我们才能在面对日益复杂和多变的安全挑战时，提供出更为准确、可靠和鲁棒的解决方案。

2.2 应用 AI 可解释性技术提升决策透明度

对很多产业场景而言，可解释性是一种刚需。互联网金融场景中，需要对用户账户被限权引发投诉等服务诉求进行可解释回应；监管场景中，尽职调查、可疑交易报送等义务履行都有强可解释的要求；风险运营和风险审理等场景中，对证据提示、风险归因、手法挖掘等也有不同的要求。

来源：蚂蚁集团
从“让人理解模型”和“让模型理解人”出发，实现专家经验和机器学习的有机融合。

图 2-4 常见可解释性技术分类

从可解释AI研究的切入点角度来说，目前主要可以分为两类，一类关注提升模型白盒化和透明性，例如基于梯度、基于模型结构、基于扰动、注意力机制等算法，提供模型结果的解释性，能够更好地完成自动化的取证、审理，辅助人工更快地定性，使监管部门、模型使用者以及社会公众能够更加容易理解AI模型。另一类则研究如何吸收已有的专家经验，例如可解释检索、逻辑图谱等算法，使得模型结果符合人工的逻辑推理过程，出现了诸如人机结合、逻辑融合等更前瞻的领域能力，在源头上提升模型与人工经验的吻合度。前沿的思路是将上述两种方式进行整合，即专家知识引入模型的训练过程，模型的可解释结果可以用来指导专家经验的构建，得到可交互、可视化的人工经验AI管理系统，从而保障模型的透明性。

2.2.1 用于模型归因的可解释

模型归因所使用的特征通常经过人工构造，具有业务视角的可解释性，输出结果相对标准化，更容易被业务部门和监管机构读取和接受，在金融征信、客户运营、智慧医疗等行业中应用广泛。可解释的方法和工具可以帮助用户深入了解模型的决策过程，从而提高模型的可理解性和可靠性。比如，AI 模型帮助银行和金融机构更好地理解客户的信用风险和财务状况，而特征级别可解释可以避免模型黑盒带来的潜在风险如人群歧视、数据偏差等。基于线性模型和树模型的特征可解释算法在业界应用较为成熟，常见的有基于扰动的方法（如 Shapley 可加性解释 SHAP）和基于模型内部结构的方法（如ELI5 决策树解释器ELI5 tree）。工业界为了支持多业务场景的并发调用量和实时性要求，可以对SHAP 和ELI5 进行分布式改造和预计算优化，避免了每个样本的重复计算，可以大大提升可解释模块的时效性。

此外，许多业务场景需要对时空数据进行建模。序列模型是一种常见工具，并在近年来引入了深度学习算法，极大提升了效能，扩展了应用场景。与计算机视觉和自然语言处理等领域不同，序列模型的输入数据通常是呈现为序列形式的事件数据，一个典型的用户行为序列包括注册、登录、信息修改、支付等事件，每个事件都带有丰富的属性（如时间戳、金额、设备信息），通过属性、子序列和模型级别的可解释算法可以对模型的输入数据、序列信息、序列组合进行分析和解释，基于 Attention（注意力机制）的方法或者基于梯度和分解归因的算法，如逐层相关性传递算法 LRP（Layer-wise Relevance Propagation）、积分梯度算法 IG（IntegratedGradients）等方法得到类似热力图高亮，seqSHAP（序列型 SHAP算法，Sequential SHAP）、timeSHAP（时间序列 SHAP 算法，TimeSeries SHAP）和 KernalSHAP（核心 SHAP 算法，Kernal SHAP）将时序因素纳入考虑的方法，如在模型表征层加入扰动的 seqMask（序列型掩码，Sequential Mask）方法等。

序列模型尤其是深度学习模型，因其复杂性和黑箱特性，模型的解释性往往需要结合专家知识进行辅助性判定。例如序列级的可解释给出“到账->到账->到账->转账到卡”的关键序列，呈现资金快速流转的特点，可能疑似赌博洗钱；通过创建标准化的专家知识库，并对序列可解释算法的给出的关键序列、序列组合进行查询和匹配，可以发现不同行为之间的关联和规律，从而更好地理解模型的决策过程和预测结果。提高用户行为挖掘的透明性还需要根据具体行业的需求和监管要求，选择合适的可解释方法和工具。

2.2.2 复杂关系网络的可解释

金融、搜索、推荐、营销等领域往往存在着复杂的关系网络，例如金融领域中的资金流动网络、搜索引擎中的网页链接网络、推荐系统中的用户行为网络、营销领域中的客户关系网络。这些网络中节点关系错综复杂，传统的统计分析方法往往难以捕捉，而图模型可解释正是一种能够可视化抽取复杂关系网络信息的方法。

图模型是一种复杂关系网络的建模工具，能够很好抽取网络中节点、路径、子图的信息，可视化呈现复杂的关系，图模型可解释方法可以帮助用户深入了解模型的决策过程，提高模型的可理解性和可靠性。常见的图模型可解释方法包括节点可解释、路径可解释和子图可解释等，能够更加直观地描述复杂关系网络中的节点、路径和子图，从而提高图模型的透明度。例如节点可解释能够给出节点的关键信息及重要邻居，帮助银行等贷款机构更好地理解客户的信用风险和财务状况，从而更准确地评估贷款额度；路径的可解释可用于涉黑客户的资金链路视角分析风险，能够帮助金融机构更好地识别潜在的风险和机会，提高业务的效率和准确性；子图级别的可解释方法能够基于图上社区挖掘的结果，自动提取常见的子图模式，据此可以定义手法相似的团伙，进而洞察新的作案模式。

图 2-5 图模型可解释案例

左（图模型路径可解释）：算法利用进出平衡、时间临近等原则，构建优化模型，对涉黑的资金链路进行追踪，通过精准的路径分析，业务方可以更加有效地识别和打击黑灰产，降低洗钱风险水位。

右（图模型子图拓扑可解释）：通过刻画子图的相似程度对子图进行聚类或者相似性检索，在风险运营中可以通过这些解释信息定义手法相似的团伙，进而洞察新的作案模式。

2.2.3 融合专家知识的可解释

复杂场景的可解释性往往需要依赖 AI 模型和领域专家知识的有效互补。一些行业基于领域专家先验知识和知识图谱的逻辑可解释方法，在知识融合上做了有价值的创新。比如在互联网法庭等智能审理场景中，欺诈审理系统会根据用户投诉内容包括图片、文本，以及用户交易历史行为、历史风险等结构化信息，对当前投诉案件进行审理定性。传统的审理定性以分类任务实现，缺乏合理可信的案件定性理由反馈，要素式智能审理引入了法理知识，设计服务于业务的知识点并将其推理逻辑融入到模型中，类似司法标准进行审理定性，大幅提升了审理的准确性。基于智能审理系统建立的底层知识库与深度学习算法技术的结合，系统能够自动识别文本、结构化数据中的关键信息，进行知识点的推导和组合，在对案件定性的同时还能给出主要的依据。该方案充分利用了AI模型和领域专家知识的互补性，通过融合专家经验或法理知识的方案，一方面提升了模型的性能，另一方面利用知识点逻辑组合解决案件解释性的问题。

来源：蚂蚁集团

图 2-6 互联网法庭智能审理案例

用户投诉“他卖我账号，一千多，我付款了，他注销账号”，系统通过特征提取语义理解进行各个知识点的计算推导，结合交互行为和交易数据最后输出“拉黑失联+禁限售品类”的可解释说明和相关证据。

2.3 互联网平台公平性探索

AI技术在各行各业得到日益广泛应用的大背景下，引起了监管机构、公众、企业组织、学术界等对其公平性风险的高度重视。公平性研究是践行技术向善初心、普惠共享数字化成果、有效弥合数字鸿沟的的必要举措，同时也让平台型业务更加开放包容，为小微商家提供有序良性的生态环境。为了推动AI算法的合法合规、公平公正应用，依据《中华人民共和国网络安全法》《中华人民共和国个人信息保护法》《互联网信息服务算法推荐管理规定》等法规的规定以及《新一代人工智能伦理规范》等相关文件的指导，互联网算法从业者集中力量治理定价模型中“杀熟”“歧视”引起的伦理不公风险，优化排序模型中“信息茧房”“热岛效应”对部分用户商品服务的多样性缺失，同时以长期价值为目标初步探索对政策中保护性群体（青少年、老年、残疾人）的流量保护。

公平性是一个前沿且宽泛的领域，学术界以及监管机构仍处在对公平性的探索中，主要强调需要建设可衡量公平的指标，通过追踪指标的表现更全面的审视公平性的变化以及技术能力的影响。针对公平性问题，需要分步骤解决三个问题：量化看清搜推营不公平现象、寻找造成不公平的主要原因、针对性优化不公平模型。

来源：蚂蚁集团

图 2-7 公平性AI的常见问题和方法

2.3.1 纠偏营销定价歧视

营销定价算法在市场经济中已经广泛应用。这种算法是通过大数据、人工智能等技术手段，对消费者进行个性化定价，以达到最优化的销售效果，例如，酒店在同一时间段内，对于访问其网站的不同用户给出不同的房价。但是，以人工智能为驱动的结果导向式的方法增强了价格歧视的程度和普遍性，是中国用户最有体感的公平性问题之一。在营销定价中，杀熟歧视问题是由算法中的变量选择和权重设定引起的，算法可能会将消费者的历史购买行为、所在地区、年龄等因素作为变量分析，根据AI 算法决策制定个性化定价。这种做法虽然能够在有效促进用户的支付核销率及留存率的同时降低资金获客成本，但如果变量权重设定不合理，就可能导致杀熟歧视的问题，从长远看不利于企业和行业发展。国家网信办等四部门联合发布的《互联网信息服务算法推荐管理规定》明确不得利用算法在交易价格等交易条件上实施不合理的差别待遇等违法行为，但是法案规定的公平性问题很难定量定性，同时在营销活动中兼顾社会公平性和业务发展目标也是难题。

营销定价中的算法应用需要降低数据偏差带来的歧视、杀熟风险。为了解决这一问题，需要在算法设计中引入公平性原则。一是对算法中的变量和权重进行透明、公开和平等的处理，以确保定价公正合理。二是建设特征消除的智能算法（比如对抗技术、多目标技术）将用户的关键信息隐匿掉后再给模型决策应用，这样定价过程中会更公平地对待每个用户。此外，通过引入更全面的定价机制也可以一定程度上消除价格歧视，如亚马逊使用动态定价算法，基于用户的购物模式、竞争对手的价格、利润率、库存以及其它各种数据，商品会根据需求每天变动价格 250 万次，一定程度上消除了顾客被“杀熟”的风险。

2.3.2 改善信息茧房现象

搜索推荐业务中的不公平问题体现在商品多样性方面，具体来说，在搜索推荐结果中，某些品牌或商家的商品排名较高，会引起更多的点击和购买行为，导致这些品牌或商家在搜索推荐结果中更占优势。这种情况下，当消费者使用搜索引擎时，搜索引擎会根据消费者的历史搜索记录和行为习惯进行推荐，这可能会导致消费者只看到符合自己偏好的信息，被推荐的商品所限制而忽略了其他更多的信息，从而形成信息茧房。

搜索推荐业务应该确保算法的公平性和中立性，避免数据-算法的强化带来持续的有偏信息和诱导性。以线下支付为例，当用户到店消费使用手机完成一笔付款后会进入“支付成功页”。商家与支付平台签约收单产品后，可以在该页面投放优惠券、会员卡等，将用户沉淀到自己的私域流量池并长期触达。公平高效地推荐用户所需的优惠券，可以在用户侧达到拉新促活的效果，在商家侧做到精准的交叉营销；反之会导致用户的服务多样性不足，商家的曝光权益受到不公平侵害，同时平台的发展也会是不可持续的。

此外，搜索推荐业务应避免对任何品牌或商家进行不公正的偏待，保障消费者的选择权利。比如在内容推荐的应用上，短视频平台通过深度学习技术框架建立模型预估了用户对某个内容产生互动的概率，并在推荐机制中设置了一定比例的兴趣探索内容与不常观看内容，实现了推荐内容的多样性。同时，也需要鼓励消费者增强自主选择能力，多方面了解商品信息，减少对搜索推荐结果的依赖，摆脱信息茧房的限制。

2.3.3 强化弱势群体保护

公平性还有一方面的重点是需要加强对青少年、老年人、残障用户等弱势群体在互联网平台服务上的保护。近几年发展迅猛的短视频行业中，弱势群体因为特征数据少、群体量占比较低，在获取短视频内容时往往会受到热门视频、年轻用户偏好、针对性诱骗的影响面临着不公平的情况，暴力、偏激、虚假信息等内容可能会对他们的身心健康产生不良影响。

为了保障弱势群体的权益，短视频平台通常需要采取一些措施，保护他们获取公正、真实、丰富的信息的权利，确保公平性和平等性。首先，短视频平台会建立网络内容审核机制，加强内容审核的力度，避免不良信息的传播和传递。同时，短视频平台需要单独建立弱势群体的针对性推荐视频种类以及推荐策略，加大健康、生活相关的符合弱势群体社会保护性质的短视频推荐。总之，青少年、老年人及弱势群体不应该作为平台牟利的目标人群，而是需要增加投入强化对他们权益的保护，共同推动互联网平台的良性发展。

2.4 AI 应用实践中的数据模型安全和隐私保护

人工智能带来的数据隐私和安全问题在个人、企业乃至国家层面受到密切关注。从国家层面来看，国内外监管为了防止数据滥用、隐私泄露等个问题，陆续出台相关政策。从企业层面来看，数据是企业的核心资产，出于商业竞争和数据保护等考虑，企业不愿意也不放心将其核心数据直接提供给合作方使用。从个人层面来看，个人也担心在互联网大环境中的隐私泄露，不愿意将上网行为数据暴露给他人。

来源：蚂蚁集团

图 2-8 跨主体隐私计算的常见方法

多方建模旨在符合各项法律、法规及政策的前提下进行顺畅高效的数据合作，解决“信息隐私”和“数据孤岛”问题，达成合作共赢。目前业界有三大主流的技术方案：基于硬件的可信执行环境（TEE，Trusted Execution Environment）方案、基于密码学的多方安全计算（MPC，Multi-Party Computation）方案和基于多方协同训练的联邦学习（FL，Federated Learning）方案。在实际应用中，需要结合具体场景、数据量来选择对应的技术方案，同时也要结合成本预算、隐私保护等级和收益来综合考量。

2.4.1 终端社交内容中的隐私保护

在众多内容风险场景中，聊天文本中存在很多赌博类、色情类、涉政类以及欺诈类话术，对于风险主体识别非常重要。由于隐私合规的限制，大部分聊天类数据无法在服务端进行存储，只能通过实时策略或实时模型进行风险识别。

通过将模型部署在终端设备上，同时结合 GAN-InstaHide（Generative Adversarial Networks-Instance Hiding scheme,生成对抗网络-实例隐藏策略）等算法，可以有效保护用户隐私。相比于服务端模型，终端模型有如下优势：1）聊天内容直接在终端消费，产出样本表征和内容风险分，聊天内容无需明文在服务端通过模型进行风险识别，减少明文数据流通。2）通过加入 Instance Encoding隐私增强算法，降低样本表征中蕴含的原始数据信息，使样本表征难以反推复原出原始数据，保护用户隐私，同时使得密文表征可以进行存储，为后续案例分析和模型迭代建立的基础。3）用户的聊天数据在端侧存储（端侧有用户可见历史聊天记录），在用户发送和接受消息时，可利用存储于终端设备的上下文信息进行风险识别，提高风险识别率。4）端模型天然具备分布式推理的能力，每个用户的样本在其终端设备商进行模型推理，没有 QPS（Queries Per Second，每秒请求数）压力，同时减少服务端资源消耗。

2.4.2 IoT（物联网）人脸特征隐私保护算法

人脸识别技术被广泛应用在核身、支付等各类场景，在业务蓬勃发展的同时也引来了新的问题，比如部分厂商强制使用/滥用人脸技术、黑灰产通过伪造人脸进行攻击。作为用户感知强的应用场景，生物信息的隐私保护极其关键和重要，近年来中华人民共和国最高人民法院、工信部等颁布《信息安全技术个人信息安全规范》等相关规定，明确指出一系列关于人脸隐私和安全相关的要求，比如“生物特征应具备不可逆、可撤销、不可链接的特性”。

图 2-9 TEE-DP 算法方案

该方案保证 REE 内存中只存在明文的加噪特征，原始特征均在 TEE 中，有效保证了本地链路中人脸特征的安全性。TEE-DP 方案可以有效保护人脸特征库，并具有系统安全、特征不可逆、识别精度无损、资源开销小、计算效率高等优点。

如何严格遵循监管的要求，有效保护刷脸用户的隐私安全，是当前人脸识别业务的研究重点，也是各大厂商面临的挑战。蚂蚁TEE-DP 算法方案，结合了 TEE 和 DP（Differential Privacy，差分隐私）加噪算法的优点，以DP 特征加噪和 TEE 为基础，先在云侧建立密态特征库和密态加噪特征库，然后一起下发到 REE（RichExecution Environment，富执行环境）中进行管理，在刷脸验证时，首先在REE中通过加噪进行粗排，然后进入TEE 进行精排。这样的二阶段的方式能够有效缓解TEE 中的性能限制，并且在REE 中添加了DP，也能保护用户的隐私信息。

2.4.3 多方安全计算助力行业跨机构协作

在法律与相关政策的推动下，各类机构都在积极开展数据安全与合规能力建设，多方安全计算是一种被广泛采纳的数据可信流通技术方案，在普惠金融、智慧医疗、保险科技、智慧城市等方向均取得了良好效果。

在信贷领域中，小微企业信贷占比小、融资成本高的问题突出。蚂蚁积累了大量长尾小微客户及小微企业的数据，采用可证多方安全计算技术，不泄露明文及可反推原始数据的中间数据，阻止了数十亿高风险贷款发放，增加识别 30+万名低风险客户，帮助银行高效完成风险管控，扩大普惠信贷服务范围。在联合营销领域中，第四范式的云知联邦学习平台构建了多方安全计算全栈解决方案，某个区域银行本行通过其他卡机构补充优质跨行消费行为、资金流动性数据，利用联邦学习 LR（逻辑回归）、XGB（极端梯度提升）等算法联合建模得到优质高净值客户，AUC（曲线下面积）和 KS（Kolmogorov-Smirnov 检验）均取得 10%左右的增长。在智慧医疗领域，锘崴科技的锘崴信隐私保护计算平台通过联合分析、联邦学习技术实现了跨数据源数据虚拟融合，针对全基因组关联分析（GWAS，Genome-Wide Association Study）、罕见病专病靶向性基因研究等这类依赖大样本量的研究，解决因单一机构样本量不足而

导致研究结果可信度下降的问题。

目前多方安全计算平台建设参与商众多，涉及各行业，但各方的数据、平台无法直接打通，因此跨平台互联互通是亟待解决的方向，互联互通生态有助于多样化数据的可信链接，有利于业务模型改善，是可信数据生态建设中不可或缺的部分。

第三章面向大模型和 AIGC 的可信 AI 探索

3.1 大模型和 AIGC 的发展与生态

随着人工智能行业的发展和研究工作的不断累积，为了在各个机器学习任务下见证更加智能与精准的结果，人工智能算法模型的规模正在逐年提升。大模型的涌现和人工智能产业的不断完善丰富了现如今各行各业的生产和生活内容，使大模型时代下 AIGC 的发展达到了新的高度。

3.1.1 大规模深度学习模型发展历程

近年来，人工智能模型的参数规模正在持续的增长与升级。2012年人工智能刚刚兴起时，以 AlexNet 为代表的早期经典模型参数量还不到万级，而如今业界参数量突破千亿级的大模型已然琳琅满目。自 2018 年 2 月 OpenAI GPT 问世，其后的大模型相继有 Google 的BERT 、 OpenAI 的 GPT-2 、 Meta 的 RoBERTa 、 Nvidia 的Megatron-LM/BERT、Microsoft 的 DialoGPT、Google 的 Meena、Meta的 Blender 等等。在大模型时代下，大模型的“军备”竞赛一直没有停止，业界的各大公司在互相竞争与互相启发中不断提出新的 AI大模型，从而在自然语言处理、计算机视觉、对话系统等多任务和多模态场景上获得性能的突破。参与竞赛的大型企业包括国外的Google Brain、DeepMind、OpenAI 以及 Meta 和 Microsoft，国内如百度、阿里巴巴、华为等公司也都参与在大模型的时代浪潮中。如今，“参数量级”已不再成为限制AI 模型发展的枷锁，在庞大的参数规模下，大模型的使用场景与创作表现也早已与传统的AI 模型表现天差地别。

构建大模型的核心技术通常包括预训练（Pre-training）、指令微调（Instruction Tuning）、有监督精调（Supervised Fine-tuning, SFT）、基于人类反馈的强化学习（ Reinforcement Learning with HumanFeedback, RLHF）等，训练大模型的数据也从传统的网页、书籍、程序代码扩展到了更多领域的多模态数据中。大规模的参数量使大模型获得了“知识涌现”能力，在参数规模达到一定水平时，知识涌现的模型相比于传统模型表现出更强的上下文学习能力（In-context Learning, ICL）、理解任务指令来执行新任务的泛化能力（Instruction Following, IF）以及对于中间步骤的思维链推理能力（Chain of Thought, COT），最终使得像 ChatGPT 等大模型应用能够形成更加智能的场景理解能力和答案生成能力。然而，如今的大模型仍然面对着训练成本高昂、静态训练数据的时效性、训练结果的真实性等问题和局限，走向通用人工智能（Artificial GeneralIntelligence, AGI）的发展道路仍然面临诸多挑战。

3.1.2 大模型时代下 AIGC 的产业生态与可信挑战

大模型时代下，AIGC 的相关产业生态的发展已经达到了空前的热度，根据大模型综述文章《A Survey of Large Language Models》，大模型的能力已经能够覆盖到现有的较为完全的生态产业。在语言大模型方面，从以 GPT、BERT 等代表的大模型带来的惊人效果开始，语言模型的能力就已能够基本覆盖并在效果上突破所有目前的NLP 任务。在视觉大模型方面，基于扩散模型（Diffusion Model）的DALL-E-2 和Imagen在图像上取得了高质量的图像生成结果。在推荐大模型方面，阿里的 XDL、百度的 AIBox、Facebook 的 ZionEX、以及快手Persia也将模型的参数量从百亿逐步发展到了百万亿量级。

来源：根据《A Survey of Large Language Models》统计

图 3-1 各大企业的大模型发展与生态

大模型在多模态上出色的性能表现使基于大模型的中心化应用开始不断涌现，国内诸如百度“文心一言”、华为“盘古”、阿里“通义千问”、腾讯“混元”大模型等，国外如谷歌公布的LaMDA和 PaLM 等大模型、Meta 发布的开源大模型 LLaMA，以大模型为底座，通过 API（应用程序编程接口，Application ProgrammingInterface）调用集成搜索引擎、数字计算、邮件系统、威胁情报等系统应用，将大模型的使用场景从单纯的信息生成扩展成能够完成复杂任务的自主控制平台。大模型的产业应用展现出了类操作系统的控制能力和统一人机交互接口的巨大潜力。

来源：中国信息通信研究院、清华大学

图 3-2 大模型时代下面临的安全可信挑战

然而，在大模型的产业应用中，与大模型有关的安全事件正不断发生。例如，三星企业员工使用大模型造成其内部资料外泄，数万人签名呼吁暂停研发比 GPT-4 更强大的 AI 系统至少 6 个月等。自此，越来越多的安全从业者和产业用户开始关注大模型的安全问题。

目前，大模型的安全风险主要包括大模型生成内容风险、大模型自身安全风险以及一些其他风险问题，其中，大模型生成内容风险涉及生成虚假有害信息、网络攻击赋能等模型的生成式内容引发的安全问题；大模型自身安全风险涉及隐私泄漏问题、伦理道德问题、模型攻击对抗问题等。此外，大模型的可解释性和公平性问题也是目前讨论颇深的前瞻性话题。

3.2 大模型的生成式攻击和防御

在大语言模型风靡之际所引领的 AIGC 时代，人工智能的内容创作相比以往时期更加智能化与精准化，高质量的多模态生成内容与人工创作内容已几乎无法区分。虽然 AIGC 所带来的内容创作赋能使文章和新闻创作、音乐创作、视频和影像创作、艺术创作等领域发挥出了更大的潜能与价值，但也便利了别有用心的攻击者实施快速有效的虚假信息传播与网络攻击行为。因此，在真假难辩的互联网时代，探讨 AI 大模型所带来的全新的生成式攻击与防御挑战是探索可信AI道路上所面临的必经之路。

3.2.1 大模型的生成式攻击

大模型的生成式攻击通过使用 AI 大模型可以在极低的成本下生成虚假信息甚至精心构造的攻击代码。在缺乏先验知识的场景下，大模型的生成式攻击将带来难以估计的损失与破坏。广义上看，生成式攻击所生产的攻击内容主要包括虚假有害信息与网络攻击工具。

AIGC 的虚假信息传播。大模型的使用可以加快虚假内容的制作速度，使信息内容治理面临着全新的挑战。在文本内容方面，恶意用户可以利用AI生成的文本来传播虚假信息、谣言、仇恨言论、歧视性内容或其他有害内容。这些信息会误导读者、影响决策过程，甚至对金融市场或政治局势产生重大影响。在图像和视频方面，恶意用户可以通过人脸生成、人脸替换、表情操控、视频生成等手段，使用深度合成技术生成生物识别的人脸或现实不存在的视频片段，从而构造具有合成照片的社交网络间谍账号，伪造公众人物或政企领导的有害视频。从造成的影响和结果上看，大模型的恶意使用严重影响了多个行业的监管体系。在社会层面，AIGC 成为了电信诈骗等违法犯罪活动的新工具；在政治层面，AIGC 技术成为攻击政治领袖、引导舆论的新武器；在金融层面，深度伪造技术攻破了支付身份认证，使风控体系失效。

深度伪造引发社会舆论

AI生成内容侵犯艺术版权

生成式钓鱼邮件的网络攻击

3D面具攻破金融支付APP
来源：清华大学

图 3-3 大模型和 AIGC的生成式攻击

AIGC的网络攻击赋能。当语言大模型被别有用心的攻击者利用时，可以迅速沦为网络犯罪的工具。GBHackers 的报道表明，ChatGPT可以在几秒内生成一条完整的诈骗套路，从各种攻击链与社会工程的攻击工具入手，突破具备系统级防御手段的入侵检测系统，实现多种网络攻击行为。由于大模型所涉及的学习知识包含了网络攻击的代码构建原理并辅助增强的语言表示逻辑，AIGC 的技术可以快速让不成熟的攻击者实现颇具破坏力的网络攻击。研究表明，以ChatGPT为代表的AI 大模型可以快速生成设计精巧的钓鱼邮件，骗取目标人物的隐私信息与财产资源，也可以生成不易察觉的反弹式木马，绕过目标主机的防火墙实施网络攻击。AI大模型甚至可以被引导推荐出最合适的黑客工具，根据恶意攻击者所描述的特定场景供给精准适用的网络攻击能力。

3.2.2 面对生成式攻击的防御挑战

面对AI大模型的违规应用，现有的监管体系必须明确如何实现对生成式攻击的检测与防御，面对生成式模型所带来的新安全挑战，AIGC 的检测与防御能力的突破是大型机器学习平台需要解决的迫在眉睫的目标。

生成式大模型的AI 生成内容甄别。面对 AI 所创作的精巧的生成内容，现有防御体系将思考“如何对生成模型的 AI 生成内容进行辨别”摆在了首要位置。目前进行 AIGC 鉴别的技术路线主要使用人工标注的数据集，并构建二分类模型对内容是由人类生成还是由AI生成进行分类。然而，基于静态数据集的分类在面对持续更新的

AI大模型时有着巨大的局限性，同时AIGC 技术本身的优化目标即是使内容创作更近似于人类生成，在未来面对更加智能的大模型所生成的内容时，常规的鉴别手段存在完全失效的可能。

来源：清华大学

图 3-4 生成式模型的 AI 生成内容甄别

基于模型水印的AI身份标识方法。基于模型微调的模型水印方法需要利用特殊数据对模型进行微调。类似数字签名的认证过程，经过特殊数据微调后的生成模型所生成的内容可以通过密钥提取器提取出认证信息。经过认证信息的“身份标识”可以为所有 AI 模型所创作的内容设置身份信息，帮助使用者明确当前内容是否为 AI创作的内容。然而，面对大模型时代下的生成模型，水印微调需要在海量的计算资源才能完成，如何经济有效地验证如大语言模型的AI 身份问题是未来需要克服的严峻挑战。

基于模型水印的身份标识方法

来源：清华大学

图 3-5 基于模型水印的身份标识方法的逻辑架构

3.3 大模型自身的安全风险与隐患

随着大模型部署的热潮如期而至，ChatGPT 等大语言模型的访问量在短时间内获得了远超预期的增长，超乎寻常的使用量也使AI大模型逐渐暴露了其平台内所隐藏的安全隐患，使人们意识到现阶段的AI大模型与理想中安全可信的人工智能服务仍然相距甚远。这些风险与隐患给用户、企业、甚至大模型平台本身都带来了前所未有的安全威胁。

3.3.1 大模型的数据泄漏问题

大模型的数据泄漏风险是目前影响范围最广、危害程度最大的大模型安全风险，其暴露的用户隐私与企业机密信息在整个社会范围内都引起了巨大的反响，以至于三星、软银、松下、摩根大通等企业甚至已完全禁止其内部员工使用如ChatGPT等的大语言模型。

大模型的提示语泄漏。在 AIGC 技术的发展下，基于提示语（Prompt）+大语言模型的 AI大模型架构已经取代了传统的预训练+微调的大模型架构。在这其中，Prompt 已经成为基于大语言模型的运营方的新型重要知识产权。然而，2023 年 2 月，微软 Bing Chat的 Prompt 信息被斯坦福的学生以提问的方式轻松窃取。事实表明，大模型对于自身知识体系的保护仍有待完善。

来源：清华大学

图 3-6 大模型的提示语泄漏风险

大模型学习敏感数据导致的隐私泄漏。为了构建更加智能的AI大模型，如 ChatGPT 等大语言模型会在其服务器上存储所有用户的输入与答案，从而帮助模型的更新与迭代。因此，用户输入的敏感数据会被大语言模型“记住” 从而导致数据泄漏。严重的隐私泄漏问题使企业与国家层面都做出了相关的大模型禁令等举措，例如，三星公司引入 ChatGPT 不到 20 天发生了三起半导体机密资料外泄事件，随后要求员工不得在工作场所使用生成式人工智能；由于数据隐私问题，意大利对ChatGPT涉嫌违反数据收集规则展开调查，如何既保证输入输出的数据隐私又能够使用大模型成为了新的问题与挑战。

来源：清华大学

图 3-7 大模型学习敏感数据导致的隐私泄漏

承载大模型的软件漏洞导致的数据泄漏。大模型的运营需要基于云计算系统的包括海量 CPU（中央处理器，Central Processing Unit）和 GPU（图形处理器，Graphics Processing Unit）的异构计算资源支持，受攻击面显著增加。首先，大模型依赖的软件库的漏洞、Bug、安全隐患会导致安全与隐私问题。大模型对多个开源或闭源软件库有复杂的依赖关系，而这些软件库的 Bug 会导致大模型的敏感数据泄漏。2023 年 3 月，ChatGPT 依赖的开源库 Redis 的 Bug 导致了 1.2%用户数据遭到泄漏。其次，支持大模型的操作系统层面漏洞同样会导致数据泄漏，攻击者可以在操作系统层面利用内存读取、缓存管理模式等侧信道信息重构关键模型信息，从而引发数据泄露威胁。

来源：清华大学

图 3-8 承载大模型的软件漏洞导致的数据泄漏

3.3.2 大模型的伦理道德问题

大模型的伦理问题同样给 AI 大模型的使用带来了严重的安全风险。例如，大模型学习的数据中存在仇恨言论、违法犯罪等有害身心健康的内容，对于敏感话题内容的监管仍然面临巨大挑战。同时，过度依赖大模型的内容生成服务导致了更多抄袭行为的发生，全球多所高校和学术机构已宣布禁止学生使用ChatGPT完成学业工作。另外，PaLM-E 等集成机器人视觉与语言操控指令的大模型的具身化应用正在不断出现，如何确定未来机器人的责任和安全性，确保机器人的伦理、法律问题也是未来待解决的难点之一。因此，未来对于大模型的伦理道德问题的监管的探索还有很长的路要走。

违规内容输出的伦理问题。面对输入的敏感问题，现有大模型通常在内容生成后的下游接入内容检测模型，对大模型生成的内容进行有害内容的检测与分类。然而，训练内容检测模型需要人工标注的有害内容数据集，静态且有限规模的人工标注数据集无法完全覆盖日新月异的用户输入，使得总有模型生成的有害内容绕过检测模型的风险，最终使大模型错误地输出了不良内容。究其根本，是有害样本的人工标注难以全面覆盖用户动态更新的敏感话题，致使内容检测模型的无效并使有害内容最终被大模型输出。

教育公平性的伦理问题。在教育方面，对于生成式大模型的过度依赖已经引起了人们的担忧。据报道，巴黎政治学院、香港浸会大学等全球多所高校已禁止学生使用 ChatGPT 进行学术论文写作，对可能违反学术道德的相关行为予以限制。显然，生成式大模型在教育机构行业的滥用已经形成了作弊等不良风气，AI 创作的文本内容的管理无疑给教育系统带来了巨大的冲击。如何正确地使用AIGC服务的辅助功能来帮助教育科研事业的发展仍然需要更多深入的探讨和研究。

大模型社会责任的伦理问题。大模型惊人的智能表现引发了社会各界对于未来机器人伦理问题的更多讨论。科技发展使AI 走向通用人工智能（AGI）的发展道路上，人工智能是否会超越人的智能、以及未来人类将如何控制人工智能的话题被推上风口。目前，大模型引发的岗位替代等社会就业问题已经引起了广泛关注，AI 天然的数据拷贝能力、数据接入能力、学习速度都远超人类，未来面对更加智能的大模型应用时，如何赋予大模型社会责任，人类又将如何实现 AI 的可控将一直是 AGI 发展路上需要思考的问题。

3.3.3 大模型的攻击对抗问题

大模型的本质是基于AI的生成式模型，模型基于大规模参数量的训练步骤和 Prompt 工程可以进行可靠的样本数据学习，并最终输出符合用户期望的多模态结果。由于学习框架的确定性，攻击者可以精心设计针对大模型本身的攻击场景。随着大模型安全逐渐成为业界不可忽视的重要话题，模型攻防问题已升级为衡量大模型安全可靠与否的首要前提。与传统安全问题有所不同，AI 大模型所面临的是全新的安全挑战。由于传统防御手段难以有效迁移到AI 模型的安全防护中，模型攻击对于大型的机器学习平台往往具有难以估量的攻击力与破坏性。目前，大模型在提示语安全、数据安全和模型安全层面面临严重的安全隐患。

面向大模型的提示语攻击通过给出AI模型能够接受的假设，引导模型违反自身编程限制。ChatGPT的官方声明表示，目前ChatGPT存在的缺陷之一是对输入措辞的调整或多次尝试同一提示很敏感。也就是说，输入一个敏感问题，模型可以声称不知道答案，但重新组织一种更委婉的措辞，模型则可能会做出回答。在刻意的诱导下，大模型会不可避免地输出涉及隐私甚至违规的内容。例如提示语注入攻击（Prompt Injection）可以劫持原本的指令任务输出恶意用户期望的任务内容，越狱（Jailbreaking）方法可以赋予 AI身份角色，在预设场景下诱导模型输出。

图 3-9 大模型的提示语安全风险

面向大模型的数据投毒攻击通过在训练数据中注入恶意样本或后门，操控模型在推理阶段的表现。在面向AI大模型场景时，生成式模型的任务逻辑与传统的分类任务不同，因此传统的触发误分类模式的后门攻击在生成式模型中看似不易发生。然而，生成式模型也会遭受新型后门攻击，即操纵训练数据，可以凭借特定触发样本来激发模型生成与正常输出完成不同的特殊后门输出。

面向大模型的数据重构攻击可以利用黑盒查询等手段恢复大模型的训练数据。有经验的攻击者可以通过查询大语言模型来推断和提取训练数据中的隐私信息。例如，GPT-2 上的数据重构攻击能够恢复67%的训练文本语料，这些被恢复的百字规模的文本序列中包含了个人的身份信息、电子邮箱、电话号码、家庭住址等敏感信息。

面向大模型的成员推断攻击则可以判断某些特定数据是否在目标模型的训练集里，从而推断数据是否具备某些属性。由于如ChatGPT 的大语言模型在模型见过的训练数据和模型没见过的其他数据上表现是不同的，因此同样存在着面临成员推断攻击的威胁。

来源：清华大学

图 3-10 大模型的数据安全风险

面向大模型的模型窃取攻击的攻击者可以设计问题来问询目标黑盒的大模型，再根据目标模型的回答来优化训练自己的模型，使自己的模型与目标大模型的表现接近。尽管对于上千亿参数的大模型实现完全功能的窃取并不现实，但对于目标领域任务攻击者完全可以实现模型知识窃取，来训练本地体积更小的模型。

面向大模型的模型劫持攻击通过提供攻击者设定的训练数据，使模型在其拥有者没有发觉的情况下，让目标模型成功执行攻击者设定的任务。当大模型对外提供训练接口时，大规模的样本投毒很容易使 AI 大模型遭到模型劫持攻击的影响，使模型表现与先前完全不同。

来源：清华大学

图 3-11 大模型的模型安全风险

面向大模型的海绵样本攻击能够增大模型延迟和能源消耗，推动模型推理的底层硬件系统在性能上达到最坏状态，从而破坏机器学习模型的可用性。海绵样本与网络攻击中的拒绝服务攻击（DoS，Denial of Service）的本质类似，攻击会致使大模型在用户会话中反应过慢、过度消耗资源。

3.4 大模型的可解释性及公平性

大模型的可解释性和公平性问题是可信 AI 角度下一个重要的前瞻性话题。由上千亿级参数量累计的大语言模型看似获得了前所未有的知识涌现，然而其内在的黑盒本质使“大模型的可解释性是否变得更强或更弱”仍然是未解之谜。同时，大模型在面对公平性问题的决策时可能会表现得更为偏激。如何有效实践大模型的可解释性和公平性是未来模型安全发展的一大挑战。

3.4.1 大模型的可解释性

可解释性是一种以人类可理解的方式去解释或展示 AI 模型的能力。随着基于深度学习的人工智能系统不断发展，现有的AI模型一般都具有较强的黑盒属性。理想的可解释AI 应当能在给出决策的同时提供预测依据。国际相关组织机构已将“可解释 AI”作为重要技术发展战略，如 2017 年，美国国防先进研究计划局（DARPA）开展“可解释人工智能”计划；2019 年，谷歌发布《可解释人工智能白皮书》等。目前，针对AI 模型的可解释性工作主要包括事前解释（Ante-hoc）和事后解释（Post-hoc）两个方面。

基于事前解释的可解释性方法。事前解释方法又称为透明模型(TransparentModel)，可以利用具有特征重要性区分的自解释模型来提供对得到结果的解释，通过研究不同特征对最终预测结果的影响程度来得出解释。在问答领域中，这一方法也可以利用溯源的方式展示部分或全部的预测推导过程，将最终的预测扩张为一系列推理步骤的结果，形成更加直观有效的可解释性技术。

基于事后解释的可解释性方法。事后解释方法则通常利用规则或具有可解释能力的简单替代模型来衡量原始大模型的可解释性。其次，也有方法使用样例驱动的方式，通过识别和呈现其他与输入实例语义相似的已标注实例来解释输入实例的预测。此外，还有基于探针的模型可解释性方法，将大模型的编码表征输入其他可解释模型上来分析原模型所学习到的知识与语义。

然而，在现阶段，以ChatGPT为首的大语言模型在可解释性方面仍然是未解之谜。除了使用超大规模的参数量来构建具有黑盒属性的模型外，大语言模型所使用的语料、架构多数是完全未知的，面对如此庞大的黑盒模型，完全解释其内在的机理与决策依据还需要更加漫长的时间来检验。此外，目前现有大模型的推理逻辑的正确性还有待验证。以ChatGPT为例，模型在面对“不知道”的输入问题时常使用虚构或伪造的结论来充当问题的答案。同时，针对用户否定的提示信息，模型会趋于否定先前的推理结果以迎合用户的提示，这种被称为大模型的“幻觉性”问题（Hallucination）也给大模型的可解释性带来了灾难性的挑战。如何实现大模型输出结论的证据溯源和思维链解释是使大模型走向可信道路的重点难题。同时，未来的大模型应当从开发者角度解决模型本身的可解释性，才能帮助用户以及监管方获取推理结果的可解释依据，判别模型输出的真实性和有效性。

3.4.2 大模型的公平性

如果要使大模型参与到现实问题的决策中，特别是面向社会性的决策问题，就一定要兼顾预测的公平性。由于构建和学习语言大模型时一般需要使用超大规模的语料数据集，数据集中难免存在人类社会对性别、肤色、年龄等的偏见知识，在有偏数据中训练的大模型会对特定人群输出带有偏见的预测结果，目前，ChatGPT 答案输出的意识形态明显倾向于西方社会，在基于种族和性别的描述回答中，ChatGPT 生成的答案也有明显的白人男性倾向。除了训练数据的偏差外，影响 AI 模型公平性的另外一个原因是大模型本身，AI模型总是试图最大限度地提高在数据集中的性能表现，当具有某种属性的实例样本显著优于其他属性的样本时，模型不可避免地以更高的频率针对这一特殊属性进行参数优化，从而变相放大了偏见知识，最终给社会带来严重的内容安全隐患。

来源：Political Compass

图 3-12 大模型意识形态偏见所引发的公平性问题

为了解决大模型学习中存在的公平性问题，目前的研究方法主要考虑从两个方面出发落实平台的公平性：一是标准化 AI 大模型的训练数据质量。通过更加公平公正地获取不同来源的数据，在符合道德约束的前提下进行数据标注工作。二是优化 AI 大模型的数据敏感性。减少模型对敏感数据的依赖性，从本质上除去算法对偏见知识的学习引导，使大模型在不同个体间实现公平的性能。

第四章以技术为保障的可信 AI 评估

4.1 可信 AI 检测工具

随着 AI 技术的不断发展和应用，如何检测 AI 可信程度受到公众和社会的广泛关注。可信AI检测工具和平台的发展历程，大致可

以划分为三个主要阶段：

初期阶段（2018年以前）：虽然深度学习技术取得突破性进展，但是AI应用仍处于初级阶段，更多地关注AI 技术本身的发展，AI从业者主要致力于提升AI 性能。相对的，对 AI 的可信问题的关注度相对较低，可信 AI 的研究和相关工具主要限定于学术领域。

觉醒阶段（2018-2020年）：AI 服务在各行业和领域广泛应用，影响日益显著，公众开始认识并探讨AI 的可信问题，例如 AI服务存在的歧视和不公平性、AI决策的不可解释性。相关的研究机构和企业开始开发并推出针对特定可信AI问题的工具，如微软的公平性评估工具Fairlearn，以及 IBM的用于评估和提升模型鲁棒性的工具ART（Adversarial Robustness Toolbox）

发展阶段（2021 年以后）：可信 AI 的问题和挑战初步形成社会共识，可信AI工具和平台开始关注其综合性和易用性，而不仅仅是针对特定的可信AI问题。例如，新加坡政府发布了全球首个人工智能监管测试框架和工具集 A.I. Verify；蚂蚁集团也推出了专注于AI安全性的综合评测平台蚁鉴。

来源：蚂蚁集团

图 4-1 当前面向可信AI各子领域的常见工具

近期，随着大模型和 AIGC 的出现和推广，相关评估也陆续开展，目前关于 AIGC 的评估主要包括通用能力评测（helpful）与安全性（harmless）评测两大方向。通用能力指的是 AIGC 在各类任务中的表现和适应能力，如逻辑推理、文本理解、问题解答等，安全性评测则涵盖内容安全、数据安全和伦理安全，着重评估 AIGC在处理数据、信息和道德问题时的稳健性和责任性。现有的评估方式主要分为标准数据集评测和大众评测两种，标准数据集评测是在固定的测试集中对 AIGC 进行定量分析，从而获取其精确的性能指标，评测效率高，在无数据泄露情况下更加全面合理；大众评测则更加灵活开放，不设定固定测试集，让用户以匿名的方式对 AIGC产品进行实际使用后的反馈评价，能够很好解决测试集泄露造成的过拟合问题。这两种评测方式结合使用使我们可以全面、深入地理解AIGC的实际表现和潜力。目前，OpenAI已开源Evals 评测框架，伯克利大学推出elo排行榜；在国内，清华大学发布了大模型安全测评平台，科大讯飞推出人工智能评测体系，中国移动提出AI 大模型可信安全实施框架，中国信通院成立可信人工智能推进计划以及人工智能工程化委员会大模型工作组，共同研制系列标准，全面评估开发大模型的能力。

总的来说，随着可信AI 问题逐步被全社会认同，为可信 AI 检测而开发的优秀工具和平台持续出现和进化。然而，可信AI 在企业中实际的应用很多时候因为难以带来直接的经济效益而落地困难，相应的可信AI 检测工具和平台的发展也将是一个长期的过程，需要政府、学术界、产业界保持持续投入。

4.2 可信 AI 检测框架

可信 AI 检测是运用技术手段对AI 模型服务的可信度和可靠性进行定量或定性评估和验证。可信AI 检测内容主要包括隐私保护检测、可解释性检测、公平性检测和鲁棒性检测，具体评估内容、指标和方式如下表所示。

表 4-1 可信AI 检测指标体系

检测维度检测指标评估方式
鲁棒性	泛化性	使用模型建模时未见过的数据，评估模型性能指标与建模时的差异。
	数据鲁棒性	模型对自然噪声和数据缺失时表现的鲁棒性。评测时可以模拟噪声和缺失，观察模型性能指标降低的情况。
	对抗性鲁棒性	模型在人为恶意攻击如梯度攻击时的鲁棒性。评测时可以进行模拟攻击，观察攻击前后模型性能指标变化情况。
公平性	分组公平性	模型对于不同群体之间的公平性，如性别、种族、年龄等。评测时将数据按照特定群体属性进行分组，比较模型在不同群体上的性能差异。
	差异公平性	模型对于不同群体之间差异的敏感性，如收入差异、地理差异等。评测时将数据按照特定差异进行分组，比较模型在不同差异水平上的性能差异。
	机会公平性	模型提供给不同群体或特征的机会是否公平均等，如就业机会、贷款机会等。评测时统计分析不同群体之间的机会差异。
1隐私	数据隐私	模型对于训练数据中个人身份、敏感信息的保护程度。评测时使用不同的隐私攻击方法，如成员推断攻击、属性推断攻击等，评估模型对于数据隐私的防护能力。
	参数隐私	模型在训练过程中参数的隐私保护程度。评测时使用参数反演攻击、模型倒推攻击等方法，评估模型对于参数隐私的保护程度。
	输出隐私	模型对于预测输出中个人隐私信息的泄露程度。评测时使用敏感信息推断攻击、后处理方法等，评估模型对于输出隐私的保护程度。
	差分隐私	模型在差分隐私保护下的隐私保护程度。评测时应用差分隐私机制，评估模型在不同隐私预算下的隐私保护能力。
	泛化隐私	模型对于未见过数据的隐私保护程度。评测时使用未见过的数据集进行测试，评估模型在新数据上的隐私保护性能。
可解释	解释正确性	模型解释是否忠实地反映了模型判断的理由。评测时使用增删重要特征的方法，检测其对模型判断的影响程度，若特征重要性与影响程度匹配则正确性越高。
	解释完整性	模型解释对于模型覆盖的完整度。评测时使用解释对模型进行重构，若重构误差较小，则解释对于模型行为覆盖得越全面、详细，完备性越高。
	解释致性	模型解释在相同输入下的解释一致性程度。评测时对不同部署下的模型及其解释，检测其模型输出级模型解释的一致程度。
	解释连续性	模型解释在相似输入下的解释连续性程度。评测时对样本进行轻微扰动或选择相似样本，比较其解释与原样本解释的连续程度。
	解释差异性	模型解释在针对不同目标变量解释时的差异程度。评测时选择不同的目标变量要求模型进行解释，比较其在不同目标变量下的解释的差异度。
	解释简洁性	模型解释信息是否简洁。评测时对模型解释的信息熵及头部信息含量进行评估。

来源：蚂蚁集团

近年来，可信 AI 检测技术得到了快速发展。可信AI 检测技术的发展涵盖了鲁棒性、可解释性、隐私和公平性的各方面，学术界和产业界结合理论研究和实际应用开发了大量技术、工具和平台，帮助 AI 系统能够更加可信，符合道德伦理要求，并帮助模型服务在不断变化的社会和法律环境中得到公众和监管的认可。如在鲁棒性方向，研究人员开发了一系列方法来检测和防御对 AI 系统的恶意攻击，包括对抗性样本生成、模型修饰和防御、对抗性训练等技术，这些技术旨在提高AI系统的稳定性和安全性，防止其被误导或滥用；在隐私保护问题上，开发了差分隐私、多方计算、同态加密等方法，用于保护敏感数据并确保AI系统符合隐私法规和规定。

企业可信 AI检测标准对于建立与客户的信任关系至关重要。企业在向客户提供AI 服务的同时，应制定和遵循自身的可信AI检测标准和流程，并向客户清晰地展示这些信息，提高透明度，从而获得和保持客户的信任。行业可信 AI 检测标准是为了在行业内实现可信AI 检测标准的统一，促进可信AI 在行业的应用。各行业在可信AI 领域有各自的具体问题，因此对于可信 AI 的需求和关注点也各有不同，这使得制定一个适用于所有行业的统一标准变得非常困难。因此，各行业都可以根据自身的特点和需求，制定并实施各自的可信 AI 检测标准和流程，更好地推动行业可信 AI 的发展和应用。

4.3 检测实例分析

在实施可信AI评估过程中，不仅需要关注技术的深度和广度，还需要以实际案例为基础进行分析，以更好地了解评估方法的有效性和适用性。本节将以“RobustBench”鲁棒性评测和蚂蚁集团“蚁鉴”AI 安全检测平台鲁棒性测评为例，介绍两个鲁棒性检测实例。

RobustBench 是一个广泛使用的基准测试平台，cifar 和 ImageNet测试数据集旨在评估机器学习模型在对抗攻击下的鲁棒性。该平台提供了一系列具有挑战性的对抗攻击，用于测试各种AI模型的鲁棒性。通过使用同一个数据集进行评估，RobustBench能够提供可比较的结果，使研究人员和从业者能够更好地理解和比较不同模型性能。

来源：蚂蚁集团

图 4-2 蚁鉴平台测评流程和报告示例

蚂蚁集团的蚁鉴AI 安全检测平台是专注于 AI 安全性的综合评估工具，通过模拟不同业务场景和攻击方式，对 AI 模型的安全性进行全面评估。例如人脸攻击评测模块模拟了各种人脸攻击，包括攻击者使用面具、照片或合成图像等来欺骗人脸识别系统的情况，检验人脸识别系统在面对这些攻击时的准确性和鲁棒性，进而提供改进系统安全性的建议和措施。文本变种攻击评测通过使用变种技术生成语义上接近但具有误导性的输入，如替换单词、插入或删除词语等方式，来评估自然语言处理系统的鲁棒性。

总体来看，行业对于 AI 安全性测评的研究已经取得了很多进展，这些工具和平台为AI安全性评估提供了更加全面和标准化的方法。

然而也要认识到，尽管研究进展迅速，但可信评估的研究常常滞后于应用技术的发展，这可能导致潜在的安全风险在实际应用中被忽略或未能及时解决，可能会给社会带来巨大的危害。随着技术的发展潜在问题也会越来越多，我们应该意识到其重要性，并采取行动来推动相关研究和实践。这既需要更多的实践和经验积累，考虑社会、法律和伦理等多个方面的因素，不断改进和完善评估方法，也需要加强学术界、产业界和监管机构的沟通与合作，共同制定标准和指南，推动可信AI 测评落地，建立起可信赖的AI 系统，避免潜在的安全风险，确保AI技术为社会带来积极的影响。

第五章发展建议和趋势展望

5.1 发展建议

5.1.1 技术维度

加强大模型的事实可信和逻辑可控。针对大型AI 的事实不可信和逻辑不可控性问题，需要在模型开发和运行过程中加入更多的可控和可解释的机制，以实现模型结果的可靠性和透明性；建立更完善的评估和审计机制，对模型的正确性进行验证和监督；加强数据隐私和安全保护，防止数据泄露和滥用，保证AI的稳定和安全性。另外，利用大模型本身的强大性能实现 AI 可靠性的提升也是未来值得挖掘的技术方向，譬如用大模型生成能力“左右互博”提升模型鲁棒性，用 GPT4.0 解释 GPT2.0 的神经元激活过程来了解大模型内部的工作机理，用大模型监督大模型生成内容的伦理问题等一系列有价值的探索也在飞速进展中。

引入可信可控的人机交互范式，推动可信AI 深度进化。大模型训练中强化学习应用广泛，此类应用强调模型训练中的人机交互，带来了模型能力的突破性涌现。但复杂的专家逻辑常常导致 AI 系统难以理解和预测，需要进一步引入可信可控的人机交互机制来推进人工智能技术的深度进化。在数据处理方面，需要标注人员对训练数据进行必要区分和管理，避免输入侧的误导性信息；在模型训练过程中，通过有效人机交互加强专家对模型的稳定性和可靠性评估。同时，通过引入专家逻辑范式，能够帮助加强合规性，提升AI系统的可控性。

加强多方协同的技术运转模式，保障可信AI 发展。随着 AI 技术在实际应用中的不断扩展，需要消除信息孤岛，为AI系统的进一步应用提供支持。鼓励不同主体之间信息的安全有效的共享，加强多方协同，可以提高人们对AI 系统的信任度，促进可信AI 的推广应用。同时，确保AI 模型协作生产时全链路的协调一致，打通数据层、算法层、测试层、系统开发层技术人员的语义鸿沟。协作梳理数据处理、特征工程、模型预训练、指令微调、反馈式强化学习等阶段的可信依据和安全保障措施，实现不可信事实责任发生时的快速溯源与出错环节的精准定位。此外，加强AI 技术开发者与监管方的沟通协作，建立更可靠的可信模型和监管体系，进而使多方协同的技术运作从根本上提高人们对AI系统的信任度，促进可信 AI 的推广应用。

5.1.2 产业维度

发展与时俱进的可信人工智能，尽快形成新技术趋势下的可信共识。人工智能是快速发展中的新一代信息技术，大模型、AIGC 等的产生和发展更是以难以想象的速度飞奔向前，在带来爆发式增长和全新生产方式的同时，也提升了算法黑盒化程度，降低了系统遭受攻击的门槛，公众对大模型隐私保护的关注度大幅提升，对大模型厂商提出更高技术和伦理要求。建议做好产业前沿跟踪，形成覆盖“技术-产品-应用”链条的可信人工智能监测研究体系，准确识别和分析大模型等对可信人工智能各类产业主体的潜在影响，更新具有行业影响力、持续演进的可信人工智能方法论，及时调整可信人工智能落地举措，形成面向大模型等新技术的可信人工智能共识。

发展面向场景的可信人工智能，加速推动新产业升级中的可信落地。当前人工智能已进入工程化落地时代，人工智能深耕行业应用、推进传统行业智能化转型是大势所趋。大模型的发展重心也正在逐步由学术打榜向工程实践转移，强调以通用的人工智能能力支撑应用创新与传统产业转型升级，“大模型+”将会成为未来经济社会发展的重要环节。一方面，要促进可信人工智能与传统行业嵌合应用，在转型升级的过程中将可信理念同步纳入考量，进一步提升智能制造、智能交通、智慧金融服务等领域可信人工智能发展水平，形成一批落地标杆并加快复制推广；另一方面，反复打磨存量可信应用场景，建立有效的升级和试错机制，进一步探索大模型+智能终端等新场景下的可信实践，掌握产业话语权和市场主动权。

5.1.3 生态维度

加强标准制定，推动标准体系迈向评测评估。企业、研究机构以及高校等正在不断加快自身可信技术能力建设，增强核心能力自主性，共同努力推进可信人工智能标准研制，加速研究成果的标准化转变。近期大模型成果接连发布，然而针对大模型的性能测评研究目前仍十分匮乏，既缺乏性能评测框架，又没有科学评测方法，很难公正、准确地评估各模型。因此，建议加快打造国内权威、公平科学的自动化、自适应评测平台，加强对开源许可证的探索，围绕数据版权、算法能力、开源机制等建立全生命周期开源评估体系，形成行业分级分类的商用准入许可或评估备案机制。打造信创的开源基模型和可采信的训练与微调数据集，满足行业研究与商业需求。

加强用户教育,正确认知通用人工智能技术。社会公众是人工智能技术的最终使用者和受益者，引导社会公众产生正确认识可帮助人工智能更快捷、更顺畅地与千行百业融合，形成与产业生态的双向互动。建议从引导预期和营造氛围两方面着手，加强对社会公众的宣传培养。一是引导产生合理预期，客观展现技术的两面性，避免非黑即白和夸大单一维度效果的宣传推广，帮助公众更全面、更客观地认识和使用新一代技术。二是着力营造可信氛围，通过可信论坛、可信案例讲解、专家宣讲等形式向公众说明可信人工智能对通用人工智能潜在风险的规避和控制作用，支撑通用人工智能技术突破与发展。

5.1.4 监管维度

以审慎监管划定风险底线。一是分级分类，做好与现有体系的衔接，面向场景适用需求审慎监管，采取差异化的监管方式方法。例如，互联网信息服务深度合成活动被一些不法分子利用，国家网信办出台了相关管理规定予以规范；大模型在医疗场景的应用风险暂不明确，短期内可以沿用原有路径。二是加快开展安全伦理等方面的风险研究，丰富面向大模型和 AIGC 的可信人工智能监管技术方案储备，支持专业机构评估出具人工智能应用场景风险评估报告，建设可以区分真实和合成内容、跟踪模型泄漏溯源和水印系统，健全审计和认证生态系统。三是公众利益优先，建立结果导向的审慎监管，加强对仇恨言论、人种歧视、悲观厌世等内容生成的审核监管，探索关键行业训练数据审核，建立完善大模型训练师、提示工程师专业培训和继续教育体系。

以包容监管引领创新发展。可信人工智能治理又要防范潜在风险，又要把握技术利好，推动和帮助新技术的培育和应用，均衡长期探索与短期应用的关系，英国就有意对人工智能采取宽泛的监管原则以抢占更多话语权。建议一是探索监管与技术创新融合，如垂直行业大模型沙盒监管机制、负面管理清单以及通过局域网、专区等形式率先提供“大模型+”服务，以点状突破带动全面拓展。二是面向大模型工程落地健全治理，以MLOps（机器学习运营，MachineLearningOperations）为代表的自动运维技术有望助力大模型落地生花，也将推动可信人工智能治理形成系统工程，而不仅仅是针对单一因素的治理。三是监管与行业自治有机结合，充分发挥各类行业组织和龙头企业作用，推动建立能够体现行业特点、符合行业需求、具备行业影响力的信任机制，鼓励行业探索建立针对大模型和AIGC技术应用的争议解决、危机应对联动等自治机制。

5.2 未来展望

可信人工智能研究应用更加均衡。目前可信人工智能研究领域主要以隐私保护和稳定性（鲁棒性）相关研究为主，《可信人工智能产业生态发展报告（2022年）》数据显示，截止2022 年4 月，可信人工智能专利中，隐私保护领域专利占比63%，系统稳定性占比21%。大模型和 AIGC 带来的问题中有不少和之前的问题类似，但同时也有新的特征，需要推动可信人工智能均衡化发展和体系化完善。以公平性为例，性别、种族、宗教等偏见问题长期存在，而 AIGC的崛起可能让这一问题变得更为复杂，比如语言类大模型生成的答复存在性别歧视和种族歧视，可能会误导使用者将具有歧视性的回答视为‘正确答案’而作出错误的决断。这些问题已经获得产业界更多关注，未来将会持续研究形成覆盖多个维度的可信人工智能。

可信人工智能内在动力更加多维。一方面，大模型大幅提升了人工智能系统的人机交互能力，推动人工智能从简单单一交互向融合传感交互甚至向人-终端-环境三元交互转变，涉及可信人工智能主体不仅仅局限于系统本身，而是人、系统、环境构成的融合体。另一方面，大模型数据来源合规性、数据使用公平性、生成内容安全性等方面存在风险，大模型时代的可信人工智能落地更要从开发者本身出发，对可解释性、隐私保护等做好说明和阐述，帮助用户更可信地使用大模型。此外，可信人工智能将重塑治理模式，在向通用人工智能发展的过程中，为确保人工智能造福于人类，需要最强大的系统性治理和公众监督，要合理决定人工智能系统界限，并允许用户在这些广泛的界限内对他们使用人工智能的行为方式享有控制权。

可信人工智能外在监管更加全面。面对未来大模型大规模应用时面临的安全挑战，将会形成更加可靠的大模型安全评估体系和全方位风险定位能力。一方面，将打通大模型生产全链路的安全合规，针对大模型在训练和使用的全周期内的模型预训练、指令微调、强化学习、领域定制化微调、用户使用等阶段，定制严格的风险防护措施和数据与模型的监管机制，保障全流程的合法合规。另一方面，更全面的大模型安全评估能力与风险检测能力将会建立，健全多维度的可信AI考核与度量标准，量化不同模型间的安全能力差异并能精准定位风险原因，确定安全可信模型的安全水位与可信阈值。通过可靠的监管机制回馈予模型开发者和使用者及时的风险提示与改进措施，引导形成可信 AI 的安全合规道路，共同构建健康、可靠的大模型安全生态。

英文缩略语对照表

缩写	全称	< 释义	首次出现页码
IDC	International DataCorporation	国际数据公司	1
AI	Artificial Intelligence	人工智能	2
AIGC	AI-Generated Content	人工智能生成内容	6
ChatGPT	Chat Generative Pre-trained Transformer	聊天生成预训练转换器	6
PPDSA	Privacy-Preserving Data Sharing and Analytics	保护隐私数据共享和分析	7
G7	Group of Seven	七国集团	7
GPT	Generative Pre-trainedTransformer	生成预训练转换器	7
CSIRO	Commonwealth Scientific and Industrial ResearchOrganization	联邦科学与工业研究组织	8
IT	Information Technology	信息技术	9
ISO	International Organizationfor Standardization	国际标准化组织	9
IEC	InternationalElectrotechnicalCommission	国际电工委员会	9
IEEE	Institute of Electrical and Electronics Engineers	电气和电子工程师协会	9
BCG	Boston Consulting Group	波士顿咨询公司	10
InterpretDL	Interpretations of DeepLearning Models	模型可解释算法库	10
TrustAI	Trust Artificial Intelligence	可信AI工具集	10
FGM	Fast Gradient Method	快速梯度方法	14
PGD	Project Gradient Descent	投影梯度下降	14
C&W	Carlini and Wagner Attack	Carlini 和 Wagner 攻击	14
PS	Photoshop	图像编辑篡改类技术	15
AWP	Adversarial WeightPerturbation	对抗性权重扰动	16
TRADES	TRadeoff-inspiredAdversarial DEfense via Surrogate-lossminimization	通过代理损失最小化实现权衡的对抗性防御	16
缩写	全称	释义	首次出现页码
3D	Three Dimension	三维	17
SHAP	SHapely AdditiveexPlanations	Shapley可加性解释	19
ELI5 Tree	Explain Like I'm Five Tree Interpreter	ELI5 决策树解释器	19
LRP	Layer-wise Relevance Propagation	逐层相关性传递算法	19
IG	Integrated Gradients	积分梯度算法	19
seqSHAP	Sequential SHAP	序列型SHAP算法	19
timeSHAP	Time Series SHAP	时间序列 SHAP算法	20
KernalSHAP	Kernal SHAP	核心 SHAP算法	20
seqMask	Sequential Mask	序列型掩码	20
MPC	Secure Multi-PartyComputation	A多方安全计算	27
TEE	Trusted Execution1Environment	可信执行环境	27
FL	Federated Learning	联邦学习	27
GAN-InstaHide	Generative Adversarial Networks-Instance Hidingscheme	生成对抗网络-实例隐藏策略	28
QPS	Queries Per Second	每秒查询率	28
IoT	Internet of Things	物联网	28
DP	Differential Privacy	差分隐私	29
REE	Rich ExecutionEnvironment	富执行环境	29
LR	Logistic Regression	逻辑回归	30
XGB	eXtreme Gradient Boosting	极端梯度提升	30
AUC	Area Under the Curve	曲线下面积	30
KS	Kolmogorov-Smirnov	Kolmogorov-Smirnov 检验	30
GWAS	Genome-Wide AssociationStudy	全基因组关联分析	30
SFT	Supervised Fine-tuning	有监督精调	32
RLHF	Reinforcement Learning with Human Feedback	基于人类反馈的强化学习	32
ICL	In-Context Learning	上下文学习能力	32
IF	Instruction Following	执行任务	32
COT	Chain Of Thought	思维链推理能力	32
AGI	Artificial General Intelligence	V 通用人工智能	32
API	Application Programming Interface	应用程序编程接口	34
CPU	Central Processing Unit	中央处理器	41
GPU	Graphics Processing Unit	图形处理器	41
DoS	Denial of Service	拒绝服务	47
DARPA	Defense AdvancedResearch Projects Agency	美国国防先进研究计划局	48
ART	Adversarial RobustnessToolbox	对抗鲁棒性工具箱	51
MLOps	Machine LearningOperations	机器学习运营	61

清華大学CAICT中国信通院 C 蚂蚁集团
ANTGROUP

可信AI技术和应用进展

摘 要

目 录

插 图 目 录

表 格 目 录

第 一章 人工智能迈向发展新阶段

1.1 人工智能发展迎来全新时代

1.2 人工智能可信面临全新挑战

1.3 全球人工智能治理机制进展

1.3.1 基于政策法规的治理机制

1.3.2 基于生态共识的治理机制

第二章 可信 AI 产业实践深入发展

2.1 应用 AI 鲁棒性技术对抗恶意攻击

2.1.1 提升文本识别对抗能力

2.1.2 提升图像伪造识别能力

2.1.3 提升生物核身检测能力

2.2 应用 AI 可解释性技术提升决策透明度

2.2.1 用于模型归因的可解释

2.2.2 复杂关系网络的可解释

2.2.3 融合专家知识的可解释

2.3 互联网平台公平性探索

2.3.1 纠偏营销定价歧视

2.3.2 改善信息茧房现象

2.3.3 强化弱势群体保护

2.4 AI 应用实践中的数据模型安全和隐私保护

2.4.1 终端社交内容中的隐私保护

2.4.2 IoT（物联网）人脸特征隐私保护算法

2.4.3 多方安全计算助力行业跨机构协作

第三章 面向大模型和 AIGC 的可信 AI 探索

3.1 大模型和 AIGC 的发展与生态

3.1.1 大规模深度学习模型发展历程

3.1.2 大模型时代下 AIGC 的产业生态与可信挑战

3.2 大模型的生成式攻击和防御

3.2.1 大模型的生成式攻击

3.2.2 面对生成式攻击的防御挑战

3.3 大模型自身的安全风险与隐患

3.3.1 大模型的数据泄漏问题

3.3.2 大模型的伦理道德问题

3.3.3 大模型的攻击对抗问题

3.4 大模型的可解释性及公平性

3.4.1 大模型的可解释性

3.4.2 大模型的公平性

第四章 以技术为保障的可信 AI 评估

4.1 可信 AI 检测工具

4.2 可信 AI 检测框架

4.3 检测实例分析

第五章 发展建议和趋势展望

5.1 发展建议

5.1.1 技术维度

5.1.2 产业维度

5.1.3 生态维度

5.1.4 监 管维度

5.2 未来展望

英文缩略语对照表

摘要

目录

插图目录

表格目录

第一章人工智能迈向发展新阶段

第二章可信 AI 产业实践深入发展

第三章面向大模型和 AIGC 的可信 AI 探索

第四章以技术为保障的可信 AI 评估

第五章发展建议和趋势展望

5.1.4 监管维度

540-可信AI技术与应用发展白皮书（2023）-74页