机器语言大模型赋能软件自主可控与安全可信

朱文宇清华大学

汇报提纲

背景
关键问题
3 智能化方案
典型应用
5 总结

背景-软件是网络空间的基石

自主可控

安全可信

背景-需求1：软件生态面临自主可控难题

关键软件长期由国外主导

移动端操作系统分布情况

工业设计软件

CAD（计算机辅助设计）软件CAE （计算机辅助工程验证）软件CAM（计算机辅助制造）软件

工业控制软件

GE/西门子、MES、DCS、SCADA

面临断供、安全、知识产权风险

XCodeGhost (2015)

工业信息管理软件

挑战：关键软件闭源，供应链风险高，自主可控难度大

01 背景-需求2：软件生态面临安全可信难题

成为网络攻击的重要突破口

软件安全风险未知

震网病毒（伊朗核设施

电网断电（乌克兰）

WannaCry(勒索150+国家)
挑战：目标软件闭源，分析难度大，安全问题隐藏深

汇报提纲

背景
关键问题
智能化方案
典型应用
5 总结

02 关键问题-软件开发与安全

自主可控国产化替代

软件分析理解

软件设计开发

软件测试部署

关键问题是分析、理解目标（闭源）软件

安全风险发现与防范

安全信

软件分析理解

发现安全问题

防范安全问题

02 关键挑战1：软件分析——二进制信息缺失

源代码 calc.c

void answer(char*name,int x）{printf("Heys,theansweris:d\n",nare,x）;void calc（int y）{return y*yi一void main(int argc,char*argv[]）{intx=40+atoi（argv[2]）；inty=calc(x）;answer(argv[ll,y）;

chao@calc\$xxd calc 机器码
00000000:7f454c46 020101000000000000000000 .ELF
00000010: 03003e00 01000000 8005 000000000000
00000020: 4000000000000000 7819 0000 00000000 @.
00000030: 0000000040003800 0900 40001d001c00 ..@.8...@.
00000040: 0600000004000000 4000 0000 00000000 @
00000050: 4000000000000000 4000 0000 00000000 @ @
00000060: f801 000000000000f801 000000000000
00000070: 08000000000000000300000004000000
00000080:38020000000000003802000000000000 8

中间表示IR

define i8*@answer(18*,18*)40{83 calli64@strlen（i8* ）34 calli64@strlen（i8*%1）#3号5 addi64%3,16 addi645,487 call noalias i8*@malloc（164%6）#48= calli6*@strcpy（18* 号7,18*0）#499 getelementptrinbounds i8,18*7,164310= call i8*@strcpy(18* 9,18*1）#4ret.18*7

符号、类型、边界等信息逐步优化/丢弃

.Lswer: 汇编码.cfi_startprocpushq %rbp.cfi_def_cfa_offset16cfi_offset6,-16movq %rsp，%rbp.cfi_def_cfa_registersubq $16,%rspmovq %rdi，-8（%rbp)movl %esi，-12(%rbp)movl -12(%rbp)，%edxmovq -8(%rbp)，%raxmovq %rax，%rsileaq LCO(%rip)，%rdimovl S,%eaxcall printf@PLTnopleave.cfi_def_cfa7,8ret.cfi_endproc

02 关键挑战1：软件分析——二进制信息缺失

#include<stdio.h>#include<sLdlib.h>

源代码 calc.c

voidanswer（char*name,intx）{
printf(Hey8s，theansweris:8d\n"，name，x}；
void calc(int y）{
return y*yi
voidmain(int argc,char*argv[]）{
intx=40+atoi(argv[2]）；
inty-calc（x）；
answer(argv[l]，y）；

chao calc$xxd calc
00000000:7f45 4c46020101000000000000000000				机器码 .ELF
00000010:03003e0001000000 8005000000000000
00000020：			40000000000000007819000000000000	@
00000030：	00000000	4000	3800090040001d001c00
00000040: 0600	0000		040000004000000000000000
00000050:	40000000		000000004000000000000000
00000060:	f8010000		00000000f801000000000000
00000070:08000000000000000300000004000000
00000080:38020000000000003802000000000000

中间表示IR

define i8*@answer（18*,18*)#03 call i64@strlen(i8* 0）#34=calli64@strlen（i8*1）#35 add164,16 - add1645,%47= call noalias i8*@mal10c（16486）488= calli8*@strcpy(18* 87,8*%0）#4$9 getelementpt.rinbounds i8,i8*87,16483$10-call18*@strcpy(i8* 8918*87#4ret 18*7

反编译

反汇编

无中生有，恢复缺失的信息

answer: 汇编码.cfi_startprocpushq %rbp.cfi def_cfa_offset16.cfi_offset 6,-16movq%rsp,%rbp.cfi_def_cfa_registersubq $16,%rspmovq %rdi，-8（%rbp)movl %esi，-12(%rbp)movl -12(%rbp)，%edxmovq -8（%rbp)，%raxmovq %rax，%rsileaq Lce(%rip)，%rdimovl 50%eaxcall printf@PLTnopleave.cfi_def_cfa7,8ret.cfi_endproc

02 关键挑战2：软件理解——人在回路

#include<stdio.h> 源代码#include<stdlib.h> calc.cvoidanswer(char*name,intx）{printf（Heys，theansweris:sd\n",nare,x；void calc(int y）{return y*y;}void main(int argc,char *argv[l)intx=40+atoi（argv[2]）；inty=calc（x）;answer(argv[1]，y）；

chao@calc $xxd calc
00000000:7f454c46020101000000000000000000							机器码 .ELF
00000010:03003e00		0100		000080050000		00000000
00000020:	4000 0000	0000	0000	7819	0000 0000	0000
00000030:	0000 0000	4000		38000900	40001d00	1c00
00000040:	0600 0000			04000000400000000000		0000
00000050：						40000000000000004000000000000000
00000060：	f801 0000			00000000f801000000000000
00000070:08000000000000000300000004000000
00000080:38020000000000003802000000000000

语义分析

代码功能分析：
内存分配、
加密解密？
敏感数据如何流动？

性能分析功能分析安全分析

漏洞

恶意代码

逆向破解

软件

供

02问题总结

四汇报提纲

背景
关键问题
智能化方案
4 典型应用
5 总结

03 智能化解决方案：大语言模型

信天

软件分析

信息自动补偿在路

软件理解

人类意图对齐安全分析

功能开发

内容自动生成

二进制程序（机器语言）

03 现有大语言模型难以分析二进制程序（闭源软件)

软件可以抽象为三个维度的表示

自然语言

#

设计实现

源代码

nnde

vonian:rg,caa
v[}[↓tx-40+tcii△rgv.21）ui）（a[1），x}t

编译部署

00 021023#1052 00 002山282 000258102315200 00102007873800
AP F4
21700 2C
DO 170
1 22
32 D9
32DD 21

程序执行（机器语言）

进程

加载行

（时刻1）

进程

（时刻N）

通用大模型

代码大模型

机器语言是网络空间基石，但是缺少智能化解决方案

03 方案简介：大语言模型

Transformer架构（自注意力机制）

海量算力

（1000+英伟达卡*天）亿元算力

预训练

（厂商）

海量数据（TB级高质量数据）

适量算力

（10+英伟达卡*天）百万算力

微调

（专业用户）

适量标注数据（MB级高质量数据）

少量算力

（8张4090卡）十万算力

推理

（普通用户）

模型优化（面向二进制软件）

提

RAG 知识增强

工具使用

专业数据自动生成（源代码、二进制、文本、二进制标注数据）

03 关键技术突破

数据

大规模机器语言-自然语言-源代码多模态对齐数据

·100TB规模，业界公开数据<100GB

技术

·全自动数据生成、标注、对齐

·优化模型设计，深刻理解机器语言，对齐人类专家

工程

自研机器语言模型训练方法

完善的机器语言模型基础设施

Conference ISSTA

ISSTA:International Symposium on Software Testing and Analysis

USENIX SECURTYSYMPOSUM

NDSS

多个关键技术零的突破

03 关键技术1：融合领域知识的模型优化

修改模型设计，融入代码领域知识（指令语义、跳转关系等）

"jTrans:Jump-AwareTransformerforBinaryCodeSimilarityDetection.ISSTA2022

03 关键技术2：基于对比学习的语义理解

利用对比学习技术，使得语义相似的二进制代码embedding接近

03 关键技术3：基于多模态学习的语义理解

利用多模态技术，将语义空间与人类意图对齐，更准确地表示二进制代码语义

"CLAP:LearningTransferable BinaryCodeRepresentationswithNatural LanguageSupervision." ISSTA2024

03 我们的解决方案：机器语言大模型MLM

多平台

0110
1011
0101

多场景多能力

多架构

四汇报提纲

背景
关键问题
智能化方案
4 典型应用
5 总结

04 典型应用

软件生态迁移

1001010
0010001
0001100

MLM

A生态软件（无源码）

1001010
0010001
0001100

B生态软件

信创国产化、老旧软件升级迁移

漏洞挖掘

大模型赋能0day、1day漏洞挖掘

软件供应链分析

1001010
0010001
0001100

目标软件

细粒度、高速、语义对齐的二进制代码比对

Demo-颠覆工作模式的智能逆向分析

示别文件

mlm01.com

·将黑盒二进制程序变成白盒代码

首次实现像人类专家一样理解二进制程序语义

将专家从繁琐的底层代码分析中解放出来，专注高层分析任务

四汇报提纲

背景
关键问题
智能化方案
典型应用
5 总结

05 软件自主可控、安全可信

解决方案：大语言模型

信天

软件分析

信息自动补偿人在路

软件理解

人类意图对齐功能开发

安全分析

内容自动生成

05 机器语言大模型MLM（全球首个）

多平台

0110
1011
0101

多场景多能力

多架构

05 广泛的应用场景

软件逆向分析

1001010
0010001
0001100

目标软件

反编译生成C代码

突破卡脖子技术

软件生态迁移

1001010
0010001
0001100

A生态软件（无源码）

1001010
0010001
0001100

B生态软件

信创国产化、老旧软件升级迁移

大模型赋能0day、1day漏洞挖掘

软件供应链分析

1001010
0010001
0001100

目标软件

细粒度、高速、语义对齐的二进制代码比对

拥抱人工智能智胜网络空间

https://mlm01.com

清华大学-人工智能行业：机器语言大模型赋能软件自主可控与安全可信-250316.pdf