2024AI+研发数字峰会 Al+ Development Digital summit AI驱动研发变革促进企业降本增效

北京站 08/16-17

大语言模型时代需求自动追踪技术

匡宏宇南京大学

演讲嘉宾

匡宏宇

CCF软件工程专委会执行委员/持续研究自动化软件追踪十余年

南京大学软件学院助理研究员，软件研发效能实验室核心成员，十余年来持续研究软件可追踪性、代码库挖掘、程序理解等软件开发相关方向，曾获ACM南京分会优秀博士论文、AIIDE 2019 Best Paper、教育部-华为“智能基座”栋梁之师等奖项，《开发运维一体化成熟度模型》国家标准的主要起草人之一（产品与需求部分），共发表论文20余篇，其中一作/通讯作者论文11篇（包含ICSE、FSE、ASE等顶尖软工会议论文），应邀担任过SANER 2024 程序委员，JSEP、JSS、SoSyM期刊审稿人，EASE2024 Publicity Lead (China)等学术兼职，主持南京大学软件学院需求课程体系建设与教学工作，主持并结题国自然青年基金一项，参与并完成多项重点企业技术合作。

国家市场监督管理总局国家标准化管理委员会 = >中华人民共和国国家标准GB/T XXXXX—XXXX

软件研发效能@南京大学

DevOps/研发效能全⽅位科研

DevOps教材及课程建设

DevOps知识体系构建

DevOps能⼒成熟度国家标准制定

o DevOps/研发效能全流程产业合作研究

DevOps/研发效能中国·年度调查

DevOps/研发效能中国社区建设

o DevOps/研发效能国内/国际学术论坛

o DevOps/研发效能学术论⽂(260+)及专利(80+)

o CCF-华为胡杨林基⾦成⽴以来唯⼀连续3年持续获得资助的科研团队

目录 CONTENTS

需求自动追踪技术背景与发展
LLM时代需求追踪的重要价值
基于LLM的需求追踪技术初探
本人代表研究简介（请多指正）
总结与展望

PART 01需求自动追踪技术背景与发展

? 引言：为何要在软件项目开发中“溯源需求” ？

• 项目开发者视角：如何快速融入团队？以下为亲身经历

• 被某世界级通讯技术公司专家当面质问：“你是大学老师？你们课上都在教些什么？？”

• 大哥为何愤怒：招来的名校新人程序员“不指定具体PRD和单元测试就写不出代码”

• 假设我们的培养“完美无缺”：学生充分掌握数学基础、编程范式、主流框架、实践经验

• 但TA大概率仍无法全面快速“上手”主流项目：不了解（复杂）项目的系统功能与演进历史

• 氛围良好、成熟稳定的开发团队可以缓解这一问题，但问题本质是系统功能与实现之间缺乏明确关联

• 项目管理者视角：如何治理、盘活已有项目资产？

• 知名网游IP《魔兽世界》： “原汁原味”的怀旧服 vs.“锐意创新”的私服

• 掌握全部项目资产的官方 – 直接上线包含所有缺点的经典版本

• 自行破解还原的“同人” – 推出多个广受好评的改版（官方对此类明确侵权行为态度暧昧）

• 为何？ - 项目代码复杂冗余，开发团队人员流失，项目退化为遗产代码（只能运行，无法维护更新）

• 旁证：永远16格的初始背包容量，官方解释“相关代码在整个游戏最底层，无法精准定位，贸然修改将导致无数BUG”

• 2018年7.3.5版本尝试升级为20格，结果导致该版本在地图、进度、角色、装备等各个方面均涌现出严重错误

如何系统性应对此类问题？

需求可追踪性：显式标识需求以及其它软件制品之间的联系

• 软件可追踪性是软件系统所能具有的一种特性：

[CoEST, the Center of Excellence for Software and Systems Traceability， http://www.coest.org]

• 系统中任意一个可被唯一标识出的软件制品artifact，如需求、设计、代码、测试等）与其它制品之间的关联关系

• 这些关联关系能够随时间的变化而得到维护

由这些关联关系组成的网络可以解答与一个软件系统及其开发流程相关的各类问题

• 最早以需求可追踪性的方式提出[Gotel@RE 1994]

·重点关注需求（功能期望）到代码（实际运行）可追踪性

(a)

(b)

(d)

Requirement Trace Matrix (RTM)
Requirement Trace Matrix (RTM)				RO	R2	R5
VODClient.init()	X
ListFrame.buttonControl3_actionPerformed()	X	X
ListFrame(	X	X
ServerReq.getmovie()	X	X	X
ListFrameListener3.actionPerformed()		X	X

需求可追踪性的诞生

SOFTWARE ENGINEERING

Report on α conference sponsored by the NATO SCIENCE COMMITTEE Garmisch,Germany, 7th to 11th October 1968

Chairman: Professor Dr. F. L. Bauer Co-chairmen: Professor L. Bolliet, Dr. H.J. Helms

Editors: Peter Naur and Brian Randell

DOD-STD-2167
4 JUNE 1985
SUPERSEDING
DOD-STD-1679A (NAVY)
22 OCTOBER 1983
MIL-STD-1644B (TD)
2MARCH 1984

MILITARY STANDARD

DEFENSE SYSTEMSOFTWAREDEVELOPMENT发⽣了什么导致需求可追踪性“出圈”– 从军⽤项⽬⾛向⼀般软件开发？

An Analysis of the Requirements Traceability Problem Orlena C. Z. Gotel & Anthony C. W. Finkelstein Imperial College of Science, Technology & Medicine Department of Computing, 180 Queen's Gate LondonSW72BZ(（oczgacwf@dcicac.uk)

1968+：概念探索

p 在1969年NATO 软件⼯程会议（定义了著名的 “软件危机”问题）上讨论了软件可追踪性的概念与作⽤

1970s-1980s：开发实践

p 70年代军⽤软件强制要求，美国防部1985 年发布DOD-STD-2167A标准

p IEEE Std 830-1984: IEEE Guide to Software Requirements Specifications

1994+：正式定义

p Gotel 等⼈正式定义了需求可追踪性，提出需求可追踪性应该在软件系统中 “普遍存在” [Gotel@RE1994]

需求可追踪性成为软件开发规范

• 诱因：“The Patriot Missile Failure”…的快速修复

• 爱国者导弹拦截失败导致的海湾战争中美军单次最大损失

• 原因：战时长期开机积累的时钟漂移（使用的浮点数精度不足）

• 1991.2.25日袭击发生，2.26日制造商雷神发布修正软件

• 结果：可追踪性引发热议并在90年代成为软件开发规范

• “You cannot manage what you cannot trace” [Watkins@IEEE Software 1994]

• 需求可追踪性应该在软件系统中 “普遍存在” [Gotel@RE1994]

• 软件团队能力成熟度CMMI 3级以上“要求实现”可追踪性

• 仍是当前诸多关键领域软件的强制要求，如DoD、FAA、FDA、NASA等机构、核心网络设备、金融企业的safe-critical软件

The Patriot Missile Failure

The Patriot Missile Failure On February 25, 1991, during the Gulf War, an American Patriot Missile battery in Dharan Saudi Arabia.failed to track and intercept an incoming Iraqi Scud missile. The Scud struck an American Army barracks, killing 28 soldiers and injuring around 100 other people. A report of

the General Accounting office,

The Patriot Misile Failure - University of Minnesota www-users.cse.umn.edu/\~arnold/disasters/patriot.html

Figure2.Howrequirementsareanalyzed orwardand traced (reverse)and tests traced (reverse)and analyzed (forward) within the documentation bierarchy.

需求可追踪性走入日常开发的价值、困难与挑战

• 价值：有效提升（敏捷）软件开发的质量与效率

• （普通新手）开发者通过软件可追踪性可获取（至少）以下关键信息：代码库中需更改的代码元素，受影响的user story与测试用例，以及可咨询的项目组内开发者 [Cleland-Huang@FOSE 2014]

• 有效帮助理解已有代码与开发任务： “当前软件开发人员阅读代码与编写代码的耗时比例超过10：1”Robert C. Martin 2008 - 《Clean Code: A Handbook of Agile Software Craftsmanship》

• 软件维护任务在需求到代码可追踪性的支持下，正确率提高了60%，效率提高了20% [Maeder@ICSM 2012]

• 在质量保证[Rath@TSE 2017]、系统安全[Moran@ICSE 2020]、缺陷定位[Niu@ICSE 2023]等研究中被广泛应用

• 困难：人工实现可追踪性代价大、成本高

• 人工追踪成本近似于开发本身，导致现实系统中并不常见[Ramesh@Journal of Defense Software Engineering 1995]

• 挑战：如何使得需求（软件）可追踪性“广泛存在”

• Grand Challenge of Software Traceability: Ubiquitous [Gotel@RE 2012]

• 引入自动化分析技术，构建高效、可信的需求自动追踪技术与工具

自动化需求追踪在软件工程领域研究中的发展

Workshop

3rd International Workshop on Traceability in Emerging Formsof Software Engineering (TEFSE2005)

Jonathan I.Maletic Department of Computer Science Kent State University Kent Ohio 44242 USA

Department of Engineering
University of Sannio Benevento,Italy&
Ecole Polytechnique deMontreal,
Montreal,QC, Canda
Jane Cleland-Huang
School of Computer Science,
Telecommunications, and Info Systems DePaul University Chicago lingis USA
Jane Huffman Hayes
Department of Computer Science
University of Kentucky Lexington, USA

Establishing and maintaining traceability links and consistency between software artifacts produced or modified in the software life-cycle are costly and tedious activities that are crucial but frequently neglected in practice. Traceability between the free text documentation associated with the development and maintenance cycle of a software system and its source code are crucial in a number of tasks such as program comprehension, software maintenance, and software verification & validation. Finally,maintaining traceability links between subsequent releases of a software system is important for evaluating relative source code deltas, highlighting effort/code variation inconsistencies, and assessing the change history The main theme of the workshop is focused on understanding and defining the foundations for consistency and change management of software systems within the scope of artifact-to-artifact (model-to-model) traceability.

The workshop will address the following issues:

·A formaldefinitionofmodel to modeltraceability

Traceability between artifacts and processes

The semantics oftraceability links

Recovery of traceability links

Visualizationoftraceabilitylinks

•Interoperable approaches to support taceability

Traceability in emerging forms of software engineering including production lines, frameworks, components, etc.

The goals of the workshop are to:

Broaden awareness within the software engineering community of the potential for the application of traceability

•Facilitate the exchange of ideas and interaction between international researchers

Define open research problems faced in realizing usable approaches for traceability

·Construct afoundationofmaterials forfuture researchontraceability

For more information please visit the workshop web site is: htp://e.cs.depauledu/tefse05/. The workshop proceedingsareavailablethroughtheACMdigitallibrary

Copyright is held by the author/owner(s).
ASE05, November 7–11, 2005, Long Beach, Califomia, USA.
ACM 1-58113-993-4/05/0011.

2005：确立方向

p 领域内专业workshop—TEFSE开始接受软件可追踪性相关主题学术投稿

2014：承上启下

p 总结软件可追踪性的发展趋势并展望未来方向: 满足实际需求，实现可追踪性的低成本高价值、可配置、可信、可控、便捷

Grand Challenges of Traceability: The Next Ten Years

Giuliano Antoniol, JaneCleland-Huan, Jane Huffman Hayes, and Michael Vierhauser

2017：继往开来

p 探讨下一个十年的发展：如何利用软件代码库中的大数据、基于（深度）学习的自动化追踪技术、生产实践中的运用等

近15年需求自动追踪生成技术发展文献综述（2010-2024）

搜索词条：

(traceability OR "requirements trac*" OR "software trac*" OR "link recover*" OR "trace recover*")

AND (artifact OR artefact OR document OR software OR requirement OR issue)

AND (recover* OR retriev* OR generat* OR creat*)

NOT (food OR "network security" OR "sensors network" OR "supply chain" OR "genetic traceability" OR "block chain")

文献来源：

数据库名称	搜索范围	初步检索结果
ACM DigitalLibrary	标题+摘要+关键词	1969
IEEE Xplore	标题+摘要+关键词	799
Web of Science	标题+关键词	1910
Science Direct	标题+摘要+关键词	54
SpringerLink	标题+摘要+关键词	3488
Scopus	标题+摘要+关键词	1781

筛选条件：

	包含
包含标准1	论文发表时间:2010.1-2024.6之间.
包含标准2	论文相关性:主题与软件可追踪相关.
包含标准3	论文完整性:如会议论文,进一步扩展为期刊论文，只保留期刊论文版本，排除会议论文版本
包含标准4	论文权威性:经过同行评审且已正式发表的论文，排除书籍章节、硕博论文等
包含标准5	论文语言:用英语撰写的论文.
包含标准6	论文页数:大于等于5页
包含标准7	论文等级：CCFA/B/C,或可追踪相关会议TEFSE，SST

	剔除
剔除标准1	违反包含标准中的任意一条
剔除标准2	论文主题为软件可追踪的维护、管理、使用与应用，而非可追踪生成技术

自动追踪技术演化趋势

自动追踪目标制品：从传统文档到代码库制品

LLM+需求自动追踪后续工作展望

PART 02LLM时代需求追踪的重要价值

? 需求可追踪性对软件开发的积极作用 – 知名软件产品视角

• 某著名蓝色支付软件 – 安卓APP“瘦身”

• 非必须系统功能的遗留使得软件过于“臃肿”，导致用户体验下降并增加安全风险

• 采用动态监控的方式逐步锁定冗余功能

“MiniMon: Minimizing Android Applications with Intelligent Monitoring-Based Debloating”，ICSE 2024

• 若有可追踪性的支持，可在源码层面实现功能定位与系统重构

• 某造车大成功的IoT生态公司 – 安卓OS社区被迫封闭

12.5

• 机型丰富加重“安卓碎片化”，被迫大幅弱化系统的用户可定制性，关键的12.5版本发布也被拖累

• 若有可追踪性的支持，可在源码层面实现“自底向上”的软件产品线模型构建与系统特性定制

• 大模型出现后的时代需要 – 开发过程数据资产化是大模型助力软件开发的前提

• 要充分利用大模型的对话式交互与超强文本归纳能力，必须有效治理、组织、利用开发过程中的各类数据

需求可追踪性能够在不同类型、不同格式的制品之间显式建立追踪线索，是开发数据资产化的关键

需求可追踪性在大模型时代对软件开发的重要作用

目前LLM是否已彻底改变软件开发？

• 对程序员的个体编码能力提升较为明显

• 但从软件开发的人、过程、制品三个维度来看，整体效率并未大幅提升 – “理解代码”的难度要远高于“写出代码”

• 基于系统功能显式关联各个软件制品的软件（需求）可追踪性是程序理解的关键

• 如何更好地在特定领域项目开发上应用LLM？

• ChatGPT类通用大模型是在海量数据上的一次“最优化拟合”，难以直接回答特定问题，必须依赖有效的Prompt引导通用大模型“聚焦”

• 进一步通过开发数据资产化积累项目日常开发的高质量数据，从而基于这些数据构建专用的“小”大模型• 数据资产化的核心是软件可追踪性的高效实现

• 将软件开发与LLM充分结合后的前景展望（代差）？

• 有效应对软件开发的进一步复杂化

• LLM时代会出现更多AI-Intensive系统，代码将不再是唯一关键制品（额外涉及AI模型与训练数据）

. 对软件（需求）可追踪性也提出了更高要求

• 开发效率持续提升后增强企业业务创新能力BizDevOps

Empirical Evaluation of ChatGPT on Requirements Information Retrieval Under Zero-Shot Setting

Jianzhang Zhang1丨 Yiyang Chen1丨 Nan Niu²| Yinglin Wang³| Chuang Liu1

1.Prompt learning for specific requirements retrievaland other NLP4RE tasks could be studied to more sufficiently utilize the domain knowledge encoded by general LLMs.

It is necessary to devise RE domain LLMs based on open source general LLMs with RE domain datasets and instructs to further improve the performance of LLMs on various NLP4RE tasks.

3.To betersupport the above tworesearch directions,it isalso esential tobuild high-quality benchmarkrequire-ments datasets for training and comprehensively evaluating the devised RE domain LLMs.

4.It is also valuable to investigate how to combine RE domain LLMs and the formal methods to better support requirements modeling and verification efficiently.

5.RE practitioners, e.g.,analysts,could further fine-tune the RE domain LLMs with their own requirements which are usually business confidentiality. The fine-tuned models can provide requirements analysis assistance with an chat-based and end-to-end manner.

⼤模型在具体开发任务上有赖于对专⽤数据的利⽤
有必要在通⽤⼤模型的基础上构建专⽤⼤模型
构建专⽤⼤模型需要构建⾼质量数据集与验证集
将⼤模型与已有技术结合是值得去做的宝贵尝试
项⽬专家依然需要⽤⾃⼰项⽬微调专⽤⼤模型，微调后的模型可以提供对话式的端到端交互

Programming Help Largest LLMs (or)
Legal Analysis Specialized models

Largest LLMs Advanced code analysis+Specialized models for particular projects+Orchestration “引导”⼤模型有效助⼒特定软件项⽬开发有赖于可追踪性的实现与引⼊

Single-line code prompting

Difficulty of

Tool handling models

Help do shopping Database manipulation in natural language

Filing an expense report Questions about Facilities and Hours

Medium toLarge Lab-wide Q&A Channel OrchestratintlyfLL

Generaly useful

Better on a specific task in accuracy or

PART 03基于LLM的需求追踪技术初探

需求追踪的本质问题：概念指派（Concept Assignment）

• 生成或维护需求与代码之间的追踪关系的本质问题，是要将模糊的人脑概念与明确的代码元素关联起来，即所谓的概念指派问题[Biggerstaff et al., ICSE 1993]

• 人脑概念基于自然语言和领域知识，而代码逻辑基于数理逻辑与数学运算，二者存在本质区别

• 需要人的创造跨越二者间的语义鸿沟 - 正向指派即为软件开发，逆向指派即为软件（需求）追踪

已有自动追踪技术的本质与趋势

Hash: b1bb2abfde414950238ff4d895bf5e182793500a
Message: GR VY-5082: move symneuc meriace loadng helper
class in case it is not used
Committed: Feb 1, 2012
Files: src/main/org/codehaus/groovy/classgen/AsmClassGenerator.java

Issue ID: GROOVY-5082 Type: Bug Summary: [GROOVY-5o82] Sometimes invalid inner class reference s produced for interfaces Description:Compile this: [..] Upon javap'ing the result we see this InnerClass attribute: ... to X\$1. But there is no X\$1 produced on disk.. Status: Closed Created: 17/Oct/11 13:45 Resolution: Fixed Resolved: 01/Feb/12 11:10

（半）自动追踪（生成）技术共通点

挖掘用户开发的已有软件
制品所包含的系统语义代码结构、测试集合、制品文本、开发记录等
优先降低用户追踪成本，
进而提升追踪质量辅助追踪 – 构造测试 –搜索筛选 – 日常标注

考虑到当前软件开发与概念指派的本质，需求追踪无法实现全自动化

“Human in the Loop”式的半自动化

基于信息检索的自动追踪生成技术概述

主要基于制品文本增强，以及结合软件制品特性的排序优化。更复杂的IR模型作用有限（因制品文本质量较差）

Source	Targec	Similarity	Correct
S1	T2	93.78%	√
S1	T3	90.67%	√
S2	T1	.78%	□
S3	T5	87.56%	√
			□

S12	T23	5.87%	□

步骤：

p ⼤⼩写转换、去除特殊字符、去除停⽤词、提取词⼲

使⽤IR模型计算⽂本相似度，⽣成候选追踪列表p 常⽤检索模型：VSM，LSI，JSD，BM25，LDA等
⽂本预处理
分析并优化候选追踪列表，得到最终追踪列表

候选追踪线索分析

优点：

p ⽅法直观，可解释性强

p 可扩展性强

不⾜：

p 语义鸿沟，单词失配

p 对上下⽂和语义理解能⼒有限

p 丢失部分⾮⽂本特征

基于机器学习的自动追踪生成技术概述

步骤：

⽂本预处理

相⽐于经典机器学习应⽤，可⽤于学习式⾃动追踪⽣成的数据少且质量差，同时⾯临严重的标签不平衡问题（RTM极为稀疏）需要更全⾯的特征⼯程构建，以及多种标签增强技术

p ⼤⼩写转换、去除特殊字符、去除停⽤词、提取词⼲（与检索式⽅法类似）

特征提取（各类⽂本相似度是重要的特征组成部分）
模型训练

p 模型选择、训练设置

使⽤训练得到的模型预测追踪线索

优点：

p 模型简洁，可解释性较好

p 可利⽤先验知识

不⾜：

p 特征选择对模型性能影响显著

p 需要⾼质量的标注数据

p 对复杂问题的解决能⼒有限

候选追踪线索

基于深度学习的自动追踪生成技术概述

逐步转所有制品向BERT系模型并结合后续增强策略，可为⽂本构建⼀个完整模型或为每类制品构建单独模型再联合

词嵌⼊

源制品

⽬标制品

Word2Vec, GloVe, ELMo, BERT...

RNN, CNN, LSTM, GAN, GRU...

神经⽹络追踪线索预测

模型训练

步骤：

基于词嵌⼊的⽂本预处理
选择神经⽹络（含下游模型配置）p RNN（LSTM or GRU）、CNN、Transformer
训练神经⽹络模型 p 模型构建、训练设置
使⽤训练得到的模型预测追踪线索

优点：

p 减少特征⼯程需求

不⾜：

p 对计算资源需求较⾼

p 更好的进⾏上下⽂与语义

理解

p 模型本⾝可解释较弱

p 需应对可追踪领域数据规模较⼩

基于大模型的需求自动追踪：进展如何？

An LLM-based Approach to Recover Traceability Links between Security Requirements and Goal Models

Jameleddine Hassine

⽬标模型⼴泛⽤于需求⼯程前期分析

jhassine@kfupm.edu.sa

Information and Computer Science Department, KFUPM

Interdisciplinary Research Center for Intelligent Secure Systems, KFUPM

Dhahran, KSA

基于GPT3.5的Prompts设计

prompt_messages =[

{"role": "system",

"content":

f"You are a requirements engineer. Given the following requirements {Requirements} "

f"and the following goals {goals}.

f"The task consists of linking the security-related requirements within {Requirements} f"to the security-related goals from {goals}.

"Note that one goal can be linked to many requirements and vice versa."

"Provide the rationale for each generated link separately."

"Do not report non-security related links."},

"content":""}

在⼀个⼩系统上进⾏了初步实验，Precision100%，但漏掉了三个相关trace，重新请⼤模型判断，⼤模型⼜认为均是有关的（随机性）

**Protect User Privacy**

基于输⼊的安全⽬标追踪到了对应的安全需求并给出解释

. **Linked Requirements :**

- R1:The app shall allow users to set privacy preferences for their designs, controlling who can view or edit them.

- R2:The app shall provide end-to-end encryption for all user data， ensuring privacy during transmission and storage.

**Rationale:**

- Requirement R1 enables users to control the visibility and editing permissions of their designs, thereby enhancing user privacy within the app.

- Requirement R2 ensures that all user data is encrypted end-to-end， safeguarding user privacy during both transmission and storage processes.

2.**Safeguard Financial Transactions**

- **Linked Requirements:**

- R3: The app shall integrate with trusted payment gateways like PayPal or Stripe to secure financial transactions.

- R4: The app shall implement tokenization for sensitive financial information to safeguard against unauthorized ccess.

，**Rationale:**

- Requirement R3 ensures that the app_integrates with secure payment gateways to safeguard financial transactions, nhancing the overall security of financial data.

- Requirement R4 implements tokenization for sensitive financial information， adding an extra layer of security to rotect against unauthorized access to financial data.

基于大模型提示工程的需求自动追踪：优点与问题

D	Prompt 基于Claude（整体效果更好，	Precision	Recall	TP	TN	FP	FN
1	允许更长的提示输入） Is (1) related to (2)?	18% 32.4%	46% 92.3%	6 12	225 227	27 25	7 1
2	Ignoring the different abstraction levels of the artifacts, is (1) related to (2)?	17%	54%	7	218	34
3	Is there a traceability link between (1) and (2)?	80%	31%	4		1	6
		40%	46.2%	6	251 243	9	9 7
4	Below are artifacts from thesame software system,is therea traceability link between (1) and (2)？	12%	100%	13	154	98	0
5	Beloware artifacts from the same software system.Ignoring different levels of abstraction, can (2) be decomposed from (1)?	36%	62%	8	238	14	5
6	Below are artifacts from the same software system. Ignoring different levels of abstraction, does (2) fulfill (1)?	67%	46%	6	249	3	7
7	Below are artifacts from the same software system. Ignoring different levels of abstraction, are (1) and (2)part of thesame feature and share functionality?	32%	54%	7	237	15	6
8	Beloware artifacts from the same software system.Ignoring diferent levels of abstraction, does (2) implement system functionality from (1)?	22%	77%	10	216	36	3
9	Below are artifacts from the same software system. Ignoring different levels of abstraction, are (1) and (2) dependent on the same system capability?	19%	85%	11	204	48	2
10	Below are artifact from the same software system. Ignoring different levels of abstraction, can (2)be one of the hierarchical decompositions of (1)? Consider whether (2) implements a part of (1).	22%	92%	12	208	44	1
	Combining all questions and chain-of-thought reasoning.	37.9%	84.6%	11	234	18	2

• 基于大模型提示工程展开需求追踪的问题

• 对不同抽象层级制品的语义关联感到“难以接受”，需要强调制品来自于同个系统

• Prompt提示后有一定效果但不够明显（结果偏向高查全率）• 提示文本细节（单词复数、词组顺序）对结果影响较大

在词嵌入方面也未体现出显著优势

⼤模型优点：能够扩充语义（缩写）

Au \~1:1:4. Human: What does this artifact mean? The DPU-TMALI shall utilize SCM-DCl-SR, along with ERRNO provided by DPU-DCl to decode errors and place them on an error queue for DPU-CCM. Notre Dame. Indiana Notre Dame. Indiana

Assistant: .. Some guesses at the meaning:

DPU may stand for Data Processing Unit... SCM-DCI-SR seems to be some kind of protocol or interface used for communication between DPU-TMALI and DPU-DCl.

ERRNO is a standard way for software components to return error codes. So DPU-DCl seems to be providing error codes to DPU-TMALI .. DPU-TMALI is receiving error data from DPU-DCl, decoding or interpreting those errors, and then queuing them up to be sent to DPU-CCM.

DPU-CCM seems to be a component that is receiving error data, perhaps for monitoring purposes...

TABLE IⅢI
MEAN AVERAGE PRECISION OF RANKED TARGET ARTIFACTS

Dataset	Ranking by VSM	Ranking by VSM + LLM
CM1	70.7%	79.4%
iTrust	44.5%	44.2%
Dronology (NL)	82.9%	100%
Dronology (PL)	23.2%	30.8%

初步观察结论：⼤模型具备⼀定的制品追踪能⼒但有限，与已有⾃动追踪技术结合可能是更好选择

LLM + 需求自动追踪展望：大语言模型的技术特性

• 大模型的本质独特性 – 计算层面[Rinard@ICSE 2024 Keynote]

• 大模型的输出仍是依照用户查询/提示，基于数据训练得到的概率模型的采样

• 这使得用户可以反复提示大模型并从返回的多个结果中挑选出符合需要的

• 大模型的本质独特性 – 产品层面[Chintala@ICSE 2024 Keynote]

• 可视作一种“柔性”数据库查询，用户可通过持续交互逐步确定正确答案

• 被训练过的任何一块文本片段都有可能被涉及并整合到大模型的输出之中

• 由此带来的问题 – 难以避免的“幻觉” 问题

大模型的通用性和灵活交互能力本质上基于概率模型所共有的反复多次采样，而这个过程本质是不确定的

大模型的优质答案依赖于是否在训练中“亲眼见过”相关数据，否则会不可避免的出现“幻觉”与“编造”

LLM +需求自动追踪展望：如何更好地与大模型“共舞”

• 首先接受大模型的 “不确定性”

• 因为这同时是大模型能力的“源泉”

• 从基于控制的系统中学习LLM（AI）系统设计

融合多种输入源以相互印证

中长期目标：在海量高质量项目数据上训练专用大模型

• 结构化模型输出以方便快速展开分析

显式引入业务相关的领域模型与奖励模型 – LLM-RAG

• 人在循环中不断对系统输出进行反馈

• 引入团队经验与先验知识 – LLM-Prompt

• 系统工具化时需构建适合的交互界面

• 便于快速评估大模型的输出结果并及时纠错

? LLM + 需求自动追踪：后续工作展望

软件仓库制品

传统开发制品

检索式+代码库制品约5篇

LLM – RAG利⽤⼤模型的信息归纳能⼒更好地处理和增强⽂本

检索式+传统制品约50余篇

信息检索式

LLM – Finetuning基于资产化软件开发数据打造交互式、持续演进的对话式追踪⼯具

学习式+代码库制品约30余篇

BERT – Prompt Template 利⽤（⼩）语⾔模型强化⽂本分析并融合潜在特征

LLM – Prompt 基于⼤模型的持续交互能⼒融合多种追踪优化策略

学习式+传统制品约5篇

学习式

PART 04本人代表研究简介

近十五年来自动追踪研究分布与本人工作

基于代码依赖分析的检索式方法增强：CLUSTER

Class	req	score
editNDCInteractions._ isp	UC15	0.298
DrugCodesBeanValidator	UC15	0.227
DruaCodesDAQ	UC15	0.113
editNDCodes_isn	UC15	0.113
Parameter	UC15	0.112
DruglnteractionAction	UC15	0.054
editDrugCodes_isp	UC15	0.037
NDCodesDAO	UC15	0.032
AuthDAO.	UC15	0.026
UpdateCodesListAction	UC15	0.025
viewResult_isn	UC15	0.018
UpdateNDCodesListAction	UC15	0.016

基于共识词对的检索式方法增强：TAROT[ASE 2022] & TRIAD[ICSE 2024]

TraceAbility Recovery by cOsensual biTerms (TAROT)

det

The iTrust user (patient)has been authenticated in the iTrust Medical Recordssystem(UC3).

A patient selects to report an event related to a prescription drug[S1]or immunization [S2] reaction.

Afakeemail is sentto the LHCP who prescribed the medication indicating thepatient nameand MiD,drug,andsymptoms.

6 public class EmailUtil {

参照社交文本主题建模中的词对增强策略，引入软件追踪共识词对探索跨越制品开发的共识语义

使用词性分析和代码标识符分析来抽取共识词对，例如图中的(send, email) 和 (fake,email)

. 利用共识词对扩充制品文本并构建检索优化策略，在9个系统上帮助提升4.8%至21.8%MAP

Traceability Recovery by bIterm-enhAnced Deduction of transitive links (TRIAD)

基于共识词对的跨语言（中英）需求追踪：AVIATE[ASE 2024]

Figure 1: Motivating example adapted from the San project.

软件开发全球化导致软件制品文本出现多语言混用现象，阻碍自动追踪

• GitHub上12.7%的commit logs由非英文书写，最常用为中文28.6%，其余依次为西葡法日等国内公司实践中更常见（代码仍以英文为主）

• 可通过翻译统一语言，但会出现多种翻译版本（翻译变体），削弱自动追踪技术效果

. 在多翻译变体上抽取共识词对增强文本并设计优化策略，在17个跨语言系统上AP提升31.4%，MAP提升11.2%

英汉项目14个，来自阿里、腾讯、网易、小米、百度等公司开源项目

• 英韩、英日、英德项目各一（提升高于英汉）

Figure 2: Overview of the AVIATE framework.

基于增强预处理的学习式方法： SPLINT[FSE 2022]

Semi-Supervised Pre-processing for LearnINg-based Traceability (SPLINT)

Figure 3: Overview process of SPLINT

• 基于已知的Issue-Commit对进行自动化追踪

• 提交Commit时往往会标记所解决的Issue

• 标签严重不平衡，数据稀疏，影响分类效果

• 基于类别平衡和自学习技术预处理数据的分类优化

• 6个开源系统上平均提升0.76%AUC

• 10个工业系统上平均提升8.39%AUC

Class-balancing and self-training(CBST) selection process

? 探索中工作：BERT在基于制品文本的自动追踪潜力

Issue ID	Summary	Creator	Created time
ZOOKEEPER-2512\|All	ow Jetty dependency to use HTTPS and Basic Auth	Edward Ribeiro	12/Aug/16
ZOOKEEPER-4030(	Optionaly canonicalize host names in quorum SASL authentication	\|Damien Diederen	17/Dec/20
ZOOKEEPER-4259	Allow AdminServer to force https	Norbert Kalmar	24/Mar/21
ZOOKEEPER-4633	Provide digest auth support for Admin Server APIs	Li Wang	09/Nov/22
ZOOKEEPER-46341	Provide x509 auth support for Admin Server APIs Li	Wang	09/Nov/22

⽬标：

对学习式追踪的Issue-Commit对进⾏语义聚合
基于历史Issue的Component标签构建分类模型思路：
考虑软件开发过程特性（⼈员协作&逐步演化）
强化模型语义能⼒

使用BERT预训练语言模型

使用提示学习克服语义鸿沟

设计⼀个能够增量分类issue新标签的推荐⽅法效果：
提升任务经典指标Recall@1 3.2% - 215.7%
消融实验说明⽅法各部分均对效果起正向作⽤经验分享：
BERT类“⼩”语⾔模型⽐LLM更容易拟合给定数据
BERT提示模板可有效引⼊额外知识，实践中可选择通过LLM补充重要上下⽂，再利⽤BERT拟合

引⼊基于BERT的提示学习，并在提示模板中融合软件开发过程特性

. This issue is created by in . This is component.

科研情况简介右侧为论文和项目图例，加粗论文为一作/通讯 =

CCF-ACCF-BCCF-C即将/已投稿企业技术合作

GitHub 2.84亿+公开软件仓库stack overflow

Stack Overflow5800万+ 提问&回答

⾯向软件协作⽹络的功能追踪与开发管理

⽬标：显著提升⽇常软件开发的效率与质量，有效⽀持数智化时代BizDevOps实践

DevOps国家标准起草⾦融科技、智能电⽹合作vivo软件产品⼯作坊设⽴数智化转型课程共建

TRACEABILITY

系统功能追踪

核⼼⾃动化软件可追踪

开发状态管理

核⼼

情绪分析与软件开发

ICSM2012
JSEP2015
SANER2017
ICPC2019
EMSE2022
ASE2022
ICSE2024
ASE2024

检索式追踪线索⽣成与优化

版本注释与多版本代码diff⾃动追踪

开源防投毒社区可疑活动分析学习式追踪线索⽣成与维护

FSE2022 FSE2025拟投

基于功能关联的Issue分类与聚合

ICSE2025已投

基于软件⼯程⽂本独特性的情绪分析优化

基于情绪分析的软件开发状态感知

研发外包产出评估技术

Internetware2022ECAI2024已投基于深度学习和可解释框架的细粒度情绪诱因分析

开发协作⽹络分析与代码评审者推荐

PART 05 总结与展望

个人观点总结（for “Take away”）

• 需求可追踪性指在软件系统中将各类制品基于系统功能建立并维护显式语义关联

普通开发者快速融入团队，有效提升开发效率与质量的重要途径（容易忽略）

项目管理者治理开发过程，实现开发数据资产化的必经之路

以需求追踪为核心的开发数据资产化是大模型赋能软件开发的关键

需求可追踪性能够在细粒度的源码层面支持大量软件开发相关任务

面向需求追踪实现开发数据资产化是在软件开发中充分利用LLM能力的重要前提

需求自动追踪长期以来是软件工程领域研究与实践的热点与难点

当前主流追踪技术为面向传统制品文本的信息检索和面向代码库文本的机器学习

• 在高质量数据有限的前提下可以重点关注大模型RAG和Prompt与传统分析技术的结合

2024AI+研发数字峰会 Al+ Development Digital summit AI驱动研发变革 促进企业降本增效

AiDD-计算机行业2024AI+研发数字峰会：大语言模型时代需求自动追踪技术-250320.pdf