AI 赋能高校课程质量评价蓝皮书（2024）

前言 ... 3
一、2024 年度课程质量评价活动概况.
1、核心数据全览. 4
2、区域覆盖情况. 5
3、院校类型分布.. 5
4、评审模式统计. 6
二、AI 评审的实际效益分析.
1、效率提升量化分析.. . 8
2、成本效益优化分析.. 9
三、AI 评审系统（Llama-UKP）的可靠性与一致性多维验证.
1、算法有效性实证：AI-专家双盲对照研究..
2、AI 与专家评审结果显著性和一致性对比.. 12
3、高校接受度与认同度调查. 13
四、经典案例.. . 15
1、教育部第二批人工智能案例公布，从游科技携手郑州大学联合申报..
2、“U 课评”助力郑州大学智慧课程评价创新实践获新华网报道. ..15
3、“U 课评”携手昆明理工大学，获云南官方媒体和学习强国报道. .16
五、结论 ...... . 17

前言

在高等教育高质量发展进程中，课程质量评价既是人才培养的“指挥棒”，也是教学改革的“诊断仪”。然而，传统评价模式长期面临三大结构性矛盾：人工评审效率滞后、定性分析缺乏量化支撑以及静态结果难以驱动动态优化。

《深化新时代教育评价改革总体方案》（中发〔2020〕19号）明确提出“构建政府、学校、社会等多元参与的评价体系，创新评价工具”，这一要求与从游科技 U 课评 AI 课程质量评价平台（Llama-UKP）的技术路径深度耦合。平台通过多模态数据融合、百万专家智库和生成式报告引擎，实现了“数据采集-智能诊断-精准干预”的全链条评价升级。截至2024 年 12 月统计数据显示，平台已通过国家版权局权威认证，获得多项计算机软件著作权登记证书，部署范围已覆盖 40 余所高等院校，累计完成课程评审逾 2 万门次。实证数据显示：在效率维度，单课程评审耗时从传统模式的 40分钟压缩至 3分钟；在成本维度，综合运营费用降低 80%；在质量维度，AI 评审结果与专家人工评审结果高度一致，标志着人工智能正在将“以评促建、以评促改”的教育理念转化为可验证的数字化解决方案。

基于上述实践成果，本蓝皮书将聚焦四大核心维度，系统阐释 AI 如何驱动教育评价革新：

（1）U 课评AI 课程质量评价平台的规模化落地能力；

（2）全流程效率与成本的双重变革；

（3）技术可靠性与教育价值的协同验证；

（4）AI 赋能的教育评价生态重构实践。

通过系统性分析，平台期望为高校管理者、教育技术研究者提供可复用的AI 评价实施框架，推动教育评价从“经验判断”迈向“数据+智能驱动”的新阶段。

一、2024 年度课程质量评价活动概况

1、核心数据全览

2024年度，从游科技“U课评”平台已服务43所高校开展课程质量评价活动，累计完成了 2.15 万门次课程评审，平台覆盖综合类、医科类、理工科类、师范类、财经类、艺术类、警官类等多类型学校，构建了“数据采集-智能分析-决策支持”的闭环评价生态，为高校提供专家评审、AI 评审及混合评审等多元化选择方案。基于一站式全流程管理机制，实现课程质量评价的自动化和数据驱动。

2、区域覆盖情况

据 2024 年度的平台数据显示，已有 43 所高校使用 U 课评开展课程质量评价活动。其中，西南地区共 21 所高校使用，占比 48.84%。华中地区以 12 所高校（27.91%）次之，华南等多个地区合计10所高校（23.26%）。

表1区域覆盖数量情况

区域	学校数量（所）
西南地区	21
华中地区	12
华南地区	7
其他地区1	3

区域分布占比情况

3、院校类型分布

据2024年度的平台数据显示，平台服务的高校已全面覆盖综合类（32.56%）、理工科（23.26%）、财经类（16.28%）、医科类（11.63%）、师范类（9.3%）、艺术类（4.65%）及警官类（2.33%）七大核心院校类别，充分体现了在平台部署的高校类型的多样性。

表2平台院校类型数量情况

学校类型	数量 (所)
综合类	14
理工类	10
财经类	7
医科类	5
师范类	4
艺术类	2
警官类	1

学校类型分层统计

4、评审模式统计

基于 2024 年度本平台高校服务数据统计，“AI+专家”2双轨评审模式已在64.28%的部署高校中得到广泛应用。该模式通过融合智能算法的高效性与专家的专业判断力，实现了优势互补，显著提升了评审的科学性和精准度。在特定应用场景下，15.87%的高校选择纯 AI 评审模式，以充分发挥其高效、便捷的特点，进一步优化评审流程；另有 19.86%的高校仍保留纯专家评审模式，以确保评审的专业性和权威性。这一多元化的评审模式选择，充分体现了高校在课程评审活动中对效率与专业性平衡的精准把握。

表3全平台累计评审模式课程情况

评审类型	课程评审数量（门次)
仅AI评审	3413
仅专家评审	4271
AI评审+专家评审	13825

全平台累计评审课程情况

二、AI 评审的实际效益分析

1、效率提升量化分析

基于 2024 年度数据，U 课评平台通过算法矩阵重构实现了全流程效率的范式革新。在专家协同领域，平台构建的专家知识图谱系统通过自然语言处理技术实现领域专家精准画像，结合智能推荐引擎的实时匹配功能，将专家邀约响应周期由传统模式的 3-5 天压缩至 1 天，达成4 倍效能跃升；在数据可视化层面，平台开发的动态报告生成系统采用生成式 AI 技术，通过预训练语言模型实现结构化数据的语义化转换，将单课程分析报告生成周期由传统人工模式的 1周（3360分钟）缩减至 3 分钟，创造 1119 倍时效优化率。在课程评审维度，平台研发的智能评审矩阵系统通过多模态数据融合技术，整合课程视频、教学大纲、学生反馈等 23 个评估维度，借助自动化评分模型将单门课程评审周期由 40分钟缩短至3 分钟，效率提升12.33 倍。

表4平台效率提升对比表

效率提升项	专家/校方	U课评平台	效率提升
邀约专家耗时	7200分钟 (3-5天)	1440分钟 (1天)	400%
课程报告制作耗时	3360 分钟 (1星期)	3分钟	111900%
单门课程评审耗时	40分钟	3分钟	1233.33%

使用U课评时间成本减少对比

使用U课评效率提升对比单位：分钟

2、成本效益优化分析

在 2024 年度课程评审的费用分析中，不同评审模式的成本效益差异显著。传统专家评审的费用为 500 元/门，而 U 课评 AI 评审的费用仅为 100 元/门。以某高校的课程质量评级活动为例，该高校需评审800 门课程，仅采用专家评审的费用为 120 万元；而采用 U 课评 AI 评审的费用仅为8 万元，费用节省幅度高达93.33%。此外，若采用“AI +专家”的双轨评审模式，总费用为 48 万元，相比纯专家评审模式，费用节省了 60%。由此可见，使用 U 课评平台在高校课程评审工作中能够显著降低费用成本，同时兼顾评审效率与质量，具有较高的应用价值。

表5 单门课程评审价格对比表（专家 vsAI）

评审类型	单价/配置	仅专家评审仅AI评审		AI+专家3
单门课程4	1门课程/1位专家	500元/门	100元/门	600元/门
批量评审5	800 门课程/3位专家	120万元	8万元	48万元

AI与专家评审价格对比

费用节省对比图

以西南某高校为例，该校在 2024 年度课程质量评价中引入U课评平台，评审800门课程的过程中，平台采用“AI+专家”双轨评价模式，依托多模态数据融合技术对教学大纲、自评报告、课程材料等23 类指标进行自动化分析，并结合生成式 AI 动态生成结构化评审报告。相较于纯人工模式，2024年评审总耗时缩短 46.67%（22,500 分钟→12,000 分钟），综合成本降低 60%（120 万元→48 万元），同时为学校输出覆盖课程目标达成度、课程整体情况诊断、教学设计诊断三大维度的动态质量报告，填补了传统评审的数据空白。

三、AI 评审系统（Llama-UKP）的可靠性与一致性多维验证

1、算法有效性实证：AI-专家双盲对照研究

从游公司与澳大利亚昆士兰大学袁博教授联合发表的论文有力地证明，U 课评 AI 评审系统（Llama-UKP）基于大语言模型和深度学习算法，能够高效处理课程内容与学生反馈，通过语义解析和情感分析等技术，构建多维评价体系。其技术优势在于规避人为偏见，确保评价结果的可靠性。6

实证研究表明7，U 课评 AI 评审系统（Llama-UKP）在实际应用场景中展现出卓越的评估效能。以华中地区某双一流高校的课程评估项目为研究样本（n=100），将 Llama-UKP 与专家评审的结果进行了对比分析。结果显示，Llama-UKP 与专家评审的斯皮尔曼等级相关系数为 0.843（p<0.01）；通过Bland-Altman 一致性分析可见（如图 10 所示），Llama-UKP 与专家的得分平均差异接近于 0（μ=0.12），相应的 95%置信区间包括X轴，上述结果都显示了两者之间具有良好的一致性。因此，在实践中，Llama-UKP 和专家可以互换使用。

Llama-UKP 和人类专家的 Bland-Altman 图

2、AI 与专家评审结果显著性和一致性对比8

据 2024 年度平台数据统计分析，整体评分一致率达98%以上（差异≤5%），验证了 AI 评审与专家评审的一致性和的高度可靠性。进一步分析表明，在不足2%的差异中，差异源自于真人评审的客观局限：（1）专家主观疲劳（48.5%），导致在评审过程中评分波动；（2）跨学科专业错位（36.2%）引发课程理解偏差以及专家分组组间差异（15.3%）造成的评分尺度不统一。这一结果既证实了AI评审的稳定性，也精准揭示了传统人工评审体系亟待优化的结构性痛点。

表6AI与专家评审评分一致性对比（抽样样本）

	西南某高校 (n=820)	华中某高校 (n=815)
评分一致性率9 (差异≤5%)	99.1% (± 0.3%, 95% CI)	98.6% (± 0.7%, 95% CI)10
显著差异	0.9%	1.4%
差异原因	(1) 专家主观评审疲劳 (48.5%)
	(2)	专家专业与所评课程不匹配 (36.2%)
	(3)	专家分组组间差异 (15.3%)

3、高校接受度与认同度调查

根据2024 年度对 43所高校的跟踪数据显示，平台输出的AI 评审结论实现全量覆盖高校目标场景应用（100%），精准触达课程优化核心痛点；基于深度学习算法生成的课程报告，其改进策略与高校实际教学需求的重合度达 97.67%，印证了技术逻辑与教育规律的深度耦合；而 AI 评审与专家人工评估的结论趋同率突破95.34%，则进一步佐证了平台智能算法矩阵的科学性与行业适配性。表7 高校用户对AI 评审的接受度与采纳率调查

认同率问卷调查项	数量 (n=43)	认同率
AI评审结果实用率高	43	100%
课程报告与教学改进的匹配度高	42	97.67%
AI结果与专家评审结论一致性	41	95.34%

根据研究数据显示，AI 评审结果与专家评审结果之间存在4.66%的差异性，经对问卷数据的定性分析表明，此类差异主要可归结于以下三方面：材料质量缺陷（占比 63.32%）、专家主观偏差（占比24.18%）以及AI 情境盲区（占比12.5%）。

建议高校在课堂质量评估中采用“AI+专家”双轨评审机制：AI 通过标准化数据处理规避专家主观偏差，专家凭借情境化判断弥补 AI 技术盲区，两者协同可有效提升评估结果的客观性与科学性。

表8 AI 结果与专家评审结果不一致性归因

归因类别	影响占比	核心影响
材料质量缺陷	63.32%	材料不完整或格式混乱，导致AI获取信息不充分。
专家主观偏差	24.18%	专家评审受个人经验、知识背景及潜在认知偏好影响，导致对同一评审对象（如教师）的标准解读与权重分配存在差异。
AI情境盲区	12.5%	AI依赖显性数据与规则，无法捕捉材料外的隐性信息 (如个人声誉、长期行为等)，导致对需结合背景知识或主观综合判断的指标（如师风师德）评估偏差。

评审结果不一致归因占比

单位：%

在高校课程质量评价中，AI 评审系统（Llama-UKP）不仅提升了课程质量评价活动的效率，还确保了在课程质量评价活动中评审结果的可靠性和一致性，能够实现教育评价从“经验判断”迈向“数据+智能驱动”的里程碑式的新阶段。

四、经典案例

1、教育部第二批人工智能案例公布，从游科技携手郑州大学联合申报

从游科技与郑州大学联合申报的《构建 AI 评价专家模型，赋能课程质量评价与分类认证》案例成功入选国家第二批“人工智能+高等教育”典型应用场景标志着双方在人工智能赋能高等教育领域的探索取得了重要成果，为全国高等教育课程质量评价的智能化转型树立了新的标杆。

18	东南大学	“实验Ta1k”AI平台赋能大电类专业基础实验教、学、管
19	浙江大学	以微致通：AI+X微专业赋能交叉人才培养
20	江西理工大学	“红色血脉，金色矿冶”：AI赋能机电类课程项目化教学及应用
21	山东大学	基于知识图谱和大模型的计算机通识课程智能数字教师
22	郑州大学	构建AI评价专家模型，赋能课程质量评价与分类认证
23	武汉大学	创新“AI+”专业图谱，贯通“教·学·管·评”全链路
24	武汉理工大学	“材料+”大模型赋能拔尖创新人才培养的应用实践
25	华中师范大学	“人工智能+”课程资源质量评价
26	华南师范大学	人工智能助力师范生教学基本技能训练的创新实践

教育部第二批人工智能案例入选截图

2、“U 课评”助力郑州大学智慧课程评价创新实践获新华网报道11

从游科技“U课评”平台助力郑州大学开展智慧课程评价创新实践。通过训练 AI 模型（准确度从 63%提升至 96%），形成“AI 评价-人工复核-反馈改进”闭环模式，评价结果贴合教学实情，荣获新华网专题报道。

3、“U 课评”携手昆明理工大学，获云南官方媒体12和学习强国报道13

从游与昆明理工大学携手联合开展的“人工智能驱动课程质量建设工作”，成功吸引了云南都市时报、学习强国等官方媒体的广泛关注与报道。在此项工作中，双方充分利用先进的 AI 技术，对学校课程质量展开全方位、客观且精准的评估，这一举措有力地推动了课程建设与教学管理水平迈向新的高度，为学校教育教学的持续优化与发展注入了强劲动力。

人工智能技术助力昆明理工大学课程质量评价工作

都市时报2024-07-1310:32

记者从昆明理工大学获悉，近年来，该校联合人工智能企业，结合学校多年的课程评价数据，进行课程质量评价的垂直模型训练，构建了全面的课程质量评价智能系统。

人工智能技术助力昆工课程质量评价工作

在传统课程评价工作中，学校面临人力有限、任务重、人工成本高、评价体系缺乏数据分析、评价结果缺乏具体改进措施等问题。为此，昆明理工大学与成都从游智能科技有限公司积极探索智能化手段，围绕构建课程评价机制、确定评价方案、建

五、结论

2024 年，在高等教育深化改革的浪潮中，成都从游智能科技有限公司“U课评”AI 课程质量评价平台（Llama-UKP）以技术创新驱动教育评价范式变革，为高校课程质量提升提供了可量化、可复用的数字化解决方案。通过覆盖 43 所高校、累计完成2万余门次课程评审的实践验证，平台在效率、成本、质量三大维度展现了显著优势，为教育评价智能化转型树立了行业标杆。

1. 效率与成本的双重突破

AI 技术的深度应用实现了评审效率的跃升与运营成本的优化。平台通过智能算法矩阵与多模态数据融合技术，将单门课程评审耗时效率提升12.33倍；动态报告生成速度提升高达1119倍，显著优化了周期时效。在成本维度，AI 评审单价仅为专家评审的 20%，单校批量评审综合成本降幅达 93.33%，为高校释放了更多资源用于教学优化与创新实践。

2. 评审质量与一致性的科学验证

AI 评审系统的可靠性已通过多维实证检验，整体评分一致率突破 98%。技术逻辑与教育规律的深度耦合，使 AI 生成的课程改进策略与高校实际需求匹配度达 98.1%，有效填补传统评审的数据空白，推动评价从“经验判断”迈向“数据+智能驱动”14。

3. 生态共建与行业影响力

平台的规模化落地能力与跨区域覆盖特性，已构建起“西南引领、多域协同”的AI 评价生态。合郑州大学、昆明理工大学等多所服务高校的实践成果获教育部、新华网、学习强国等权威机构与媒体的广泛认可，验证了“AI+教育”模式的普适性与创新价值。

本蓝皮书以数据为基、案例为证，呼吁更多高校加入教育评价智能化转型的行列，共同构建“数据驱动、动态优化、多方协同”的新型评价体系，为高等教育高质量发展注入持久动能。从游科技愿与高等教育界携手，以“评”促建、以“智”提质，共创教育评价智能化的新篇章。

目录

前言

AI赋能高校课程质量评价白皮书

常见问题