论文标题：Evaluating the Efficacy of a Multifaceted Prompt for Use with LLMs to Evaluate Course Project Reports

期刊：Frontiers of Digital Education

作者：Qingyang Sun, Jialu Zhang, Peng Sheng, Qianyi Wang, Tianrui Wang, Heng Li, Hanshu Zhan, Xiaoqing Zhang, Jiang Liu

发表时间：16 Apr 2026

DOI：10.1007/s44366-026-0086-y

微信链接：点击此处阅读微信文章

《数字教育前沿（英文）》第3卷第2期

课程项目报告是高等教育中评价学生学习成果、实践能力与逻辑思维的重要环节，当前基于大语言模型的自动作文评分方法大多只关注写作水平，很少顾及报告本身的批判性思维与认知投入，难以实现全面、准确的自动化评估。

研究论文

近日，南方科技大学刘江教授团队在 Frontiers of Digital Education （《数字教育前沿（英文）》）期刊发表了一篇研究论文，将 Paul-Elder 批判性思维理论融入提示词设计，提出全新的 PEG-Prompt 框架，用于指导大语言模型对课程项目报告开展多维度智能评价，有效提升了模型评分与人类教师评分的一致性。

研究构建了包含 110 份课程项目报告的 PEG-CPR 数据集，由专业教师按照结构、逻辑、连贯性、原创性、引用、知识熟练度六个维度进行双评打分，评分者间一致性良好。在此基础上，研究选用 ERNIE Speed、DeepSeek-V3、Gemini 1.5 Flash、Llama Guard 3 8B 四款主流大语言模型开对比实验，将基础提示词与 PEG-Prompt 的评估效果进行比较，并进一步通过报告关键内容提取和小样本评分示例对提示词进行优化。实验结果显示，PEG-Prompt 能够让大语言模型不再只给出笼统总分，而是从六个维度分别给出评分、依据和改进建议，各项误差指标显著降低，评分结果更贴近人工评价。同时结合关键内容提取与小样本示例的优化方案效果最优，模型在各维度上的评分都与教师评分高度吻合，统计检验与案例分析均证实了该方法的显著优势。

研究表明，将批判性思维理念嵌入提示词设计，可以有效激活大语言模型在教育评价场景中的专业判断能力，弥补传统自动评分只重文笔、不重思维的短板。这一框架不仅能帮助教师高效完成课程项目报告批改，还能为学生提供清晰、具体的反馈，助力学习改进。研究也存在一定局限，数据集规模有限且仅覆盖单一课程类型，未来可进一步扩大样本、拓展学科范围并开展长期教学应用验证。

综上，基于批判性思维的 PEG-Prompt 框架为大语言模型在课程项目报告智能评估中的应用提供了可靠方案，大幅提升了评估的全面性与准确性，为高等教育智能化评价改革提供了可行路径。

文章引用格式

Qingyang Sun, Jialu Zhang, Peng Sheng, Qianyi Wang, Tianrui Wang, Heng Li, Hanshu Zhan, Xiaoqing Zhang, Jiang Liu. Evaluating the Efficacy of a Multifaceted Prompt for Use with LLMs to Evaluate Course Project Reports. Frontiers of Digital Education, 2026, 3(2): 12

DOI: 10.1007/s44366-026-0086-y

识别二维码 免费获取原文

作者简介

孙清扬，南方科技大学计算机科学与工程系硕士研究生，研究方向为教育智能。

张佳璐，南方科技大学计算机科学与工程系博士后。研究方向包括计算机视觉、多模态大模型和教育智能。已在 IEEE TIP、AAAI、ACM MM 等国际重要期刊和会议发表论文十余篇。

盛鹏，本科毕业于南方科技大学计算机科学与工程系，现就读于香港科技大学。

王谦益，南方科技大学计算机科学与工程系本科毕业，论文发表时供职于南方科技大学斯发基斯可信自主系统研究院。

王天瑞，南方科技大学计算机科学与工程系本科生。

李衡，深圳理工大学生物医学工程学院特聘副教授、博士生导师，IEEE高级会员，IEEE TMI 杰出审稿人，中国生物信息学学会委员，医学图像计算青年研讨会（MICS）委员，及全国生物医学数据挖掘与计算学术会议专委会委员。研究方向聚焦人工智能诊疗技术与手术机器人系统。主持国家自然科学基金及省市级科技计划项目 6 项，作为核心成员参与科技部重点研发计划 3 项；发表学术论文 60 余篇，多次获最佳论文/海报奖，授权专利 10 余项，出版高校教材 2 本。专注医疗智能技术的临床转化与产业落地，深度参与神经外科、眼科手术系统及诊疗平台的研发与医疗器械注册工作，获得国家药品监督管理局认证医疗器械 3 项，“互联网+”大学生创新创业大赛、“挑战杯”中国大学生创业计划国赛金奖、二等奖等荣誉。

詹涵舒，西北师范大学教育技术学院博士研究生，研究方向为信息化教学治理。

章晓庆，中国科学院深圳先进技术研究院助理研究员。研究方向包括眼科人工智能、教育智能、可信医学人工智能。

刘江，南方科技大学计算机科学与工程系讲席教授，人工智能专业负责人，联合国教科文组织高等教育创新中心顾问，南方科技大学医院特聘教授。在 AI 与“AI +”方向进行科研与教学。在“AI + 眼科医疗”领域，发表了 500 多篇科研文章，涵盖 AI 眼科图像处理，AI 眼科视频分析，AI 眼科手术导航等领域；在“AI+教育”方向，在南方科技大学开设《人工智能导论》、《多媒体信息处理》、《医学人工智能导论》及《人工智能与应用》等核心课程及慕课。编著了课程配套的《人工智能导论》、《人工智能多媒体计算》、《医学人工智能导论》等高等学校教材。国际上，在联合国教科文国际在线教育研究院平台主讲“AI + Medicine”，“AI + Education”，“AI + Ophthalmic Healthcare” 3 门在线微证书课程。获评深圳市优秀教师、过去 3 年连续被评为南科大最受本科毕业生欢迎的任课老师。

往期回顾

论文解读 | AI时代学校数字化转型指标构建

论文解读 | AI时代下教育治理再思考

FDE | 2026年第1期内容概要

期刊介绍

期刊特点

1. 国际化投审稿平台 ScholarOne Manuscripts

2. 严格的同行评议（Peer Review）

3. 免费语言润色，有力保障出版质量

4. 不收取作者任何费用

5. 不限文章长度

6. 审稿周期：第一轮平均30天，投稿到录用平均60天

7. 在线优先出版（CAP）

8. 通过SpringerLink平台面向全球推广

在线浏览

https://journal.hep.com.cn/fde

（中国大陆免费下载）

https://link.springer.com/journal/44366

在线投稿

http://mc.manuscriptcentral.com/fde

联系我们

fde@hep.com.cn

010-58582379, 010-58581834