• 中国核心期刊(遴选)数据库收录期刊
  • 中文科技期刊数据库收录期刊
  • 中国学术期刊(光盘版)收录期刊
  • 中国人民大学报刊资料数据库收录期刊
  • 中国学术期刊综合评价数据库统计源期刊
  • 中国台湾华艺数据库收录期刊

情报探索 ›› 2024, Vol. 1 ›› Issue (11): 1-.

• 理论探索 •    

大语言模型能力评价体系构建及问题研究

  

  1. (南京大学信息管理学院 江苏南京 210023)

  • 出版日期:2024-11-15 发布日期:2025-03-05
  • 作者简介:符鹏(2000—),男,2022级硕士研究生,研究方向为人工智能;杨海平(1967—),男,博士,教授,博士生导师,通迅作者,研究方向为知识服务。

  • Online:2024-11-15 Published:2025-03-05

摘要:

[目的/意义]大语言模型是人工智能领域的一项新型技术,因其强大而专业的能力已应用于多个领域,探究大语言模型能力体系及对大语言模型做出评价有助于其研究与应用。\[方法/过程\]收集各领域评价大语言模型榜单共20个,基于扎根理论构建大语言模型能力评价体系,选取12个大语言模型对其进行实证分析。\[结果/结论\]基于人类能力体系构建的大语言模型能力评价体系具有合理性与可行性,现有大语言模型能力评价中存在变量未控制、流程不规范、结果可行性存疑等问题,并给出解决对策,为大语言模型评价提供理论参考。

关键词:

大语言模型, 人工智能, 体系构建, 扎根理论