随着AI大语言模型越来越多地表现出接近人类智能，面给人类设计的高难度、综合性考试被越来越多地引入到对语言模型的智能水平进行评价。OpenAI 在其关于 GPT-4 的技术报告中就主要通过各领域的考试对模型能力进行检验。

2024年高考今天开考，中文大语言模型是否能够在高考中赶超ChatGPT呢?

综合“大考”：“书生·浦语”多项成绩领先于 ChatGPT

近日，商汤科技、上海AI实验室联合香港中文大学、复旦大学及上海交通大学公开千亿级参数大语言模型“书生·浦语”(InternLM)。

“书生·浦语”具有1040亿参数，是在包含1.6万亿token的多语种高质量数据集上训练而成。

综合评价结局显示，“书生·浦语”不仅在姿势掌握、阅读领会、数学推理、多语翻译等多个测试任务上表现杰出，而且具备很强的综合能力，因而在综合性考试中表现突出，在多项中文考试中取得超越ChatGPT的成绩，其中就包括中国高考各个科目的数据集(GaoKao)。

“书生·浦语”联合团队选取了20余项评价对其进行检验，其中包含全球最具影响力的四个综合性考试评价集：

● 由伯克利加州大学等高校构建的多任务考试评价集MMLU;

● 微软研究院推出的学科考试评价集AGIEval(含中国高考、司法考试及美国SAT、LSAT、GRE和GMAT等);

● 由上海交通大学、清华大学和爱丁堡大学合作构建的面给中文语言模型的综合性考试评价集C-Eval;

● 以及由复旦大学研究团队构建的高考题目评价集Gaokao;

实验室联合团队对“书生·浦语”、GLM-130B、LLaMA-65B、ChatGPT和 GPT-4进行了综合测试，针对上述四个评价集的成绩对比如下(满分100分)。

500)this.width=500" border=0 alt="" src="http://www.2025china.cn/resupload/00000000000000000019/033001/1686202495271_1.png" align=center>

“书生·浦语”不仅显著超越了GLM-130B和LLaMA-65B等学术开源模型，还在AGIEval、C-Eval，以及Gaokao等多个综合性考试中领先于ChatGPT;在以美国考试为主的MMLU上实现和ChatGPT持平。这些综合性考试的成绩反映出“书生·浦语”扎实的姿势掌握程度和杰出的综合能力。

虽然 “书生·浦语”在考试评价上取得杰出成绩，但在测评中也可以看到，大语言模型仍然存在不少能力局限性。“书生·浦语” 受限于2K的语境窗口长度(GPT-4的语境窗口长度为32K)，在长文领会、复杂推理、撰写代码以及数理逻辑演绎等方面还存在明显局限。另外，在实际对话中，大语言模型还普遍存在幻觉、概念混淆等难题。这些局限使得大语言模型在放开场景中的运用还有很长的路要走。

四个综合性考试评价数据集合果

MMLU是由伯克利加州大学(UC Berkeley)联合哥伦比亚大学、芝加哥大学和UIUC共同构建的多任务考试评价集，涵盖了初等数学、物理、化学、计算机科学、美国历史、法律、经济、外交等多个学科。

细分科目结局如下表所示。

500)this.width=500" border=0 alt="" src="http://www.2025china.cn/resupload/00000000000000000019/033001/1686202530328_1.png" align=center>

(图中粗体表示结局最佳，下划线表示结局第二)

AGIEval是由微软研究院在现在新提出的学科考试评价集，主要目标是通过面给的考试来评估语言模型的能力，从而实现模型智能和人类智能的对比。

这个评价集基于中国和美国各类考试构建了19个评价大项，包括了中国各科高考、司法考试以及美国的 SAT、LSAT、GRE 和 GMAT等重要考试。值得一提的是，在这19个大项有9个大项是中国高考，通常也列为壹个重要的评价子集 AGIEval (GK)。

下列表格中，带GK的是中国高考科目。

500)this.width=500" border=0 alt="" src="http://www.2025china.cn/resupload/00000000000000000019/033001/1686202551427_1.png" align=center>

(图中粗体表示结局最佳，下划线表示结局第二)

C-Eval是由上海交通大学、清华大学和爱丁堡大学合作构建的面给中文语言模型的综合性考试评价集。

它包含了52个科目的近14000道考题，涵盖数学、物理、化学、生物、历史、政治、计算机等学科考试，以及面给公务员、注册会计师、律师、医生的职业考试。

测试结局可以通过leaderboard获取。

500)this.width=500" border=0 alt="" src="http://www.2025china.cn/resupload/00000000000000000019/033001/1686202519870_1.jpg" align=center>

(https://cevalbenchmark.com/static/leaderboard.html)

Gaokao是由复旦大学研究团队构建的基于中国高考题目的综合性考试评价集，包含了中国高考的各个科目，以及选择、填空、问答等多种题型。

在GaoKao测评中，“书生·浦语”在超过75%的项目中均领先ChatGPT。

500)this.width=500" border=0 alt="" src="http://www.2025china.cn/resupload/00000000000000000019/033001/1686202484893_1.jpg" align=center>

分项评价：阅读领会、推理能力表现出色

为避免“偏科”，研究人员还通过多个学术评价集，对“书生·浦语”等语言模型的分项能力进行了评价对比。

结局显示，“书生·浦语”不仅在中英文的阅读领会方面表现突出，而且在数学推理、编程能力等评价中也取得较好成绩。

500)this.width=500" border=0 alt="" src="http://www.2025china.cn/resupload/00000000000000000019/033001/1686202618554_1.jpg" align=center>

姿势问答方面，“书生·浦语”在TriviaQA 和 NaturalQuestions 两项评价上得分为69.8和27.6，均超越LLaMA-65B(得分为68.2和23.8)。

阅读领会(英语)方面，“书生·浦语”明显领先于LLaMA-65B和ChatGPT。浦语在初中和高中英语阅读领会中得分为92.7和88.9，ChatGPT得分为 85.6 和81.2，LLaMA-65B则更低。

中文领会方面，“书生·浦语”成绩综合超越主要的两个中文语言模型ERNIE-260B和GLM-130B。

多语翻译方面，“书生·浦语”在多语种互译中的平均得分为33.9，显著超越LLaMA(平均得分15.1)。

数学推理方面，“书生·浦语”在GSM8K和MATH这两项被广泛用于评价的数学考试中，分别取得62.9和14.9的得分，明显领先于Google的PaLM-540B(得分为56.5和8.8)和LLaMA-65B(得分为50.9和10.9)。

编程能力方面，“书生·浦语”在HumanEval和MBPP这两项最具代表性的考评中，分别取得28.1和41.4的得分(其中经过在代码领域的微调后，在HumanEval上的得分可以提高至45.7)，明显领先于PaLM-540B(得分为 26.2和36.8)和LLaMA-65B(得分为23.7和37.7)。

除了这些之后，研究人员还对“书生·浦语”的安全性进行评价，在TruthfulQA(主要评价回答的事实准确性) 以及CrowS-Pairs(主要评价回答是否含有偏见)上，“书生·浦语”均达到领先水平。

关于“书生·浦语”的技术报告已在公开，报告对模型的技术特征以及测试结局进行了详细阐述，了解更多可访问：https://github.com/InternLM/InternLM-techreport

（商汤科技）