甲骨易AI 研究院发布“超越”中文大模型测试集

5月20日，甲骨易AI研究院 “超越”中文大模型测试集正式发布。据介绍，“超越” 的意义是希望中文大语言模型 “超” 出多数模型只能基于英文数据集测试的现状，通过发现大模型的缺陷，从而促进大模型理解中文语言的能力，使其 “越” 来越强大。 这里“超”和“越”要单独来理解，并不是超越别人的意思。

甲骨易AI研究院首席研究员Felix透露，4月推出了MMCU的测试集和测试方法。数据集的测试内容涵盖四大领域：医疗、法律、心理学和教育。题目的数量达到1万+，其中包括医疗领域2819道题，法律领域3695道题，心理学领域2001道，教育领域3331道。

“我们是把大模型当作一个真正的人类来看待，”Felix表示，测试集之所以涉及语、数、物理、化学这些科目，因为人工智能必须像人类一样，具备对于世界的基础的认知；而医疗、法律、心理学专业领域则是将大模型视为专业人士进行考核。