甲骨易AI 研究院发布“超越”中文大模型测试集

5月20日,甲骨易AI研究院 “超越”中文大模型测试集正式发布。据介绍,“超越” 的意义是希望中文大语言模型 “超” 出多数模型只能基于英文数据集测试的现状,通过发现大模型的缺陷,从而促进大模型理解中文语言的能力,使其 “越” 来越强大。 这里“超”和“越”要单独来理解,并不是超越别人的意思。

5月20日,甲骨易AI研究院 “超越”中文大模型测试集正式发布。据介绍,“超越” 的意义是希望中文大语言模型 “超” 出多数模型只能基于英文数据集测试的现状,通过发现大模型的缺陷,从而促进大模型理解中文语言的能力,使其 “越” 来越强大。 这里“超”和“越”要单独来理解,并不是超越别人的意思。

甲骨易AI研究院首席研究员Felix透露,4月推出了MMCU的测试集和测试方法。数据集的测试内容涵盖四大领域:医疗、法律、心理学和教育。题目的数量达到1万+,其中包括医疗领域2819道题,法律领域3695道题,心理学领域2001道,教育领域3331道。

“我们是把大模型当作一个真正的人类来看待,”Felix表示,测试集之所以涉及语、数、物理、化学这些科目,因为人工智能必须像人类一样,具备对于世界的基础的认知;而医疗、法律、心理学专业领域则是将大模型视为专业人士进行考核。

THE END
责任编辑:赵智华
免责声明:本站所使用的字体和图片文字等素材部分来源于互联网共享平台。如使用任何字体和图片文字有冒犯其版权所有方的,皆为无意。如您是字体厂商、图片文字厂商等版权方,且不允许本站使用您的字体和图片文字等素材,请联系我们,本站核实后将立即删除!任何版权方从未通知联系本站管理者停止使用,并索要赔偿或上诉法院的,均视为新型网络碰瓷及敲诈勒索,将不予任何的法律和经济赔偿!敬请谅解!