关闭广告

国内大模型与GPT-4较高下:语言知识能力接近,复杂推理仍是短板

第一财经资讯9878人阅读

1月30日,上海人工智能实验室发布了大模型开源开放评测体系司南(OpenCompass2.0),同时在对部分主流大模型评测诊断的基础上,揭晓了年度大模型评测榜单,提到了国内大模型的优势与短板。

根据评测,复杂推理相关能力是大模型普遍面临的难题,国内大模型相比于GPT-4还存在差距,这是大模型在金融、工业等要求可靠的场景落地需要的关键能力。不过,在中文场景下国内最新的大模型已展现出独特优势,尤其在语言、知识维度上接近GPT-4 Turbo的水平。

在客观评测能力排行上,整体来看大语言模型整体能力仍有较大提升空间。在百分制的客观评测基准中,GPT-4 Turbo(升级版GPT-4)在各项评测中均获最佳表现,也仅达到61.8分的及格水平。

OpenCompass2.0的分析结果显示,不少国内厂商近期新发布的模型在多个能力维度上正在快速缩小与GPT-4 Turbo的差距,包括智谱清言GLM-4、阿里巴巴Qwen-Max、百度文心一言4.0的排名较为靠前,反映了这些新模型具有较为均衡和全面的性能。


值得一提的是,此次大模型排行并未纳入所有大模型企业,各家迭代版本时间不尽相同。上海人工智能实验室方面表示,更多企业在陆续发布新的大模型,一些企业近期也有发布新版本的计划,所有这些新的大模型会进入下一期榜单上。

根据客观评测结果,部分大模型分数与GPT-4 Turbo已接近,但这并不意味着国内大模型与GPT-4 Turbo差距很小。上海人工智能实验室青年科学家陈恺对第一财经解释,分数是由不同的维度组合而来,国内的大模型和GPT-4 Turbo在不同的维度上表现并不一样,有些维度如知识、语言上可能打得有来有回,有些维度如推理上还存在着一定的差距,评测本身也会有局限性。

“出什么样的题目去考察知识边界会有区别,如果都出竞赛题,可能一个0分一个100分,出高考题那可能就是一个80分,一个90分。”陈恺表示,评测是一个整体普适性的比较,作为一个综合评测在难度上会相对平衡,虽然国内大模型与GPT-4的差距在缩小,但也不能忽视我们在复杂推理场景有大的进步空间。

从具体指标来看各个大模型的能力或许更为全面。OpenCompass2.0有客观评测和主观评测,大致类似考试中的客观题与主观题,总体上从语言、知识、创作、推理、数学、代码、智能体等方面对大模型的能力进行评测,在图中能力项颜色条越长代表能力越高。


评测显示,推理、数学、代码、智能体是国内大模型的短板。GPT-4 Turbo在涉及复杂推理的场景虽然亦有提升空间,但已明显领先于国内的商业模型和开源模型。国内大模型要整体赶超GPT-4 Turbo等国际顶尖的大模型,在复杂推理、可靠地解决复杂问题等方面,仍需下大功夫。

复杂推理会如何影响大模型的能力?上海人工智能实验室领军科学家林达华对第一财经介绍,这关系到落地应用时大模型的可靠性,例如在金融这样的场景下不能在数字上有差错,会对数学上的可靠性有较高的要求。另外随着大模型进入商用,若要分析一家公司的财报,甚至是工业领域要去分析一些技术文档,这时数学方面的计算能力就会成为一个壁垒。

“现在很多大模型的应用场景是客服、聊天等等,在聊天场景一本正经胡说八道影响不太大,但它很难在非常严肃的商业场合去落地。”林达华表示。

在与GPT-4 Turbo的比较中,国内大模型也有一些优势,如在主观评测中,国内模型在中文场景下相比海外模型具有性能优势,在中文语言理解、中文知识和中文创作上,国内商业模型相比GPT-4 Turbo具有极强的竞争力,甚至部分模型实现了部分维度上对GPT-4 Turbo的超越。


作为大模型的评测体系,OpenCompass于2023年7月推出,是Meta官方推荐的四个能力评测工具之一,且是其中唯一由中国机构开发的评测工具。林达华介绍,评测体系借鉴的是高考的经验,评测时这些模型题目并未公开,会避免一些模型对着题目“刷题”从而存在作弊现象,最后高考成绩某种意义上是相对较公允的评价。到榜单发布时,会将这一期榜单的题目公开,这样相关各方可以验证评测的分数。

林达华认为,关于评测,排名可能并不是最需要关注的,在榜单上一时的排名高或低并不能真正反映大模型的能力,评测的真正价值是帮助机构和企业发现自家大模型进一步需要努力的方向。

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

重磅!一文看懂巴菲特2023年股东大会

网易财经 浏览 15784

外媒科学网站30日摘要:机器人读盲文比人快一倍

网易科技报道 浏览 10082

俄专家:中国或提出俄乌谈判方案 但乌方可能拒绝

环球网资讯 浏览 16656

Shams:奇才将蒙特-莫里斯交易至活塞

直播吧 浏览 12947

中美 AI 差距扩大:美国96%的亿万富豪财富来自AI,中国 AI 融资衰退、多只股跌跌不休|钛媒体AGI

钛媒体APP 浏览 9897

女星自曝曾遭陈建州性骚扰 被男方下令冷冻丢工作

网易娱乐 浏览 13516

京剧表演艺术家李幼斌突发心梗去世 7月还曾登台

缘木不求娱 浏览 10895

这可能是今天上海电影节争议最大的一幕!

小彭哥搞笑视频 浏览 13427

梅德韦杰夫:美国蛮横无理 不应跟他们客气

环球网资讯 浏览 16574

来了!国内最大跨境零售电商平台落户重庆

上游新闻 浏览 8227

这一次,王一博经纪公司埋下的雷,终究还是引爆了!

缘木不求娱 浏览 10157

FMVP庞峥麟:谢谢支持广西威壮的朋友们 我们是冠军

直播吧 浏览 16630

泰厄斯-琼斯单场15助攻仅1失误 奇才近30年威少&沃尔后第5人

直播吧 浏览 9839

近期生产安全事故频发 相关部门分析原因

央视新闻客户端 浏览 68393

德云社最后一次招生,41岁欧弟成龙字科第一人

趣看热点 浏览 23978

陈冠希邀老师来家中为女儿庆生,秦舒培全场最美

扒虾侃娱 浏览 16476

穿得恰到好处,才能美得更从容

LinkFashion 浏览 14224

618前京东APP 12.0上线,推出“单价到手价”等功能

网易科技报道 浏览 15782

布鲁斯-布朗:通过小迈克尔-波特买的11号 本以为他会要得更多

直播吧 浏览 10077

2024上半年“上桌咖”观察:小生古偶内卷,小花自行设席

仙女事件簿 浏览 8203

轻薄春装大合集 几十套搭配方法值得借鉴

巧百搭 浏览 16434
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1