关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2355人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

比亚迪宣布涨价!

江南晚报 浏览 486

IPO倒计时,解码希迪智驾“攻守道”

第一财经资讯 浏览 3041

造人形机器人的公司自己先泼冷水:行业存在过度炒作现象

IT之家 浏览 2850

不止镜头、手柄,OPPO 推出“行业首款”哈苏专业磁吸闪补光环灯

IT之家 浏览 3590

哈梅内伊:绝不屈服

极目新闻 浏览 2803

泽连斯基:乌克兰计划2027年加入欧盟

财联社 浏览 6284

可逐字复现畅销书,多家巨头AI模型被指存储版权作品

IT之家 浏览 2051

库克将正式卸任苹果CEO:创造4万亿帝国 访华达20次

澎湃新闻 浏览 30333

三年三倍!现货黄金触及5300美元高位

21世纪经济报道 浏览 2400

同样是悼念亡妻,把具俊晔和辛柏青放一起比较,差别怎么这么大!

娱乐圈笔娱君 浏览 3561

高市称若台湾有事日美将联合救助两国公民 外交部驳斥

外交部网站 浏览 6536

初夏穿衣千万别发愁,看看这些日常穿搭,减龄舒适又显身材

静儿时尚达人 浏览 215

111年之耻!巴西首次2比0领先却失利,安切洛蒂亲手揪出罪人

奥拜尔 浏览 3870

女友BELLA+封面 | Jimmy&Ohm:人生拼图

伊周潮流 浏览 2417

为什么说本田这个“内燃机之王”,在国内被严重低估了

少数派报告Report 浏览 3026

郝蕾跟辛芷蕾杠上了?

大龄女一晓彤 浏览 3356

图片报:巴黎有意科隆19岁边锋赛义德-马拉,已与球员方面接触

懂球帝 浏览 3563

砍树?佩杜拉:马特塔与AC米兰渐行渐远了

懂球帝 浏览 2480

马杜罗在纽约法院首次出庭,对贩毒等指控表示"不认罪"

华尔街见闻官方 浏览 2754

这个「疯批」星二代,撕碎了娱乐圈的滤镜

独立鱼 浏览 2477

聂卫平告别仪式在八宝山举行 "一生的对手"冒雪来送别

新民晚报 浏览 6941
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1