关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者1356人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

50岁女性冬季穿衣指南:避开 2 大禁忌,这样得体又时髦

静儿时尚达人 浏览 2123

王家卫评论区沦陷!跟秦雯调情还曾让女配音员舔手,滤镜碎了一地

萌神木木 浏览 2591

拉波尔塔:这场胜利来得正是时候;亚马尔一如既往地出色

懂球帝 浏览 2432

华为“二代”:孟晚舟与姚安娜,截然不同的路

清欢娱乐八卦 浏览 2018

联合国官员:加沙惨状如末日电影

上观新闻 浏览 2166

内饰配置再提升 新款极氪X内饰官图发布

车质网 浏览 2385

“烟管裤”今年冬天爆火,怎么搭都时髦!

LinkFashion 浏览 1993

车企不敢!专家:希望推出伤亡率车型榜单,新能源车极端事故不多

小李车评李建红 浏览 2254

AI是繁荣还是泡沫?哈佛学者剖析OpenAI千亿交易背后的风险

硅星人 浏览 2779

全球最大稳定币遭质疑 标普将评级降至“最差一档”

财联社 浏览 2226

小米手表5灰度OS3.0.152.0版本,带来表端独立微信版本更新等

IT之家 浏览 1604

飞天茅台批发价大涨,茅台控量措施会确立白酒行业的价格拐点吗?

郭施亮 浏览 1966

阿卡小遇波折三盘晋级,战袍意外陷争议:像根大葱还是致敬费德勒

网球之家 浏览 1600

凯恩:若卡尔继续表现出色,他绝对有机会为德国队踢世界杯

懂球帝 浏览 2589

周星驰发文悼念梁小龙,直言永远怀念对方,两人曾因拍戏反目多年

萌神木木 浏览 1589

伊朗民众:伊朗不会屈服于美国霸权

极目新闻 浏览 1414

NBA战报:凯尔特人119-114逆转热火,安芬尼-西蒙斯39+4+4

懂球帝 浏览 1583

鸿蒙智行尊界S800“时代旗舰”轿车第1万台下线

IT之家 浏览 1958

山西没张宁真不行!首节本土挂0,诺威尔无法激发,进攻极不流畅

篮球资讯达人 浏览 1642

与车企联合研发动力总成 全球首款混动无人机首飞成功

掌上金牛 浏览 1399

成功冲乙,厦门壹零贰陆主帅:厦门是一座有足球底蕴的城市

懂球帝 浏览 2816
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1