关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2359人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

歼-10又发威!巴铁击落印度战机并俘虏飞行员

浏览 7715

累坏了,库尼亚打进扳平球+中框1次,贡献解围2次拦截2次

懂球帝 浏览 2734

王楚钦抵达海口参加亚洲杯,不愧是穿搭博主

可乐谈情感 浏览 2472

胜辽宁发布会!潘江赞对手,亲承张宁将缺席三周,迪亚洛总结不足

篮球资讯达人 浏览 2640

董忠云:保持战略定力,增强必胜信心,A股有望恢复震荡上行趋势

首席经济学家论坛 浏览 3529

西蒙尼:要变得更强,朱利亚诺必须努力、谦虚并保持当前状态

懂球帝 浏览 3484

泽连斯基:乌克兰计划2027年加入欧盟

财联社 浏览 6290

刘欢,早已走上另一条大道

奥字侃剧 浏览 2932

同曦126-123双加时逆转深圳,郭昊文31+6+10,史密斯空砍44分

懂球帝 浏览 2422

谭松韵扛剧能力被质疑 赵丽颖成女主?

楚楚号 浏览 2840

国产车在英国被“警告”了,还是安全问题,但这回我真憋不住笑了

小李车评李建红 浏览 4521

王勤伯:美感足球给AI足球上一课!巴黎拜仁谱传奇

体坛周报 浏览 517

俄美乌首次三方会谈在阿联酋举行

环球网资讯 浏览 2468

推广|| 春天第一双鞋!暴走不累、搭遍好看小裙子

黎贝卡的异想世界 浏览 1886

"太子集团"头目被指曾遭手下"黑吃黑" 后者已申请破产

红星新闻 浏览 8701

内娱又增新赛道,三分钟火出圈的叶祖新,坐着就抢了主角的戏

最爱酷影视 浏览 2994

一家4口爬山祈福33岁妻子坠亡 丈夫最新回应质疑

都市快报橙柿互动 浏览 42319

婚后的申敏儿,爱上了穿牛仔

时尚COSMO 浏览 489

曾经最具知名度的播音员病逝 丈夫也是央视知名主持人

环球网 浏览 18477

零跑D19定档10月16日,旗舰SUV全球首秀

网易汽车 浏览 4542

2026第一部「神」剧,诞生了

独立鱼 浏览 2118
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1