关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2361人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

3万月薪急招董秘!安徽五粮液大商要港股IPO?95后海归接棒,一天卖酒30万瓶

时代周报 浏览 2635

最长纯电续航335km 智己LS8动力曝光

车质网 浏览 2411

美军新锐舰队为应对中国大举集结 集结地却远在夏威夷

枢密院十号 浏览 8077

哈马斯称以色列未履行停火协议 呼吁美方施压

国际在线 浏览 2897

华硕推出《崩坏 3》限定礼盒,内含爱莉希雅主题 ROG Phone 配件

IT之家 浏览 3617

今年春夏最火的3个穿搭思路,普通人可以直接照搬吗?

黎贝卡的异想世界 浏览 223

影史最伟大的女性电影,登顶130年电影之巅

幕味儿 浏览 3315

不变应万变!曼城连续3场首发不变,为瓜帅执教以来第三次

直播吧 浏览 4352

配华为舱内激光视觉技术 华境S明年上半年上市

网易汽车 浏览 2613

余承东到访又一车企,签约!

电动知家 浏览 2748

为什么她们穿粉色很好看?

Yuki女人故事 浏览 2541

荣耀MagicOS 10升级设备数突破1000万 力争春节前都能升

快科技 浏览 2915

背靠腾讯、跟阿里抢商标的淘车车,“流血”冲击港股IPO

经济观察报 浏览 204

05后星二代“四大顶流”,为什么是她们?

仙女事件簿 浏览 3863

智能体元年 中国AI的进取之势

新华社 浏览 3531

当你沉睡时,TA还在工作

学申论的谈妹 浏览 3691

目标:推迟不可避免的悲剧——奥维耶多希望周日在塔蒂耶雷球场避免降级

绿茵情报局 浏览 303

英国防大臣称想"绑架"普京 俄方:痴人说梦

界面新闻 浏览 2626

大幅上调英伟达目标价,这家大行的理由:台积电产能分配远超预期,OpenAI“闭环交易”

华尔街见闻官方 浏览 3782

美国已正式开始出售委内瑞拉石油

新京报 浏览 2706

缅甸突袭KK园区后引发"招聘潮" 有人被7万美元"转卖"

红星新闻 浏览 16186
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1