关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者1364人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

德外长:欧洲和北约议题已从美28点新计划中移除

界面新闻 浏览 2244

马斯克谈AI未来:五年后手机和APP将消失,人类文明在模拟世界的存亡

深蓝财经 浏览 2485

以总理发视频自证仍“在世”

每日经济新闻 浏览 508

短剧泛滥成灾,燃起观众热潮与烦恼

喜欢历史的阿繁 浏览 1706

提供燃油与纯电 全新保时捷718效果图曝光

车质网 浏览 1960

中国留学生目击拦截导弹空中爆炸:不时传来哭声

极目新闻 浏览 807

新势力洗牌激烈:零跑、华为双雄争霸 方程豹斗败“蔚小理”

道哥说车 浏览 2209

超34.2万人爆仓,比特币一度跌破10万美元关口

观察者网 浏览 2495

俄美乌三方首轮会谈细节披露

环球网资讯 浏览 1536

王玉雯激动发合照,评论区林一破防

鲁中晨报 浏览 2597

贵州茅台股东大会发放“定心丸”成效几何

北京商报 浏览 2457

雪道已开,Ski-Core正在接管这个冬天

时尚COSMO 浏览 2011

今秋最撩的“薄外套+裙子”,谁穿谁美!

Yuki女人故事 浏览 4291

牛弹琴:白宫突然发了张图 伤害性不大侮辱性极强

现代快报 浏览 37476

CBA疯狂一夜:大胜+逆转!广东大翻盘 广厦从第1掉第3 附最新排名

侃球熊弟 浏览 1744

佟丽娅最新古装近照曝光!比李沁还漂亮,42岁第一次演仙侠剧

温柔娱公子 浏览 2230

美媒:美军紧急出动F-16战机飞越叙中部城市上空"展示武力"

环球网资讯 浏览 2111

日媒:中国U23仿佛在球场筑起万里长城,完成了数据上不可能的奇迹

懂球帝 浏览 1581

科技股遭重挫!纳指跌超2% 特斯拉跌5.15%

中新经纬 浏览 2411

继续引援脚步,多位媒体人:北京首钢正在接触前NBA球员麦基

懂球帝 浏览 1700

大鹏工业:外购标准件采购占比超七成 自研的被评奖项目背后现客户

金证研 浏览 2698
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1