关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2410人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

中东多个海水淡化厂受损 引发饮用水武器化担忧

澎湃新闻 浏览 1663

早春绝美cp:九分裤+运动鞋

Yuki女人故事 浏览 2485

泰康资产段国圣:AI切入投研赛道,资管行业价值链有望重塑

券商中国 浏览 3458

普京指挥俄军战略核力量综合演习

环球网资讯 浏览 3035

AI带货“躺赚”陷阱重出江湖:缴纳3000元会费,半年却仅卖出13元

蓝鲸新闻 浏览 2475

法拉利战略转型,电动跃马如何取悦中国用户

桑之未 浏览 3871

工业设计软件逆势活跃 华大九天等创年内新高

第一财经资讯 浏览 3847

我真的服了汪顺!老天爷到底给他关过哪扇窗啊?

小光侃娱乐 浏览 3082

印度的“真正敌人” 莫迪挑明了

参考消息 浏览 25603

婚变传闻仅5天,窦骁大学同学为其发声

做一个合格的吃瓜群众 浏览 3532

21岁女生患白血病寻亲 有人主动认亲后表示年份不符

潇湘晨报 浏览 6412

俄军连续45天被机枪火力压制 乌军"秘密武器"被披露

环球网资讯 浏览 2539

中国“十五五”:未来五年,世界剧变!

宋鸿兵 浏览 3641

加沙停火协议生效后的48小时:人质将释放、民众返乡

澎湃新闻 浏览 3849

财政负担持续累积,“节油意识”难以培养,岛内担忧“冻油价”加剧能源困局

环球网资讯 浏览 1640

全新丰田凯美瑞上市!售价亲民,全新外观年轻动感,搭载2.5L双擎

小史谈车 浏览 2733

机械师Mini GTR迷你主机上新:锐龙AI 9 HX 370配置,性能释放70W

IT之家 浏览 3522

用了8年还心动,这笔钱是花得真值啊

黎贝卡的异想世界 浏览 764

杠杆资金流入 北方铜业股价创28年新高

21世纪经济报道 浏览 4395

文联春晚录制现场好真实!大咖太多没人惯着

萌神木木 浏览 2430

河南田地积水玉米发霉 农民:夏天求的雨下在了秋天

经济观察报 浏览 9507
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1