关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro1409人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

张水华重马创个人第二好成绩 丈夫解释她嘴唇发黑

极目新闻 浏览 5996

创业者要做到“四个不要”

创业家 浏览 2530

2026,如何留在“牌桌”上?

虎嗅APP 浏览 2081

曼城虐菜之战:18场18胜!哈兰德再冲英超100球 首发曝光

叶青足球世界 浏览 2089

特朗普:对委内瑞拉发动军事袭击计划"泄密者"已被抓

环球时报国际 浏览 12067

意媒:罗马正在评估引进斯特林的可行性,可能提出租借方案

懂球帝 浏览 1431

网坛名宿预测德约在澳网后退役,被六千名塞尔维亚球迷围攻

网球之家 浏览 2562

机器人,又杀出了第一股

投资家 浏览 2128

美国在委内瑞拉附近水域拦截第三艘油轮

界面新闻 浏览 1853

小米杠上奇瑞,争夺高强度钢第一!理想高管吐槽“都是键盘值”

明镜pro 浏览 1550

玲花时隔4个月单人复出,曾毅近照憔悴暴瘦,凤凰传奇合体艰难

萌神木木 浏览 2131

林永健批顶流进组带编剧乱改戏,网友总结合作演员,成毅被质疑

萌神木木 浏览 2859

今年春天的裙子,裙摆越大越好看!

LinkFashion 浏览 982

认真生活的18个锦囊妙计:

黎贝卡的异想世界 浏览 4480

千问APP发起春节攻势 30亿请全国人民吃喝玩乐

雷峰网 浏览 1432

知名网红"小黑妮"官宣怀孕:以后打算再生1个随我姓

鲁中晨报 浏览 7795

线下活动|| 在广州的春天里见个面吧

黎贝卡的异想世界 浏览 474

甘肃退伍老兵,抱紧黄仁勋,狂揽上千亿

华商韬略 浏览 1574

沙溢自曝曾吃了狗吃过的面发烧三天

青杉依旧啊啊 浏览 2263

涉嫌支持台军心战大队 5家企业主营业务被曝光

日月谭天 浏览 7170

国盾量子董事长吕品去世:上任半年多 年仅46岁

时代周报 浏览 2019
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1