🔥#Loop_Transformer 理论上可以减少显式 CoT Token，通过内部循环矩阵计算提升模型能力。但由此推导“蒸馏难度上升，利空国产模型”，这个#思维链过于简单了。
🌟蒸馏本质上只是低成本获取高质量训练数据的一种手段，真正决定模型能力的，依然是#架构设计、算法优化、后训练、infra等一整套能力 ，这些都是#靠国产模型厂商自己完成。
🌟#智谱 在半年报里也已经提到，Loop Transformer 已完成初步实验验证，说明#国内外在这条技术路线上基本同步。相比 YY“以后没法蒸馏了”，更值得关注的是#国产模型自身技术能力持续进步 ，不然就是本末倒置。
🌟#智谱 #MiniMax
☎️From
华泰计算机 郭雅丽/范昳蕊/袁泽世/岳铂雄/王浩天/徐诚伟