Astra引入Loop Transformer，新一轮Latent Scalin...
📅 09-04 03:42 📰 zsxq
本文为外部来源摘要，仅显示前 300 字。点击"查看原文"获取完整内容。
Astra引入Loop Transformer，新一轮Latent Scaling开启【天风计算机缪欣君/刘鉴团队】
1）能力从Coding向严肃知识工作全面扩散。GPT-6 Astra在计算机操作、浏览器、软件工程、科学研究及专业工作等领域均实现领先，并能跨代码、浏览器和专业软件完成复杂多步骤工作流。相较此前主要由Coding拉动的能力跃迁，Astra在研究、办公和计算机操作等维度进步更加均衡，旗舰模型正加速从Coding Agent走向通用生产力Agent。
2）#Loop Transformer打开新一轮Latent Scaling。Astra或通过同一套Transformer权重进行重复计算：例如22层循环两次仍只计22层独立参数，却形成44层有效计算深度，使更多推理在隐藏状态中完成，并以更短的外显CoT完成更复杂任务。由此，#模型Scaling在参数量之外新增“循环深度”这一维度，同等参数量下，#模型有效深度和每Token推理计算量可随循环次数近线性增长。
3）以更多算力换取更高的单位参数能力，进一步强化推理计算需求。#Loop Transformer本质上是用Tensor Core算力、HBM带宽和推理延迟，换取更低的权重存储容量与更强的单位参数能力：固定循环两次时，参数量及权重显存基本不变，但单Token计算量、权重读取及模型并行通信均接近翻倍，非共享KV Cache也可能同步增加。其最明确的产业影响是计算量持续提升，#模型Scaling正由参数驱动转向“参数量+每Token计算深度”共同驱动。
欢迎交流 缪欣君/刘鉴/李璞玉
内容由 AI 从网络自动采集（可能存在排版混乱），仅供参考，不作为任何决策依据，因使用产生的后果不承担任何责任。
内容版权归原作者所有，本平台仅作学习研究之引用，如涉及侵权请联系删除。