【西部计算机郑宏达团队】重视GPT6的新架构:Recurent Depth

📅 09-04 03:53 📰 zsxq
本文为外部来源摘要,仅显示前 300 字。点击"查看原文"获取完整内容。
【西部计算机郑宏达团队】重视GPT6的新架构:Recurent Depth

1、Recurrent Depth:复用同一组Transformer层做多次循环迭代。中间思考全部发生在神经网络隐藏向量(隐空间),不会输出成可读的文字token。传统CoT思维链:思考步骤全部写成文字token吐出来;Recurrent Depth:思考在内部循环完成,不需要输出中间思考token。

2、#用计算换存储,模型权重只有一套,KV缓存增长放缓,内存压力降低;同一组层反复跑很多次,每一步token的计算量显著变大。堆HBM容量的逻辑减弱。

3、简单问题循环次数少;复杂几何、3D、科学任务,自动跑更多循环迭代,动态分配推理算力,这也是GPT6的ARC‑AGI分数暴涨的重要原因 。

4、大规模循环深度集群,节点之间高频交换隐状态向量,对低延迟高速互联、NVL多卡直连、高速以太网交换机需求抬升。同时GPU算力卡依然受益。

5、A股标的:盛科通信、澜起科技、寒武纪、海光信息、锐捷网络。

内容由 AI 从网络自动采集(可能存在排版混乱),仅供参考,不作为任何决策依据,因使用产生的后果不承担任何责任。

内容版权归原作者所有,本平台仅作学习研究之引用,如涉及侵权请联系删除。