其实就是增加安全和对齐的算力投入:
📅 09-14 09:01 📰 刨米机AI精选
其实就是增加安全和对齐的算力投入:
现在,所有实验室在根本上仍然受到计算能力的限制。
实验室里发生的事情是,每月(老实说,现在是:每周),领导层的一小群人会查看他们有多少GPU,然后必须积极地重新分配资源。“Anthropic正在赶上我们。Sora2占据了10万张GPU。我们干得漂亮”。
每个项目都必须为自己的生存而战,不仅是为了训练,还为了推理。这是残酷的竞争。这包括安全和对齐。
我估计,在大多数实验室,安全/对齐分配可能只占他们总GPU预算的5%左右。
这就是“pacingthe frontier”实际含义的粗略描述。总体来说,推理加上预训练、中间训练和后训练几乎占用了100%的GPU预算。每项大约47.5%,剩余部分分配给安全。(也许20%预训练,20%后训练,~7.5%中间训练/研究/消融)。
让我们只是把安全和对齐的投资翻倍或三倍,保持推理固定:
45%推理
15%预训练
15%后训练
15%中间训练
10%安全/对齐
内容由 AI 从网络自动采集(可能存在排版混乱),仅供参考,不作为任何决策依据,因使用产生的后果不承担任何责任。
内容版权归原作者所有,本平台仅作学习研究之引用,如涉及侵权请联系删除。