👤 SemiAnalysis

👤 SemiAnalysis 
🚀 智能体流量现已占据全部推理流量的 70% 以上
🤖 智能体工作负载具备四项特征：
🟡 多轮次：单次会话包含数十甚至上百轮交互，带来很高的 KV 缓存复用潜力。
🟡 长上下文：系统提示词、工具定义，以及大量轮次交互，会让上下文信息快速累积。
🟡 高前缀复用：对话线性推进，第 n-1 轮输出一般会拼接至第 n 轮，大部分上下文可以直接读取 KV 缓存，无需重新计算（该特性取决于存储 KV 张量的可用存储空间）。随着轮次 n 不断增加，缓存输入占未缓存输入的比例会逐步趋近于 1。
🟡 子代理突发：单次会话会启动多个生命周期很短的子智能体，每个子智能体都带有全新上下文，会产生突发性的 KV 缓存负载模式。

👤 Aaron Levie @levie
🤖 智能体已经占据了推理的大多数。在未来一两年内，这一趋势将迅速演变为几乎全部推理。
🤖 全球使用的绝大多数 token 都将由智能体消耗，它们全天候 24 小时在后台为我们执行数量惊人的任务。
🤖 智能体将会被部署，读取所有代码变更以保障我们软件的安全，在工作流中处理我们全部的数据，处理招聘与客户拓展环节里绝大部分调研工作，审查全球每一套系统产生的全部事件流与日志，走入我们的个人生活，替我们执行各类任务，还有数百种其他落地场景。
🤖 新上线智能体的速度并未放缓，它们会消耗海量 token。就在过去一周，我搭建了多个全新工作流，这些工作流在一个月前在技术层面还无法实现。
🤖 当下正是投身推理业务、并在此基础上进行开发的绝佳时代。