GLM-5.3一线测评及Deepseek Harness社区反馈 20260816
📅 08-19 08:06 📰 刨米机AI精选
📋 一、开场与背景 主持人: 我们看到智谱在周五发布了 GLM-5.3,聚焦 coding 能力,评分相比 5.2 有显著提升,并且涌现了较强的网络安全能力。今天我们邀请一线架构师,就复杂任务场景的测评分享观点;另外 DeepSeek 近期发布,社区关注度也比较高,本次专家的分享也会就此产品做反馈。接下
一、开场与背景
一、开场与背景
主持人:我们看到智谱在周五发布了 GLM-5.3,聚焦 coding 能力,评分相比 5.2 有显著提升,并且涌现了较强的网络安全能力。今天我们邀请一线架构师,就复杂任务场景的测评分享观点;另外 DeepSeek 近期发布,社区关注度也比较高,本次专家的分享也会就此产品做反馈。接下来请专家进行分享。
主持人:我们看到智谱在周五发布了 GLM-5.3,聚焦 coding 能力,评分相比 5.2 有显著提升,并且涌现了较强的网络安全能力。今天我们邀请一线架构师,就复杂任务场景的测评分享观点;另外 DeepSeek 近期发布,社区关注度也比较高,本次专家的分享也会就此产品做反馈。接下来请专家进行分享。
专家:大家好,感谢收听。GLM-5.3 发布时间并不长,但这几天我一直在做比较重度的使用和测试。能听到吗?
专家:大家好,感谢收听。GLM-5.3 发布时间并不长,但这几天我一直在做比较重度的使用和测试。能听到吗?
主持人:没问题,没问题。
主持人:没问题,没问题。
二、GLM-5.3 的发布波折与模型基座
二、GLM-5.3 的发布波折与模型基座
专家:这几天我正在做比较重度的使用和测试。GLM-5.3 发布前后有点波折:早在 8 月 3 日,VCode 官网就短暂上线过 GLM-5.3 的页面,很快又下线,当时大家就在猜 5.3 快来了,我也找公司内部同事确认过,确实快了;8 月 14 日 5.3 正式发布,当时上线了 V Code,但只在 V Code 里能用。
专家:这几天我正在做比较重度的使用和测试。GLM-5.3 发布前后有点波折:早在 8 月 3 日,VCode 官网就短暂上线过 GLM-5.3 的页面,很快又下线,当时大家就在猜 5.3 快来了,我也找公司内部同事确认过,确实快了;8 月 14 日 5.3 正式发布,当时上线了 V Code,但只在 V Code 里能用。
专家:5.3 仍然基于 GLM-5 之后的基座,参数规模没有变化,总参约 743B 至 744B,激活规模仍是 40B,与之前版本没有任何差别,上下文也和 5.2 一致,约一百万。但思考模式有变化:5.2 还可以关闭思考模式,5.3 不可以关闭,只有低、高、max 的区别。这是和之前版本在使用上一个比较大的区别。
专家:5.3 仍然基于 GLM-5 之后的基座,参数规模没有变化,总参约 743B 至 744B,激活规模仍是 40B,与之前版本没有任何差别,上下文也和 5.2 一致,约一百万。但思考模式有变化:5.2 还可以关闭思考模式,5.3 不可以关闭,只有低、高、max 的区别。这是和之前版本在使用上一个比较大的区别。
专家:一般情况下,我做 coding agent 碰到这种短认证任务时,会把它回退到 GLM-5.2 版本去做。
专家:一般情况下,我做 coding agent 碰到这种短认证任务时,会把它回退到 GLM-5.2 版本去做。
专家:5.3 还是基于 5.2 搭建的那三套能力——高效长上下文处理、长程任务的 RL、以及大规模预训练的异步高速训练框架——做了进一步提升。不得不说 5.3 确实有点黑科技,技术报告还没出,只能做一些简单猜测。
专家:5.3 还是基于 5.2 搭建的那三套能力——高效长上下文处理、长程任务的 RL、以及大规模预训练的异步高速训练框架——做了进一步提升。不得不说 5.3 确实有点黑科技,技术报告还没出,只能做一些简单猜测。
专家:技术报告里对环境合成管线,也就是后训练部分的环境组建这块,有解释,但并不是非常详细。
专家:技术报告里对环境合成管线,也就是后训练部分的环境组建这块,有解释,但并不是非常详细。
三、Benchmark 表现与常见误区
三、Benchmark 表现与常见误区
专家:GLM 系列模型在不断做提升和改善。在同样的模型规模下,能够不断精进长程任务能力以及指令遵从能力,确实是让人比较惊喜的表现。我之前一直觉得 5.2 已经到了这个权重规模的一个瓶颈,但 5.3 发出来以后,确实有明显的提升。但中间有一些可能造成大家误区的地方:Benchmark 里有一项差异极大,就是那个通义千问 3.0。
专家:GLM 系列模型在不断做提升和改善。在同样的模型规模下,能够不断精进长程任务能力以及指令遵从能力,确实是让人比较惊喜的表现。我之前一直觉得 5.2 已经到了这个权重规模的一个瓶颈,但 5.3 发出来以后,确实有明显的提升。但中间有一些可能造成大家误区的地方:Benchmark 里有一项差异极大,就是那个通义千问 3.0。
专家:但在 GLM-5.3 出来的时候,这个 Benchmark 已经出来了将近二十天,所以这个分数的极大差异,我不排除 5.3 针对它做了一些验证性的提升——验证了以后发现能力有提升的点,做针对性提升是有可能的。也就是说,这个看起来提升了好几倍的性能指标,我觉得要放一边来看;更有代表性的,是像 SWE-bench 这样长程任务的指标,以及他们用 Bench 2.1 这个一直在持续存在的版本。
专家:但在 GLM-5.3 出来的时候,这个 Benchmark 已经出来了将近二十天,所以这个分数的极大差异,我不排除 5.3 针对它做了一些验证性的提升——验证了以后发现能力有提升的点,做针对性提升是有可能的。也就是说,这个看起来提升了好几倍的性能指标,我觉得要放一边来看;更有代表性的,是像 SWE-bench 这样长程任务的指标,以及他们用 Bench 2.1 这个一直在持续存在的版本。
专家:GLM-5.3 在 C-SWE-Bench 2.1 上达到了 88.2 分,比飞哥5 之前官方口径宣传的 88 分稍高一点,比 GPT-5.6 所宣传的 88.8 分稍低一点。但在我个人测试来看,我并没有在 common 任务上看到 5.6 和 5.3 明确的差别,几乎是一致的。可能在 powershell(Windows PowerShell)上,5.6 会做得稍好一点点,一次性成功率稍高——这和训练数据相关,我们并不觉得直接代表模型本身能力。
专家:GLM-5.3 在 C-SWE-Bench 2.1 上达到了 88.2 分,比飞哥5 之前官方口径宣传的 88 分稍高一点,比 GPT-5.6 所宣传的 88.8 分稍低一点。但在我个人测试来看,我并没有在 common 任务上看到 5.6 和 5.3 明确的差别,几乎是一致的。可能在 powershell(Windows PowerShell)上,5.6 会做得稍好一点点,一次性成功率稍高——这和训练数据相关,我们并不觉得直接代表模型本身能力。
专家:这一点训练数据相关导致的差异,确实会影响它们的半尺分数,实际的性能差异可能就表现在这方面。
专家:这一点训练数据相关导致的差异,确实会影响它们的半尺分数,实际的性能差异可能就表现在这方面。
专家:其他的点,5.3 比 TK3 稍低 0.01 分——0.01 分一般在噪声范围之内,所以可以认为它和 TK3 在 common bench 上的能力几乎是第一档。当然,放到 common bench 3.0 上,它比 K3 还要高;不过这个 Benchmark 发得比较晚,数据的参考性可以拿来看,但不能当做最重要或唯一依据。
专家:其他的点,5.3 比 TK3 稍低 0.01 分——0.01 分一般在噪声范围之内,所以可以认为它和 TK3 在 common bench 上的能力几乎是第一档。当然,放到 common bench 3.0 上,它比 K3 还要高;不过这个 Benchmark 发得比较晚,数据的参考性可以拿来看,但不能当做最重要或唯一依据。
专家:在 3G 这类特殊、和网络安全相关的参数上,GLM-5.3 体现出的统治力达到了 84.5% 分,但这个都是第一方的分数,并不是第三方测评的分数。现在 DeepSeek V4 发了以后,网上舆论发酵,大家也发现第一方的 benchmark 有时和第三方测试有较大差别,更大的差别其实也在大家的预期上。
专家:在 3G 这类特殊、和网络安全相关的参数上,GLM-5.3 体现出的统治力达到了 84.5% 分,但这个都是第一方的分数,并不是第三方测评的分数。现在 DeepSeek V4 发了以后,网上舆论发酵,大家也发现第一方的 benchmark 有时和第三方测试有较大差别,更大的差别其实也在大家的预期上。
专家:但网络安全这个点,我确实有一个特别明确的案例可以介绍:我用 GLM 时,确实发现它在网络安全、对漏洞的敏感度,以及尝试找出问题的能力上,比 0.25(疑为某前代模型)明显更强。
专家:但网络安全这个点,我确实有一个特别明确的案例可以介绍:我用 GLM 时,确实发现它在网络安全、对漏洞的敏感度,以及尝试找出问题的能力上,比 0.25(疑为某前代模型)明显更强。
四、实战案例:自动发现并绕过安全漏洞
四、实战案例:自动发现并绕过安全漏洞
专家:公司是在搭一个内部演示环境,里面有结合图数据库、大数据平台、数据湖仓的一些模拟数据,用来在客户侧演示场景中通过我们的 agent 去调用。
专家:公司是在搭一个内部演示环境,里面有结合图数据库、大数据平台、数据湖仓的一些模拟数据,用来在客户侧演示场景中通过我们的 agent 去调用。
专家:我们之前在公司搭了一个模拟环境,准备了一系列模拟数据,也是为了在新客户那边演示能力。演示之前我拿新技能和 MCP 以及工具时没拿全——有一个专门访问数据和鉴权的应用程序没拿到。当时我就让 agent 去问(接的就是 GLM-5.3),这是我们在排练、还没在客户侧直接演示时做的预测试。我发现它在不停寻找后台接口,但我没阻止它;后来和提供工具的团队聊,发现确实工具没提供全。等他们(Windows 平台打包出了问题,给得比较晚)把这个应用程序给我时,GLM-5.3 已经把数据从数据库里读出来了——它从 MCP 和 Skill 定义的流程里,找到了要访问的 API 端点,又找到后台访问数据的端点。
专家:我们之前在公司搭了一个模拟环境,准备了一系列模拟数据,也是为了在新客户那边演示能力。演示之前我拿新技能和 MCP 以及工具时没拿全——有一个专门访问数据和鉴权的应用程序没拿到。当时我就让 agent 去问(接的就是 GLM-5.3),这是我们在排练、还没在客户侧直接演示时做的预测试。我发现它在不停寻找后台接口,但我没阻止它;后来和提供工具的团队聊,发现确实工具没提供全。等他们(Windows 平台打包出了问题,给得比较晚)把这个应用程序给我时,GLM-5.3 已经把数据从数据库里读出来了——它从 MCP 和 Skill 定义的流程里,找到了要访问的 API 端点,又找到后台访问数据的端点。
专家:即使不持有 Token,它也通过某种方式连到了数据库层面,把数据直接读出来了。当然,是有一个免登鉴权路径让它找到了。
专家:即使不持有 Token,它也通过某种方式连到了数据库层面,把数据直接读出来了。当然,是有一个免登鉴权路径让它找到了。
专家:这个免登路径是完全没有提供给它的;它是从提供给它的一系列流程和前端、后端代码里找到了免登方式,直接连到数据库,没走工具访问,自己写 SQL 从数据库和图数据库把数据提出来,汇成了一份报告。当时包括我、一起看演练的、提供那个工具的同事都发现:原来我们还有安全漏洞,确实被它找到了。
专家:这个免登路径是完全没有提供给它的;它是从提供给它的一系列流程和前端、后端代码里找到了免登方式,直接连到数据库,没走工具访问,自己写 SQL 从数据库和图数据库把数据提出来,汇成了一份报告。当时包括我、一起看演练的、提供那个工具的同事都发现:原来我们还有安全漏洞,确实被它找到了。
专家:这个例子在 GLM-5.2 上确实是做不通的。我特意拿 5.2 在同样环境试了一遍,它能找到类似路径,但没找到那个免登方式——寻找了整个路径,却没有找到免登方式。这是一个有实践价值的真实案例,能看到 5.3 和 5.2 在网络安全角度、深度角度的能力不同。
专家:这个例子在 GLM-5.2 上确实是做不通的。我特意拿 5.2 在同样环境试了一遍,它能找到类似路径,但没找到那个免登方式——寻找了整个路径,却没有找到免登方式。这是一个有实践价值的真实案例,能看到 5.3 和 5.2 在网络安全角度、深度角度的能力不同。
专家:但不能说它绝对代表了整个网络安全各赛道的能力,只是一个典型案例、真实碰到的案例。在其他一些 Benchmark 上,GLM-5.2 基本和飞火5、5.6 几乎同一水准,和 K3 也几乎同一水准,差距较小;在 automation bench 上就是表现是第一的,在 twelve world 5 上比 K3、飞火5 稍差,在 HLE 上比 K3 稍强、比飞火5 稍弱。
专家:但不能说它绝对代表了整个网络安全各赛道的能力,只是一个典型案例、真实碰到的案例。在其他一些 Benchmark 上,GLM-5.2 基本和飞火5、5.6 几乎同一水准,和 K3 也几乎同一水准,差距较小;在 automation bench 上就是表现是第一的,在 twelve world 5 上比 K3、飞火5 稍差,在 HLE 上比 K3 稍强、比飞火5 稍弱。
专家:在 GGPTVALAA 这个 Benchmark 上确实拿到了表内第一,能力非常强。整体 Benchmark 表现可以这么总结:几个受关注的场景,是 common bench 3.0、2.1 分数的提升,以及 deep SWE 约 25%–30% 的显著提升——这表现了长程软件工程和持续代码修改的能力。
专家:在 GGPTVALAA 这个 Benchmark 上确实拿到了表内第一,能力非常强。整体 Benchmark 表现可以这么总结:几个受关注的场景,是 common bench 3.0、2.1 分数的提升,以及 deep SWE 约 25%–30% 的显著提升——这表现了长程软件工程和持续代码修改的能力。
五、长程 Coding 实战与工具调用可靠性
五、长程 Coding 实战与工具调用可靠性
专家:这方面我做了一个测试:一个约四个半小时、涉及超过六十个文件改动的长特性开发。它大概做了四个半小时,改了一万七千行左右的代码,纯业务代码改动六十多个文件,加上匹配测试代码,总共改动超过一百个文件,体量非常大。中间我让它完成代码后再做对抗性审查,它第一遍做完后,在对抗性审查时发现约四个 block 级的 bug,然后修掉了,总共花了约四个小时。以我个人经验和评测看,同样的任务我知道 GPT-5.0 做过,但完全一模一样的任务它没完成过。
专家:这方面我做了一个测试:一个约四个半小时、涉及超过六十个文件改动的长特性开发。它大概做了四个半小时,改了一万七千行左右的代码,纯业务代码改动六十多个文件,加上匹配测试代码,总共改动超过一百个文件,体量非常大。中间我让它完成代码后再做对抗性审查,它第一遍做完后,在对抗性审查时发现约四个 block 级的 bug,然后修掉了,总共花了约四个小时。以我个人经验和评测看,同样的任务我知道 GPT-5.0 做过,但完全一模一样的任务它没完成过。
专家:速度上比 GPT-5.0 快一些(可能还是网络访问因素,先放一边);但整体的稳定性、可靠性和 GPT-5.6 几乎打一个水准。
专家:速度上比 GPT-5.0 快一些(可能还是网络访问因素,先放一边);但整体的稳定性、可靠性和 GPT-5.6 几乎打一个水准。
专家:有一个非常典型的场景,能明确看出在 coding 和 tooling 角度比 5.6 更好:很多 harness 做长程任务时会给自己列计划,但计划列表的更新对 harness 操控大模型是个难题——大模型很多时候不遵照指示,尤其主线在改代码时,它想不起需要实时更新的 todo list。在 5.3 这一代模型上都有这个问题:比如八步计划做到最后一步,显示还停在第一Step,工作却已到最后一步,一直不更新,这种情况非常普遍。
专家:有一个非常典型的场景,能明确看出在 coding 和 tooling 角度比 5.6 更好:很多 harness 做长程任务时会给自己列计划,但计划列表的更新对 harness 操控大模型是个难题——大模型很多时候不遵照指示,尤其主线在改代码时,它想不起需要实时更新的 todo list。在 5.3 这一代模型上都有这个问题:比如八步计划做到最后一步,显示还停在第一Step,工作却已到最后一步,一直不更新,这种情况非常普遍。
专家:但在 5.3 上我测试了非常多流程,发现它在 list 更新这点做得非常好,非常及时而且很可靠;能力上可以和 Cloud 系列模型接近。Opus 4.8 之前也有一样的问题,Opus 4.8 包括 GLM-5、Fibo 5 都没有这个问题;在这一点上 5.3 的能力和 Cloud 系列、Fibo 5 表现更加接近。
专家:但在 5.3 上我测试了非常多流程,发现它在 list 更新这点做得非常好,非常及时而且很可靠;能力上可以和 Cloud 系列模型接近。Opus 4.8 之前也有一样的问题,Opus 4.8 包括 GLM-5、Fibo 5 都没有这个问题;在这一点上 5.3 的能力和 Cloud 系列、Fibo 5 表现更加接近。
专家:这一点能看出什么能力?第一,它对整个指令的遵从能力很强;第二,它对工具调用的可靠性非常高。To Do List Update 本身是一个工具,harness 把它当工具、给大模型描述,让大模型知道合适时该调。5.3 保持得非常好。长程任务中大家多数会经过多次压缩后注意力漂移,这一点上 GLM-5.3 在我现在的 harness 底下表现确实比较好,同样 harness 底下比 5.2 好得多。这是长程任务中能保持注意力、保持调用工具、对用户指令遵从能力更强的一个明确表现,并不完全体现在任何 Benchmark 里,但是一个可以拿来评价的可靠指标。
专家:这一点能看出什么能力?第一,它对整个指令的遵从能力很强;第二,它对工具调用的可靠性非常高。To Do List Update 本身是一个工具,harness 把它当工具、给大模型描述,让大模型知道合适时该调。5.3 保持得非常好。长程任务中大家多数会经过多次压缩后注意力漂移,这一点上 GLM-5.3 在我现在的 harness 底下表现确实比较好,同样 harness 底下比 5.2 好得多。这是长程任务中能保持注意力、保持调用工具、对用户指令遵从能力更强的一个明确表现,并不完全体现在任何 Benchmark 里,但是一个可以拿来评价的可靠指标。
六、思维链效率:不再“爆炸思考”
六、思维链效率:不再“爆炸思考”
专家:另外一个大变化,是 GLM-5.3 对 token 的利用效率。之前圈内对国模都有个评价叫“爆炸思考”——基本通过超长思维链把智能水平提高到满意标准。5.2 里就非常明显:做一个任务时,query 一进来啥都没干先思考个 8k–10k token,特别正常。有一次给客户演示,对比 GPT-5.5、OPEN-S4.8 和 GLM-5.3 做同样任务,GPT 和 OpenAI 上下文都在 39k 左右,GLM 最后一轮塞到了近 52k,比前两个多约 30% 的上下文——多出来的就是它之前多思考的部分。
专家:另外一个大变化,是 GLM-5.3 对 token 的利用效率。之前圈内对国模都有个评价叫“爆炸思考”——基本通过超长思维链把智能水平提高到满意标准。5.2 里就非常明显:做一个任务时,query 一进来啥都没干先思考个 8k–10k token,特别正常。有一次给客户演示,对比 GPT-5.5、OPEN-S4.8 和 GLM-5.3 做同样任务,GPT 和 OpenAI 上下文都在 39k 左右,GLM 最后一轮塞到了近 52k,比前两个多约 30% 的上下文——多出来的就是它之前多思考的部分。
专家:同一任务下,5.3 使用 token 的效率、思考量,几乎从 5.2 首次思考约 8k,降到了约 2.5k,大概只有原来三分之一的思维链长度,但做的比原来还要好。因为思考是纯输出,对用户来说性价比更高;对模型来说,意味着思维链更干练,能更快找到核心问题、确认正确路径,用更短的执行路径完成更准的任务。
专家:同一任务下,5.3 使用 token 的效率、思考量,几乎从 5.2 首次思考约 8k,降到了约 2.5k,大概只有原来三分之一的思维链长度,但做的比原来还要好。因为思考是纯输出,对用户来说性价比更高;对模型来说,意味着思维链更干练,能更快找到核心问题、确认正确路径,用更短的执行路径完成更准的任务。
专家:由此可体验到的:第一,5.3 对指令的增强能力、长程任务注意力保持、工具调用能力,明显比 5.2 强一档(5.2 比 5.1 已强很多,5.3 比 5.2 又强一档)。第二,它并不通过暴涨思考来提升可靠性,而是以更正确、更可靠的思维链去思考。这意味着 5.3 用了更高质量的后续数据,而不是简单基于 harness 的自动化方式;否则它应更偏向 5.2 那种爆炸式思维链。这一点国模(千问、千问 3.8 Max、GPK3 等)都有,GPK3 稍干练些。
专家:由此可体验到的:第一,5.3 对指令的增强能力、长程任务注意力保持、工具调用能力,明显比 5.2 强一档(5.2 比 5.1 已强很多,5.3 比 5.2 又强一档)。第二,它并不通过暴涨思考来提升可靠性,而是以更正确、更可靠的思维链去思考。这意味着 5.3 用了更高质量的后续数据,而不是简单基于 harness 的自动化方式;否则它应更偏向 5.2 那种爆炸式思维链。这一点国模(千问、千问 3.8 Max、GPK3 等)都有,GPK3 稍干练些。
专家:在之前所有模型里(包括 3.8 Max),相对干练且可靠的,比较接近的是 K3——它的思维链方式等更接近 K3,K3 更接近 Opus 一点。但 GLM-5.3 在这一点上我认为 不比 K3 差,部分场合可能还更好:之前明确对比过,K3 在纯推理场合有缺陷——拿一道明显没解的数学题让几个模型解,K3 推理很干练、给出正确答案,但过程不完备,需要补充的条件也不完备;而 GPT 和 GLM 当时表现都非常好。纯推理上我原认为 GLM-5.2 比 K3 强一点点,现在 5.3 优势依旧:同一任务 5.3 用不到一半思维量(5.2 约 9k、5.3 约 4k)达到完全一样效果,比 5.2 还好一点点,比较接近 GPT-4.5 之后的纯推理水平。
专家:在之前所有模型里(包括 3.8 Max),相对干练且可靠的,比较接近的是 K3——它的思维链方式等更接近 K3,K3 更接近 Opus 一点。但 GLM-5.3 在这一点上我认为 不比 K3 差,部分场合可能还更好:之前明确对比过,K3 在纯推理场合有缺陷——拿一道明显没解的数学题让几个模型解,K3 推理很干练、给出正确答案,但过程不完备,需要补充的条件也不完备;而 GPT 和 GLM 当时表现都非常好。纯推理上我原认为 GLM-5.2 比 K3 强一点点,现在 5.3 优势依旧:同一任务 5.3 用不到一半思维量(5.2 约 9k、5.3 约 4k)达到完全一样效果,比 5.2 还好一点点,比较接近 GPT-4.5 之后的纯推理水平。
七、网络安全能力的实锤
七、网络安全能力的实锤
专家:还有一块大家之前没太关注、这次智谱重点提的,是网络安全问题。我刚也提到,它很容易找漏洞。我印象中去年 GLM-5.3 的模型发技术报告时,就注意到有相关场景——应该从去年 9 月开始,训练体系里就有这块的基础环境和数据。到 5.2、5.3 过程中,网络安全这条线(包括 ExposeBench、ThreeDream 等)提升都非常明显。我刚举了现实例子:5.3 真的会找漏洞,并自己去解决——它认为在解决问题,但过程其实是漏洞发现并利用的一个过程。就是刚才那个例子:本来没有工具、没有 token,不该能访问数据,它最后直接从数据库访问到,这是明显的找漏洞过程。
专家:还有一块大家之前没太关注、这次智谱重点提的,是网络安全问题。我刚也提到,它很容易找漏洞。我印象中去年 GLM-5.3 的模型发技术报告时,就注意到有相关场景——应该从去年 9 月开始,训练体系里就有这块的基础环境和数据。到 5.2、5.3 过程中,网络安全这条线(包括 ExposeBench、ThreeDream 等)提升都非常明显。我刚举了现实例子:5.3 真的会找漏洞,并自己去解决——它认为在解决问题,但过程其实是漏洞发现并利用的一个过程。就是刚才那个例子:本来没有工具、没有 token,不该能访问数据,它最后直接从数据库访问到,这是明显的找漏洞过程。
专家:当然,渗透之外肯定是加固能力——能发现漏洞就能加固、知道怎么屏蔽,相辅相成的,这块不多说。
专家:当然,渗透之外肯定是加固能力——能发现漏洞就能加固、知道怎么屏蔽,相辅相成的,这块不多说。
八、性价比、涨价与短板
八、性价比、涨价与短板
专家:5.3 发之前就涨价过一波,我当时就说那看来 5.3 要发了,而且能力应该提升挺不错,不然不会涨那么多。确实,5.3 平时使用是 QA3(疑为某档位)一个比较够用的东西;以智谱 700 多 B 规模、40B 激活的专家规模区间看,5.3 性价比极高。我认为之前大家说 800B 以内没有对手,在 1.5T 以内都没有太大的对手。
专家:5.3 发之前就涨价过一波,我当时就说那看来 5.3 要发了,而且能力应该提升挺不错,不然不会涨那么多。确实,5.3 平时使用是 QA3(疑为某档位)一个比较够用的东西;以智谱 700 多 B 规模、40B 激活的专家规模区间看,5.3 性价比极高。我认为之前大家说 800B 以内没有对手,在 1.5T 以内都没有太大的对手。
专家:但 700B 带来的问题还是有短板:除了专业微调方向、专业 post-training 的 agent 和 coding 方向之外,其他更完备的知识要弱一点;这是客观情况,没有办法。
专家:但 700B 带来的问题还是有短板:除了专业微调方向、专业 post-training 的 agent 和 coding 方向之外,其他更完备的知识要弱一点;这是客观情况,没有办法。
九、DeepSeek Harness(DSH)社区反馈
九、DeepSeek Harness(DSH)社区反馈
专家:下面介绍 DeepSeek Harness。我比较有幸是第二批进入内测群的成员。在内测开放前有一波筛选,有个半内部的讨论社群,基本是通过扫陈天翼发的码进去的,是他在圈子内的好友或关注者。我第二天进的内测群,第二天就拿到了整份代码。第一反应用了 DSH 以后,作为 harness 来说它并不完备,甚至觉得不如我自己做的 harness。当时我仔细研究它的代码,发现了一些端倪。
专家:下面介绍 DeepSeek Harness。我比较有幸是第二批进入内测群的成员。在内测开放前有一波筛选,有个半内部的讨论社群,基本是通过扫陈天翼发的码进去的,是他在圈子内的好友或关注者。我第二天进的内测群,第二天就拿到了整份代码。第一反应用了 DSH 以后,作为 harness 来说它并不完备,甚至觉得不如我自己做的 harness。当时我仔细研究它的代码,发现了一些端倪。
专家:后面内测的人在第五天左右专门开放了 GitHub 新组织,让大家加入后直接贡献插件。随着插件越来越多,我看到了更多可能性,也去研究了代码和底层 harness。他们有个员工写的 core 基础架构;仔细研究后,我发现 DSH 的核心灵魂就是“一切都是插件”——所有内容、机制、能力都可以变成插件。我之前写 KubeEdge 时也有类似想法,但没找到合理方案解决真正热插拔的问题。
专家:后面内测的人在第五天左右专门开放了 GitHub 新组织,让大家加入后直接贡献插件。随着插件越来越多,我看到了更多可能性,也去研究了代码和底层 harness。他们有个员工写的 core 基础架构;仔细研究后,我发现 DSH 的核心灵魂就是“一切都是插件”——所有内容、机制、能力都可以变成插件。我之前写 KubeEdge 时也有类似想法,但没找到合理方案解决真正热插拔的问题。
专家:DSH 给出了一个几乎完美的答案:这个 agent 在跑的时候能力随时可变,不需要重启自己、不中断任务,就可以自己给自己装上新的能力。比如跑任务跑一半,发现不会读 PDF,可以在另一个 session 里给自己做一个读 PDF 的插件,实时热插拔装上,别的任务就能接着跑。随时可以给自己组装新能力解决新问题,非常有魅力。
专家:DSH 给出了一个几乎完美的答案:这个 agent 在跑的时候能力随时可变,不需要重启自己、不中断任务,就可以自己给自己装上新的能力。比如跑任务跑一半,发现不会读 PDF,可以在另一个 session 里给自己做一个读 PDF 的插件,实时热插拔装上,别的任务就能接着跑。随时可以给自己组装新能力解决新问题,非常有魅力。
专家:随之而来的是使用门槛变高,导致公测第一时间社区反应不一:对非技术出身的小白用户,觉得“GPT on HARNESS”好像比别人差很多、什么都没有、跑的能力也不强;但对定制性、动手能力强的技术人员,觉得 DSH 的 harness 非常完美,可以做任何想做的事。
专家:随之而来的是使用门槛变高,导致公测第一时间社区反应不一:对非技术出身的小白用户,觉得“GPT on HARNESS”好像比别人差很多、什么都没有、跑的能力也不强;但对定制性、动手能力强的技术人员,觉得 DSH 的 harness 非常完美,可以做任何想做的事。
专家:有个插曲:DSH 默认标准模式在下文注入和准备的一些 forms 上,可能带来模型能力变化,达不到 V4 Pro 发布时的 benchmark 水平,大家都觉得自己在 harness 上跑 benchmark 还缩水了。后来内测群一些朋友发现,在 Mac OS 和 Linux 下,把为 powershell / Windows 准备的提示词开成极简模式、注入必要上下文,几乎能复现官方发布的全部 benchmark。
专家:有个插曲:DSH 默认标准模式在下文注入和准备的一些 forms 上,可能带来模型能力变化,达不到 V4 Pro 发布时的 benchmark 水平,大家都觉得自己在 harness 上跑 benchmark 还缩水了。后来内测群一些朋友发现,在 Mac OS 和 Linux 下,把为 powershell / Windows 准备的提示词开成极简模式、注入必要上下文,几乎能复现官方发布的全部 benchmark。
专家:当时就有一系列反转和舆情,针对 Reits Pro(疑为 DeepSeek V4 Pro)的表现、针对 DeepSeek Harness 的能力,大家比较两极化。我个人评价:DeepSeek 和 Harness 其实开创了一整块先河——真正把能自组装、动态创建的能力带给模型,让模型更自由地控制自己的能力边界。当然对技术人员要求更高:门槛之内游刃有余,门槛之外觉得难上手。
专家:当时就有一系列反转和舆情,针对 Reits Pro(疑为 DeepSeek V4 Pro)的表现、针对 DeepSeek Harness 的能力,大家比较两极化。我个人评价:DeepSeek 和 Harness 其实开创了一整块先河——真正把能自组装、动态创建的能力带给模型,让模型更自由地控制自己的能力边界。当然对技术人员要求更高:门槛之内游刃有余,门槛之外觉得难上手。
专家:我介绍下核心理念“一切皆插件”。以往做 harness 时,模型调用(对接 Provider、对接 Model、参数定义、通信可靠性保障)是非常底层的逻辑,我们以前认为它注册在模型识别器上;但在 DSH 里它也是插件。所有工具(read、write、batch 等)在 DSH 里也是插件,包括会话系统 session、甚至 agent 循环本身(loop engineering 指 harness 让 agent 反复调用大模型的过程,前后路径好多步骤,这个循环几乎是最底层)。我做 QA 研究时从没想过这能被更改,但 DSH 基于 CodeX 框架给出了完美答案:它是可更改的。包括系统审核、审批、系统提示词、内容持久化更不说了,任何部分不满意都能替换,更不要说界面——这两天丁飞他们群里几个成员成立了 TUI 组织,把我拉进去要改 terminal 端 UI。
专家:我介绍下核心理念“一切皆插件”。以往做 harness 时,模型调用(对接 Provider、对接 Model、参数定义、通信可靠性保障)是非常底层的逻辑,我们以前认为它注册在模型识别器上;但在 DSH 里它也是插件。所有工具(read、write、batch 等)在 DSH 里也是插件,包括会话系统 session、甚至 agent 循环本身(loop engineering 指 harness 让 agent 反复调用大模型的过程,前后路径好多步骤,这个循环几乎是最底层)。我做 QA 研究时从没想过这能被更改,但 DSH 基于 CodeX 框架给出了完美答案:它是可更改的。包括系统审核、审批、系统提示词、内容持久化更不说了,任何部分不满意都能替换,更不要说界面——这两天丁飞他们群里几个成员成立了 TUI 组织,把我拉进去要改 terminal 端 UI。
专家:DSH 这种方式是一把非常强的双刃剑:运营得好,社区氛围保持高热度,生态会扩大非常快;但热度不能保持、运营缺角时,只有一批技术的人玩得转,其他人很难接入,对 DSH 也是发展难题。我个人认为 利大于弊——给了 harness 动态可变化能力后,无限提高了它的天花板。
专家:DSH 这种方式是一把非常强的双刃剑:运营得好,社区氛围保持高热度,生态会扩大非常快;但热度不能保持、运营缺角时,只有一批技术的人玩得转,其他人很难接入,对 DSH 也是发展难题。我个人认为 利大于弊——给了 harness 动态可变化能力后,无限提高了它的天花板。
专家:别的我大概讲了三十五分钟左右,看看大家有没有问题;我讲得有点过于技术性,有不懂的直接问,我来回答。
专家:别的我大概讲了三十五分钟左右,看看大家有没有问题;我讲得有点过于技术性,有不懂的直接问,我来回答。
十、问答一:指令遵循强,是否意味着灵活性不足?
十、问答一:指令遵循强,是否意味着灵活性不足?
主持人:谢谢专家。下面进入问答环节。我先请教 GLM-5.3 的一个问题:社区评价说 5.3 指令遵循很强(5.2 可能也有这特点),但同时有人认为它缺少灵活性。这背后的原因是什么?较强的指令遵循使它的应用场景有什么特点——什么场景更友好,什么场景显不足?
主持人:谢谢专家。下面进入问答环节。我先请教 GLM-5.3 的一个问题:社区评价说 5.3 指令遵循很强(5.2 可能也有这特点),但同时有人认为它缺少灵活性。这背后的原因是什么?较强的指令遵循使它的应用场景有什么特点——什么场景更友好,什么场景显不足?
专家:我先回答。之前我解析过 5.1 和 5.2 最大区别,也在 5.2 明显提升了指令遵循能力。之前 GLM-5、5.1 有个特性:不需要很强指示也能做好,但你给要求和提示(按什么方法、用什么工具),它未必听话。当时还是 V4 Pro Preview 和 Black Preview 时代,我觉得 GPT 模型很听话——给重型 harness 表现提升很快;但重型 harness 对 GLM-5、5.1 提升帮助没那么大。
专家:我先回答。之前我解析过 5.1 和 5.2 最大区别,也在 5.2 明显提升了指令遵循能力。之前 GLM-5、5.1 有个特性:不需要很强指示也能做好,但你给要求和提示(按什么方法、用什么工具),它未必听话。当时还是 V4 Pro Preview 和 Black Preview 时代,我觉得 GPT 模型很听话——给重型 harness 表现提升很快;但重型 harness 对 GLM-5、5.1 提升帮助没那么大。
专家:这代表什么?当我们已有成型经验、想让大模型遵从经验时,5.2 之前 GLM 表现不够好;5.2 时显著改善。以前我让它调工具它不调,但也能完成任务,只是效率和最终格式化效果有些轻微缺憾。但 GLM 系列幻觉一直控制较好,能一直做到最后,只是结果没那么完美。5.2 之后显著改善——不管调工具还是遵循指令,它很聪明,也很听话;以前是特别聪明,但不听话。5.3 这点更明显:对工具调用尺度能非常清晰记住该在什么时候调什么工具;指令遵循能力很强。
专家:这代表什么?当我们已有成型经验、想让大模型遵从经验时,5.2 之前 GLM 表现不够好;5.2 时显著改善。以前我让它调工具它不调,但也能完成任务,只是效率和最终格式化效果有些轻微缺憾。但 GLM 系列幻觉一直控制较好,能一直做到最后,只是结果没那么完美。5.2 之后显著改善——不管调工具还是遵循指令,它很聪明,也很听话;以前是特别聪明,但不听话。5.3 这点更明显:对工具调用尺度能非常清晰记住该在什么时候调什么工具;指令遵循能力很强。
专家:但所谓“缺少灵活性”我不太赞同。很多时候我们给指令让它遵从,就是希望它按要求做;一旦要求没覆盖,它也会尝试探索,不像有些模型你不告诉它完全不做(像 Vision Preview 没有重型 harness 表现就不好,Flash 经常做做停停,有重型链、要求高时才正常)。GLM-5.3 一直表现得很好,灵活性一直保持。
专家:但所谓“缺少灵活性”我不太赞同。很多时候我们给指令让它遵从,就是希望它按要求做;一旦要求没覆盖,它也会尝试探索,不像有些模型你不告诉它完全不做(像 Vision Preview 没有重型 harness 表现就不好,Flash 经常做做停停,有重型链、要求高时才正常)。GLM-5.3 一直表现得很好,灵活性一直保持。
专家:但有没有负面影响?有——它会对于自己意见的坚持性变弱。比如我和模型讨论问题,它给观点 A,我反驳提观点 B(B 可能不正确),指令遵循更强的模型偏向去解释 B 的正确性,而不是坚持 A。这点上国内模型之前 5.1 也有点问题,但没那么听话、能坚持己见一点;5.3 容易出这点问题。当然这是你刻意的提示——如果你提问时也表达不确定性,它还是能找回立场。比如我常跟它说“我对 A 方案理解不透、直觉觉得有哪点问题,但可能我不清楚细节给的内容是错的,希望详细分析”,这样表达不确定性时,它还是会遵从 A 的方式、保持对 A 正确性的认同;但如果我非常强烈地说“A 就是错的、应该按 B”,它马上转向解释 B 的正确性。
专家:但有没有负面影响?有——它会对于自己意见的坚持性变弱。比如我和模型讨论问题,它给观点 A,我反驳提观点 B(B 可能不正确),指令遵循更强的模型偏向去解释 B 的正确性,而不是坚持 A。这点上国内模型之前 5.1 也有点问题,但没那么听话、能坚持己见一点;5.3 容易出这点问题。当然这是你刻意的提示——如果你提问时也表达不确定性,它还是能找回立场。比如我常跟它说“我对 A 方案理解不透、直觉觉得有哪点问题,但可能我不清楚细节给的内容是错的,希望详细分析”,这样表达不确定性时,它还是会遵从 A 的方式、保持对 A 正确性的认同;但如果我非常强烈地说“A 就是错的、应该按 B”,它马上转向解释 B 的正确性。
专家:这一点上表现非常好的是 Kimi——Kimi 的逻辑抗干扰能力非常强,比 GPT 还要强得多。虽然没有 Benchmark 评这个角度,但多和模型讨论设计、合理性问题时,对正确指令的遵从、对正确观点的坚持,能明显区分出来。我认为它其实不是缺少灵活性:没指导时它并不缺灵活性,像之前举的例子——没给路径、没给工具,它自己探索通了把数据取出来,它并不缺少东西。
专家:这一点上表现非常好的是 Kimi——Kimi 的逻辑抗干扰能力非常强,比 GPT 还要强得多。虽然没有 Benchmark 评这个角度,但多和模型讨论设计、合理性问题时,对正确指令的遵从、对正确观点的坚持,能明显区分出来。我认为它其实不是缺少灵活性:没指导时它并不缺灵活性,像之前举的例子——没给路径、没给工具,它自己探索通了把数据取出来,它并不缺少东西。
十一、问答二:Harness 自进化路线,会像 OpenCAI 还是 Cloud Code?
十一、问答二:Harness 自进化路线,会像 OpenCAI 还是 Cloud Code?
主持人:第二个问题关于 DeepSeek 与 Harness。这个产品推出后刷新了 GitHub 最快上新速度,比年初的 OpenCAI 还快。但它的 Harness 自进化路径,有没有可能像年初 OpenCAI 一样——开始很有吸引力(很开放),后期特定插件功能仍需专业团队维护,个人很难靠模型自进化做到最好?您怎么看?最终会像 Cloud Code 这种,还是 DSH 这种路线?
主持人:第二个问题关于 DeepSeek 与 Harness。这个产品推出后刷新了 GitHub 最快上新速度,比年初的 OpenCAI 还快。但它的 Harness 自进化路径,有没有可能像年初 OpenCAI 一样——开始很有吸引力(很开放),后期特定插件功能仍需专业团队维护,个人很难靠模型自进化做到最好?您怎么看?最终会像 Cloud Code 这种,还是 DSH 这种路线?
专家:这问题直击灵魂,问得特别好。昨天晚上 DSH 内测群有个北京线下聚会,我也去了,现场有 DeepSeek 训练团队的人员。我们讨论了 DSH 未来和社区建设——大家都发现,DSH 强依赖插件,对社区贡献、热度、大家自主贡献更好更有价值插件的要求很高。
专家:这问题直击灵魂,问得特别好。昨天晚上 DSH 内测群有个北京线下聚会,我也去了,现场有 DeepSeek 训练团队的人员。我们讨论了 DSH 未来和社区建设——大家都发现,DSH 强依赖插件,对社区贡献、热度、大家自主贡献更好更有价值插件的要求很高。
专家:我们探讨了一个重要话题:怎么保证插件可用性——对社区来说,我收集内部很多人发的插件、也收录公开插件,怎么保证可靠性、可用性、功能优秀且完备?这需要分析或社区背书,社区背书的基础条件是社区要用成本验证它。成本怎么拿?是转嫁给用户,让他自己提供证明和运行记录、我们简单检查后证明有效;还是通过社区点赞、使用、反馈,从运营角度用口碑热度驱动,帮社区和官方初筛,官方再从中找热度推荐、给官方精选等——也是把成本转嫁使用方。还有一种类似 OpenCAI 全官方自己审核、标准化,成本纯粹社区担,很高。
专家:我们探讨了一个重要话题:怎么保证插件可用性——对社区来说,我收集内部很多人发的插件、也收录公开插件,怎么保证可靠性、可用性、功能优秀且完备?这需要分析或社区背书,社区背书的基础条件是社区要用成本验证它。成本怎么拿?是转嫁给用户,让他自己提供证明和运行记录、我们简单检查后证明有效;还是通过社区点赞、使用、反馈,从运营角度用口碑热度驱动,帮社区和官方初筛,官方再从中找热度推荐、给官方精选等——也是把成本转嫁使用方。还有一种类似 OpenCAI 全官方自己审核、标准化,成本纯粹社区担,很高。
专家:和 DeepSeek 官方人员聊后,个人感觉官方不会重点投入成本做纯运营、社区管理和插件授权。从这次内测方向看有这趋向——希望有社区组织起来,用众包力量帮官方解决运营性和插件管理问题。所以我昨天提建议:社区应是半官方属性——不意味主要由官方介入,而是需要官方人员了解、必要时给激励和配合(官方认证、官方精选,或给免费 token 做插件验证等),都在昨天讨论范围。
专家:和 DeepSeek 官方人员聊后,个人感觉官方不会重点投入成本做纯运营、社区管理和插件授权。从这次内测方向看有这趋向——希望有社区组织起来,用众包力量帮官方解决运营性和插件管理问题。所以我昨天提建议:社区应是半官方属性——不意味主要由官方介入,而是需要官方人员了解、必要时给激励和配合(官方认证、官方精选,或给免费 token 做插件验证等),都在昨天讨论范围。
专家:我个人比较看好未来 DSH 社区的完整发展,也非常相信它带来的活力。但要知道,任何 harness 被开源出来,这家公司尽可能在开源,非常值得尊重(DPC 也一样,对业界帮助很大)。但在商业这块,我并没有看出 DSH 团队对商业化的追求;没有商业化锚定时,打法偏向对 C 端更友好。对 B 端来说,想要用 DSH 或做别人场景 agent 的企业会比较谨慎——要花大把时间判定哪些插件有价值、自己写插件,但底层 harness 不是 100% 可控(插件靠社区搭,只用官方插件能力远远不够),社区插件运营密度不够时,B 端用任何社区插件都有可靠性风险。我看到 DSH 后反应是:很多优秀机制可借鉴,但要用到我们企业、为别人构建 agent,我觉得很困难。
专家:我个人比较看好未来 DSH 社区的完整发展,也非常相信它带来的活力。但要知道,任何 harness 被开源出来,这家公司尽可能在开源,非常值得尊重(DPC 也一样,对业界帮助很大)。但在商业这块,我并没有看出 DSH 团队对商业化的追求;没有商业化锚定时,打法偏向对 C 端更友好。对 B 端来说,想要用 DSH 或做别人场景 agent 的企业会比较谨慎——要花大把时间判定哪些插件有价值、自己写插件,但底层 harness 不是 100% 可控(插件靠社区搭,只用官方插件能力远远不够),社区插件运营密度不够时,B 端用任何社区插件都有可靠性风险。我看到 DSH 后反应是:很多优秀机制可借鉴,但要用到我们企业、为别人构建 agent,我觉得很困难。
专家:但这不妨碍我喜欢 DSH、认为它生态未来有极大价值。现在整个 Harness 发展非常快,不能定性成唯一形态;但从所有在选、在看的 agent harness 组织方式看,DSH 是最有潜力成长为长期核心架构的一个。相当于看未来 harness 底座会由哪个构成,现在所看所有底座里,未来最有活力或者最有生命力的,可能就是和 DeepSeek 类似、能进一步改装自己、有更高自由度的底座。
专家:但这不妨碍我喜欢 DSH、认为它生态未来有极大价值。现在整个 Harness 发展非常快,不能定性成唯一形态;但从所有在选、在看的 agent harness 组织方式看,DSH 是最有潜力成长为长期核心架构的一个。相当于看未来 harness 底座会由哪个构成,现在所看所有底座里,未来最有活力或者最有生命力的,可能就是和 DeepSeek 类似、能进一步改装自己、有更高自由度的底座。
专家:我寄希望于官方继续完善——但官方这几天加班太狠休假去了,仓库一直没更新。如果有竞争对手既有自由度、又能让无技术基础的用户拿到手就用得很好,那是最完美状态。总结:DeepSeek 带来的 Harness 构建范式,现在看最有潜力走得比较远期;但不能因 Harness 动态因素太多就定性——OpenCAI 当时面对 Harness 并非没有竞争力(热度太高),只是团队行事风格和运营方式会直接导致这种强依赖社区的产品走向两极化。
专家:我寄希望于官方继续完善——但官方这几天加班太狠休假去了,仓库一直没更新。如果有竞争对手既有自由度、又能让无技术基础的用户拿到手就用得很好,那是最完美状态。总结:DeepSeek 带来的 Harness 构建范式,现在看最有潜力走得比较远期;但不能因 Harness 动态因素太多就定性——OpenCAI 当时面对 Harness 并非没有竞争力(热度太高),只是团队行事风格和运营方式会直接导致这种强依赖社区的产品走向两极化。
十二、问答三:各家模型优化方向是否出现明显分化?
十二、问答三:各家模型优化方向是否出现明显分化?
主持人:看看后台有没有提问的投资人。下面是来自参会者的文字提问:从专家技术角度观察,各家模型的优化方向代表厂商对自己定位、未来应用场景的明显分化了吗?之前大众认为国模几家差异化不明显,毕竟都靠蒸馏 SFT 的方向。
主持人:看看后台有没有提问的投资人。下面是来自参会者的文字提问:从专家技术角度观察,各家模型的优化方向代表厂商对自己定位、未来应用场景的明显分化了吗?之前大众认为国模几家差异化不明显,毕竟都靠蒸馏 SFT 的方向。
专家:现在国模其实各自走出了自己的特点。非常典型,DeepSeek 一直在 AI infra 上有极大投入,表现出统治力级别的能力,全球范围内几乎没有对手——我认为 DeepSeek 在 infra 的投入全球现在都没有对手,到现在没人能把 DeepSeek(尤其 V4 系列)模型部署出和官方一样的效率和成本,没人做得到。它一直坚持在底层、AI 硬件优化上让模型更易被广泛使用、成本更合理,而且一系列研究先于世界,不是滞后于别人。
专家:现在国模其实各自走出了自己的特点。非常典型,DeepSeek 一直在 AI infra 上有极大投入,表现出统治力级别的能力,全球范围内几乎没有对手——我认为 DeepSeek 在 infra 的投入全球现在都没有对手,到现在没人能把 DeepSeek(尤其 V4 系列)模型部署出和官方一样的效率和成本,没人做得到。它一直坚持在底层、AI 硬件优化上让模型更易被广泛使用、成本更合理,而且一系列研究先于世界,不是滞后于别人。
专家:GLM 一直保持自己的特点:在后训练角度找到一系列技巧和方法,甚至一整套完整方法论和有价值的基础设施积累,帮助它在模型幻觉控制方面一直走在世界前列。我之前在 GLM-4.7 时觉得,全球除 Claude 的 Opus 系列,没哪个模型幻觉控制比它更好;到现在这观点也没太大变化。GLM 在控制幻觉、推理可靠和准确性上一直保持相当高水准,这优势一直存在、还在发扬,来提升其他性能。较低的困惑度让模型长程任务漂移很小,具备长程 agent 和超长程 coding 的条件。所以 5.3 发布能看到这么喜人的 Benchmark——在这么低参数(当然也不特别低,700B 比现在动辄两三 T、甚至 FAVO 超 5T 的巨兽还是太强了)。
专家:GLM 一直保持自己的特点:在后训练角度找到一系列技巧和方法,甚至一整套完整方法论和有价值的基础设施积累,帮助它在模型幻觉控制方面一直走在世界前列。我之前在 GLM-4.7 时觉得,全球除 Claude 的 Opus 系列,没哪个模型幻觉控制比它更好;到现在这观点也没太大变化。GLM 在控制幻觉、推理可靠和准确性上一直保持相当高水准,这优势一直存在、还在发扬,来提升其他性能。较低的困惑度让模型长程任务漂移很小,具备长程 agent 和超长程 coding 的条件。所以 5.3 发布能看到这么喜人的 Benchmark——在这么低参数(当然也不特别低,700B 比现在动辄两三 T、甚至 FAVO 超 5T 的巨兽还是太强了)。
专家:Kimi 走出了自己的特点:前端方面保持很高优势,Web Dev、视觉研发角度找到自己的路——这趋势从 K2 新聘发布时就有苗头。Kimi 训练数据(不只 Web Dev,包括金融等)都做得非常棒,在进一步固化优势。
专家:Kimi 走出了自己的特点:前端方面保持很高优势,Web Dev、视觉研发角度找到自己的路——这趋势从 K2 新聘发布时就有苗头。Kimi 训练数据(不只 Web Dev,包括金融等)都做得非常棒,在进一步固化优势。
专家:至于是否利用国外模型数据、是否尝试争夺,我不能说没有;但我们看到各家国模在自己之前的路上找到了优势区间和差异化竞争点,把这些点加强来占住市场份额。面对 OpenAI、Anthropic 这样有大把算力资金的巨兽,国内模型想追上,完全以水桶姿态追上或超越本身就很困难;而训练本身在提升长板时,其他短板也会被部分提升,一个领域的杰出数据和方法会带动整体智能表现。所以大家都在自己长项路上做得更深、走得更远——现在以纯蒸馏去看国模,可能已经过时了挺长时间。
专家:至于是否利用国外模型数据、是否尝试争夺,我不能说没有;但我们看到各家国模在自己之前的路上找到了优势区间和差异化竞争点,把这些点加强来占住市场份额。面对 OpenAI、Anthropic 这样有大把算力资金的巨兽,国内模型想追上,完全以水桶姿态追上或超越本身就很困难;而训练本身在提升长板时,其他短板也会被部分提升,一个领域的杰出数据和方法会带动整体智能表现。所以大家都在自己长项路上做得更深、走得更远——现在以纯蒸馏去看国模,可能已经过时了挺长时间。
十三、问答四:Harness 竞争格局与多模型兼容
十三、问答四:Harness 竞争格局与多模型兼容
主持人:下面有请电话尾号1320的参会者进行提问。
主持人:下面有请电话尾号1320的参会者进行提问。
参会者(电话尾号1320):专家听得到吗?我想请教:现在各家大模型厂商都在研发自己的 harness,但很多不兼容其他模型。后续竞争格局演变方向是——一家 harness 单独跑出来排除其他,还是有一家 harness 去兼容所有厂商、扩大覆盖范围?我不太能预想未来发展。
参会者(电话尾号1320):专家听得到吗?我想请教:现在各家大模型厂商都在研发自己的 harness,但很多不兼容其他模型。后续竞争格局演变方向是——一家 harness 单独跑出来排除其他,还是有一家 harness 去兼容所有厂商、扩大覆盖范围?我不太能预想未来发展。
专家:这问题我也思考很久。看 Cloud Code 的动作能看出端倪:harness 给模型带来另一角度的粘性,让模型在市场上发声、尤其 Benchmark 表现提供专有渠道——大家都说开发自己的“专武”。但未来会不会有一家做模型的做了自己 harness 后拓展到别家、全面平推兼容?我认为比较困难。
专家:这问题我也思考很久。看 Cloud Code 的动作能看出端倪:harness 给模型带来另一角度的粘性,让模型在市场上发声、尤其 Benchmark 表现提供专有渠道——大家都说开发自己的“专武”。但未来会不会有一家做模型的做了自己 harness 后拓展到别家、全面平推兼容?我认为比较困难。
专家:大模型时代,我是生产电力的(token 是未来电力),大模型是核心生产中心,基础设施当然用我的比较好,不会让别人卡脖子——应用的窗口是入口,我可能想卡别人脖子,但任何厂商都不希望别人卡自己脖子。所以像 Cloud Code 在 Cloud Desktop 这样的 harness 上,尽一切可能屏蔽第三方模型接入。
专家:大模型时代,我是生产电力的(token 是未来电力),大模型是核心生产中心,基础设施当然用我的比较好,不会让别人卡脖子——应用的窗口是入口,我可能想卡别人脖子,但任何厂商都不希望别人卡自己脖子。所以像 Cloud Code 在 Cloud Desktop 这样的 harness 上,尽一切可能屏蔽第三方模型接入。
专家:兼容多模型的第三方一定会有的——比如 OpenCAI 的派等,包括我们谈的公司、我自己开发的 harness,都尝试兼容多方。但有个简单要求:你不能既是 coding 开发方、又是 model 开发方——一旦成为 model 开发方、主推自己 model,harness 就容易和模型绑定(模型价值更大、产生优秀模型成本更高),你必然只在自己模型上优化。所以大部分想接多模型的 harness,可见的是一个第三方比较有价值、或第三方 harness 厂商拿出的发行版比较现实。
专家:兼容多模型的第三方一定会有的——比如 OpenCAI 的派等,包括我们谈的公司、我自己开发的 harness,都尝试兼容多方。但有个简单要求:你不能既是 coding 开发方、又是 model 开发方——一旦成为 model 开发方、主推自己 model,harness 就容易和模型绑定(模型价值更大、产生优秀模型成本更高),你必然只在自己模型上优化。所以大部分想接多模型的 harness,可见的是一个第三方比较有价值、或第三方 harness 厂商拿出的发行版比较现实。
专家:DSH 给我们看了另一个方案:它把开放性完全提供出来,让大家用各厂商甚至第三方自己去组织——你可以用它的内核,不一定要用它的模型,它也没为自家模型专门优化(大家拿标准模式跑 benchmark 跑不到官方分,就知道它没做这事)。所以 DeepSeek 有可能变成一个多第三方入口——不是 DSH 自己发的,而是第三方基于 DSH 内核打包的发行版或 OEM 版,把第一方部分替换掉。这种形态有可能,但现在还没看到大家这么做,精力还没集中在这;但我觉得有潜力。总结:面对多模型接入的 harness,三方做相对平衡、能接入更多的能力比较现实,第一方很难指望独大后接纳所有模型——任何第一方说白了都想垄断,都想大家都用我的模型、别的都不要存在。
专家:DSH 给我们看了另一个方案:它把开放性完全提供出来,让大家用各厂商甚至第三方自己去组织——你可以用它的内核,不一定要用它的模型,它也没为自家模型专门优化(大家拿标准模式跑 benchmark 跑不到官方分,就知道它没做这事)。所以 DeepSeek 有可能变成一个多第三方入口——不是 DSH 自己发的,而是第三方基于 DSH 内核打包的发行版或 OEM 版,把第一方部分替换掉。这种形态有可能,但现在还没看到大家这么做,精力还没集中在这;但我觉得有潜力。总结:面对多模型接入的 harness,三方做相对平衡、能接入更多的能力比较现实,第一方很难指望独大后接纳所有模型——任何第一方说白了都想垄断,都想大家都用我的模型、别的都不要存在。
参会者(电话尾号1320):明白。再请教:第三方 harness 去兼容其他大模型厂商,是否要针对不同大模型做不同优化?成本会很高。
参会者(电话尾号1320):明白。再请教:第三方 harness 去兼容其他大模型厂商,是否要针对不同大模型做不同优化?成本会很高。
专家:这问题我有发言权,刚好在做。大部分时候我不会给每个模型做特例优化——不会准备单独提示词、单独 harness 流程,而是尽可能对所有模型做平衡优化;对在目标客户场景用得多的模型做更多测试,有一套自己的 benchmark 让各模型跑案例看表现。如果有表现回馈问题,再看 harness 优化空间。我很难把所有模型都做到一百分,但几乎能把每个做到八十分以上、有些九十五分以上。
专家:这问题我有发言权,刚好在做。大部分时候我不会给每个模型做特例优化——不会准备单独提示词、单独 harness 流程,而是尽可能对所有模型做平衡优化;对在目标客户场景用得多的模型做更多测试,有一套自己的 benchmark 让各模型跑案例看表现。如果有表现回馈问题,再看 harness 优化空间。我很难把所有模型都做到一百分,但几乎能把每个做到八十分以上、有些九十五分以上。
专家:它是一个平衡,不是对某几个模型的集锦。因为我难控制面对哪个模型,所以所有模型都要尝试优化;但想把每个优化到第一方厂商 harness 的水准,代价很大——那你不如直接做个 MCP 客户端,把每个第一方的 harness 都接进来兼容(可能有内网隔离问题,但可以想别的办法绕)。你想用第一方最优秀的调试能力、又想兼容多模型,本身难平衡,更像跷跷板,很难两端都好。
专家:它是一个平衡,不是对某几个模型的集锦。因为我难控制面对哪个模型,所以所有模型都要尝试优化;但想把每个优化到第一方厂商 harness 的水准,代价很大——那你不如直接做个 MCP 客户端,把每个第一方的 harness 都接进来兼容(可能有内网隔离问题,但可以想别的办法绕)。你想用第一方最优秀的调试能力、又想兼容多模型,本身难平衡,更像跷跷板,很难两端都好。
专家:更多是平衡:既兼容大部分模型,又在部分用得多的模型上表现足够接近官方——这对第三方 harness 比较重要。
专家:更多是平衡:既兼容大部分模型,又在部分用得多的模型上表现足够接近官方——这对第三方 harness 比较重要。
十四、主持人总结
十四、主持人总结
主持人:好的,谢谢,也谢谢投资人的提问。时间原因,今天交流先到这儿。我们重申对智谱看好的观点:5.3 出来后比较亮眼,在相对更小的参数基础上,达到国内重新回到最头部模型的能力水平。也期待后续公司预训练和参数量进一步扩大后,模型智能水平进一步提升。前期有一些回调,我们认为这个位置还是非常值得关注。
主持人:好的,谢谢,也谢谢投资人的提问。时间原因,今天交流先到这儿。我们重申对智谱看好的观点:5.3 出来后比较亮眼,在相对更小的参数基础上,达到国内重新回到最头部模型的能力水平。也期待后续公司预训练和参数量进一步扩大后,模型智能水平进一步提升。前期有一些回调,我们认为这个位置还是非常值得关注。
主持人:重申对智谱看好的观点。今天这场对 5.3 和 DeepSeek Harness 的分享到此结束,再次感谢专家详细分享,也感谢各位投资人参与。有其他问题欢迎联系我们团队。谢谢专家,谢谢投资人,交流到此结束。
主持人:重申对智谱看好的观点。今天这场对 5.3 和 DeepSeek Harness 的分享到此结束,再次感谢专家详细分享,也感谢各位投资人参与。有其他问题欢迎联系我们团队。谢谢专家,谢谢投资人,交流到此结束。
专家:好的,谢谢大家。大家再见。
专家:好的,谢谢大家。大家再见。
内容由 AI 从网络自动采集(可能存在排版混乱),仅供参考,不作为任何决策依据,因使用产生的后果不承担任何责任。
内容版权归原作者所有,本平台仅作学习研究之引用,如涉及侵权请联系删除。