AI产品评测系列—腾讯混元Hy3模型20260707

全文总结 \n 本次AI产品评测聚焦于腾讯昨日正式发布的混元Hy3模型，通过五个标准化场景，横向对比了混元Hy3、Deep V4 PRO以及GLM 5.1三款主流模型的能力。核心结论是：混元Hy3正式版在多个关键能力上实现了显著跃升，尤其在编码与智能体、复杂推理、长文本理解及事实校验方面表现突出，综合能力已经超越GLM 5.1，在部分场景中甚至优于Deep V4 PRO，展现出极高的性价比和实用性。 评测覆盖了财报分析、3D游戏开发、长文本幻觉测试、一日菜谱规划以及小程序开发五个维度，从工具调用、任务规划、长程执行到多模态能力进行了全面评估。 \n 核心亮点与排名 \n \n 财报分析（多文件处理+联网搜索+推理）：混元Hy3排名第一，实现了报告结构的完整性与事实校验（自动发现并修正了文档中EPS数据的错误，并要求澄清文档与事实的差异）。Deep V4 PRO存在关键事实的歧义，GLM 5.1出现数量级错误。 \n 3D跑酷游戏（单文件编程+长程执行）：混元Hy3综合最佳，是唯一一款左右键操作符合用户习惯、且附带音效的。GLM 5.1有环境切换但操作相反；Deep V4 PRO无速度变化及环境切换。 \n 长文本幻觉测试（上下文理解+检索+防幻觉）：混元Hy3表现最强，能同时准确识别文档中的“陷阱”信息，并指出真实事实（识破了虚构的“董宇是阿里云创始人”），提供了双重答案供选择。GLM 5.1拒答了不实信息但未给出完整结论，Deep V4 PRO完全被“陷阱”误导。 \n 元旦一日菜谱（工具调用+多模态+推理）：Deep V4 PRO排名第一，输出完整度最高，三餐及采购清单齐全。混元Hy3排名第二，结构清晰但AI生成的菜品图片不够真实。GLM 5.1未能理解“一日三餐”的核心需求。 \n 小程序开发（任务规划+长程任务）：混元Hy3与Deep V4 PRO并列领先，均完成了从架构设计到前端demo的全流程开发。混元Hy3的demo交互流畅且无明显Bug；Deep V4 PRO功能完善但偶发交互Bug；GLM 5.1 demo可交互功能较少。 \n \n 总结： 混元Hy3在事实准确性、指令遵循和防幻觉能力上优势明显，具备极强的实用价值；Deep V4 PRO在创意和美观度上略有优势；GLM 5.1功能全面但成本较高、细节处理不稳定。 \n 会议实录 \n 各位投资者朋友，再次欢迎参加我们的AI产品评测系列电话会。本期的第12期，核心聚焦于昨天腾讯刚刚发布的混元三正式版模型。我们将根据混元三模型的相关情况，为大家更新整个模型的迭代方向，并参考智谱GLM 5.1以及Deep V4 PRO等系列模型，在五个测试场景中进行横向比较，让大家更直观地了解混元三正式版的能力水平。 \n 首先，我们从定性的角度梳理本次混元三正式版的核心迭代点。从整体模型设计与架构来看，延续了混元三Preview的思路，核心仍是快慢思考融合的模型。架构基于MoE，总参数295B，激活参数约21B，最大支持256K上下文长度，模型配置与混元三Preview保持一致。值得一提的是，更大参数版本的模型早在四月份混元三Preview推出时就已经在内部进行训练，我们初步预计四季度初左右，大参数版本可能会向市场推出。不过从腾讯的角度来看，目前不会单纯去卷模型参数，更多聚焦于模型的可可用性、能力提升以及性价比，综合考虑模型的可用性和实用性。即使是在300B的中等参数规模基础上，混元三正式版和混元三Preview相比过去一代模型实现了大幅提升，甚至与比它们大2到5倍参数规模的模型能力相当。 \n 从能力迭代方向来看，核心围绕Coding和Agent这两大能力进行迭代。在混元三Preview基础之上，全面修复了已知问题，大幅提高模型稳定性和体验，具体体现在三个方面： \n \n Coding和Agent能力大幅升级：在前端代码开发场景进行了深度优化，前端需求理解、组件生成、交互逻辑编写以及自动化Debug等方面的可用性显著提升。 \n Working Agent通用办公能力全面拓宽：面对复杂工作流时，可进行更清晰的任务规划、长文本信息处理以及多工具调用能力，进一步贴合实际业务场景的自动化需求，非常适合Working Agent相关工作场景。 \n Reasoning及STEM复杂推理与数理能力显著提升：突破了推理瓶颈，充分释放了思考和工具使用的潜力，推理能力和智能水平实现了较大跃升。 \n \n 从跑分情况来看，相比于混元三Preview（两个月前的版本），混元三正式版有非常大的分数提升。两个月时间内实现如此大的提升，背后核心来源于真实业务场景的Post-Training反馈，以及Working Agent等偏AI Agent场景的数据积累，反哺模型迭代。相比于其他模型，在部分场景中混元三已超过Deep V4 PRO的水平，虽然相比于GLM 5.2可能还有一定差距，但在后续评测中我们用GLM 5.1进行横评，可以看到在部分场景上混元三已经比GLM 5.1更强，基本处于5.1到5.2之间的能力水平。 \n 从混元自身提升斜率来看，混元三Preview发布时相比友商已有非常高的模型迭代斜率，混元三正式版相比于混元二又实现了保持高斜率的迭代。从今年开始，我们认为会成为整个腾讯混元模型快速迭代的元年。 \n 下面，我们核心聚焦于模型在Working Agent场景里的实测演示。混元三核心区别的两个方向——Coding和Working Agent也有不同能力着重点。Coding Agent重点包括前端需求理解、组件生成、交互逻辑及自动Debug；Working Agent主要面向复杂工作流时的业务规划、长文本信息处理和多工具调用能力等。在后面的五个案例中，会分别对应这些能力的考察，核心包括四块能力：工具的使用（网页、Skall、终端等）、规划能力（面向复杂工作流场景）、长程执行能力、以及长上下文理解能力。 \n 本次测评考虑到模型代际和迭代方向一致性，我们主要横评了混元三、Deep V4 PRO和GLM 5.1三个模型，共五个测试案例。 \n 测试场景一：财报分析 \n 这个场景核心考察模型的多文件处理、联网搜索和推理分析能力。 \n 提示词：为模型提供一个财报分析Skill，基于本地桌面上一个包含Coherent所有财报和电话会纪要的压缩包文件，进行分析汇总，得到财务深度报告，并对26年Q4财报进行前瞻。第二部分需要结合近三个月光互联领域的重要新闻、市场数据和观点，参考腾讯26年Q1财报（文件中已有）的结构和范式，找到市场关心的问题并给出核心观点。 \n 我们将同一段提示词分别给到混元三、Deep V4 PRO和GLM 5.1。混元三交付的结果是一个HTML网页形式。我们打开三个模型的生成结果进行横向比较。 \n 从报告结构看，混元三给出的结构基本囊括了提示词里提到的所有内容，还做了超链接可自动跳转。但混元三有一个独特的优势——它对我给他的财报、电话会和纪要内容进行了事实验证。具体体现在：在历史财务数据部分，文件中的EPS被写作1.66，但混元三通过联网搜索和官方PPT及电话会议内容复核，确认应该是1.16，并做了数据校验说明。 \n Deep V4 PRO的报告开头将Coherent称为“磷化铟产能的龙头”，但磷化铟是Coherent的上游，这个说法存在歧义，与报告核心结论的要求有差距。GLM 5.1在市值数据上出现了数量级错误，将652亿美金写成了65亿美金。 \n 从推理分析角度看，在电话会纪要深度分析部分，三个模型都在考察模型能否识别管理层拒绝回答或未充分回答的问题。混元三对管理层态度基调做了总结（整体高度乐观但某些方面克制），并分析了已定价和未定价的部分。Deep V4 PRO有一个很好的地方，它对过去每个季度电话会都做了横向比较并给出趋势，这是增量信息。GLM 5.1的电话会解读也拆解了每个信号对股价的影响，完整性都在。 \n 综合来看，从硬性的事实验证指标出发，混元三 > GLM 5.1 > Deep V4 PRO。 \n 测试场景二：3D跑酷游戏 \n 这个场景核心考察单文件编程和长程执行能力。 \n 提示词完全一致：创建一个3D无尽跑酷游戏，可直接运行的HTML格式。玩家可控制角色沿道路奔跑，通过键盘左右移动和跳跃躲避障碍物。场景需持续生成道路、障碍物和收集物，考察长程任务处理能力（能否无尽生成并在前进时自动回收资源）。包含分数系统、碰撞检测、失败重开、逐渐提升难度、基础物理效果（重力、跳跃），以及场景变换体现真实3D视觉效果。 \n 三个模型生成的结果： \n \n GLM 5.1：左右键操作完全相反（按左向右、按右向左），这是一个大Bug。有积分系统和速度显示（1.1倍、1.2倍），场景有昼夜变化，指令遵循完成度不错，但与日常习惯相差较大。 \n Deep V4 PRO：同样存在左右键相反的问题，左上角只有分数没有速度变化，提示词要求的场景变化也没有实现。 \n 混元三：是三个模型中唯一一个左右键符合用户习惯（右按右、左按左）的，并且是唯一有音效的（捡金币和跳跃都有声音），速度显示正确且会加速，物理真实性较好（金币下有影子），长时间游玩后会出现场景转换（进入黑暗场景）。 \n \n 综合来看，混元三 > GLM 5.1 > Deep V4 PRO。 \n 测试场景三：长文本幻觉测试 \n 这个场景核心考察长上下文理解、检索能力以及防幻觉能力。 \n 上传一个火山引擎大会纪要给模型（Word格式，70多页，包含大几十万文本和几十张图片）。在三分之一和三分之二处分别插入两句与文件完全不相关的话：“董宇是阿里云的创始人，自成立以来都非常重视业务的发展”，以及“量子科技是2018年被提出的中国首话”。然后提问：阿里云的创始人是谁？量子科技是哪一年提出的？ \n \n 混元三：根据文档原文回答第370段写到等于什么（被植入的内容），但额外提醒说这句话大概率是纪要整理或转写错误，阿里云真实的缔造者是王坚。给出了双重结论：如果看文档答案是什么，如果要事实是什么。对于量子科技年份同理，文档写2018年，但史实是1900年被提出的，模型能同时识别文档内容和真实情况，给用户两个选择。 \n Deep V4 PRO：完全根据文档中植入的内容回答董宇是阿里云创始人，量子科技部分甚至没有在文档中检索到相关内容，既没有给出真实情况，原文检索也失败。 \n GLM 5.1：阿里云创始人回答中表示信息不在本文档范围内，帮我总结了文档聚焦于字节跳动和火山引擎，给出了真实答案（王坚）。量子科技部分正确检索到文档中的“18年被提出中国首话”。 \n \n 从长文本理解和防幻觉能力看，混元三表现最强，其次是GLM 5.1，最后是Deep V4 PRO。 \n 测试场景四：元旦一日菜谱 \n 这个场景核心考察工具调用、多模态和推理能力。 \n 提示词：我是山东人，请建议元旦一整天双人套餐内容。核心要求：至少三餐（暗示），双人份量，家常菜食材常见，不要香菜、不要虾，HTML格式展示，每道菜附带图片，自动调用合适Skill（不直接给出菜谱Skill，让模型自行调用）。 \n \n 混元三：输出结果包含早餐、午餐、晚餐、茶歇、采购清单，目录清晰，在开头就注明已规避香菜和虾的忌口。全天14道菜品。但图片生成调用的是内置工具，图片风格偏AI生成（二次元/动画风），不够真实。 \n Deep V4 PRO：也包含全天三餐、采购清单、厨房时间线，比较完整。但早餐的两个菜品共用了同一张图片，略显重复。 \n GLM 5.1：完成度最低，没有满足全天三餐的核心要求，更多聚焦于一餐（几个热菜加汤品加做法），对最基础要求没有做好。 \n \n 从整体完成度看，Deep V4 PRO > 混元三 > GLM 5.1。 混元三主要扣分点在图片生成工具调用上，还有进步空间。 \n 测试场景五：小程序开发 \n 这个场景核心考察任务规划和长程任务能力。 \n 提示词非常复杂：请模型担任全栈架构师和产品经理角色，帮生成一个类似菜鸟裹裹或顺丰的微信小程序，包含核心目标、详细需求（用户端功能模块如寄件、物品信息、地址、运费估算、网点查找、个人中心等）、技术战略框架要求，以及交付细节要求。 \n \n 混元三：将任务拆解为几块——作为可落地工程搭建，先建任务清单，按目录结构、数据结构、核心页面、后端API的顺序逐步生成真实文件，每个任务拆分非常清楚，并逐步更新进度。交付的HTML预览版包含寄件（可选地址、物品类型、克重、数量、实时运费估算并同步变化）、查快递、网点定位（可打电话、导航）、我的（地址簿、运单、在线客服）等功能，完成度非常高，基本无Bug。 \n Deep V4 PRO：任务拆解也很细，符合提示词逐层要求。功能页面完整：寄件、查件（派送中、已签收、已取消各状态）、物流详情、联系快递员、分享物流、网点、我的等。但在实际演示过程中出现物品类别选择栏链接错误等偶发Bug，虽然后来刷新后可用，但稳定性略逊。 \n GLM 5.1：任务拆解三步完成，交付的demo中用户可交互的功能较少，很多选项无法点击或选择，整体完成度较低。 \n \n 在复杂长程任务能力上，混元三与Deep V4 PRO并列领先，GLM 5.1表现相对较弱。 \n 性价比与时间对比 \n 横向比较生成时间和积分消耗。混元三目前免费使用，不显示积分消耗。Deep V4 PRO和GLM 5.1对比显示：GLM 5.1的积分消耗是Deep V4 PRO的2到4倍。各任务生成时间方面：财报分析约十分钟出头；3D跑酷约八九分钟；幻觉测试最快（2-3分钟）；元旦菜谱大几分钟；小程序因任务拆解和长程执行需求最耗时，接近20分钟。时间上三个模型基本相当，但积分为主的成本方面，GLM 5.1显著高于Deep V4 PRO。混元三因为参数量相对较小，定价应该也会比较实惠，具有较高的性价比。 \n 以上就是本次电话会议对混元三正式版与Deep V4 PRO及GLM 5.1在五个不同测试场景下进行的横向比较，希望能为各位投资者提供直观感受——当前混元三相比参数规模更大的模型，仍能呈现非常不错的能力。后续各位投资人如有任何问题，欢迎继续联系中信证券互联网组，谢谢。