决策模型正在从一个新概念变成模型、API和数据平台,都在发布的产品类别。
决策模型也称“System One模型”,以TypeSafe的Jev开始,在随后不到一个月内涌现出十余款模型,微软、AWS、Perplexity、Snowflake等厂商相继入场。
一时间,整个行业梦回“百模大战”,这样的速度即使在AI行业也罕见。
决策模型的兴起,本质上是将智能体的决策层从推理层中解耦出来。这一趋势背后的逻辑是,智能体在工作过程中会产生大量小型、重复性的决策,这些决策决定了Agent下一步动作,判断是否通过验证,以及路由到哪个模型或工具。
现实中,产生决策并不需要大模型复杂的推理能力,但却占据了大量调用次数和成本。决策模型正是为这类高容量、有边界的Agent决策而设计。
决策模型也为中国企业Agent落地送来了一场“及时雨”。
在光子星球与一线企业与大厂交流中了解到,数字化底子好的企业已经进入了AI切入工作流环节。现阶段,很多企业已经放弃了训练垂直大模型的想法,取而代之的是在融入业务逻辑基础上,解决各个业务环节卡点。
工单该分给谁,请求是否需要人工介入,当前步骤是否继续。Agent在工作流中产生的这类判断,在企业Agent场景中密度极高。
决策模型的出现,为这类判断提供了专门的执行层。
决策层独立
过去两年构建Agent的做法,是让通用大模型处理复杂推理到简单工具路由的所有环节。这种方式在Agent刚起步时存在合理性,一个模型解决所有问题,简单直接。
但当Agent真正跑起来后,瓶颈便开始暴露。因为在一个Agent任务里存在大量琐碎的判断,这些判断答案空间有限、调用量大还在关键路径上。用性能最好的通用大模型每做一次判断,任务的延迟就会按秒叠加,账单也会按Token不断增加。
决策模型在其中充当了执行判断的角色,不生成文本,只在给定一组固定选项时返回校准后的概率分数。以微软发布的Microsoft-Decision-1为例,模型支持是非题、选择题和评分选项,也支持依据评分标准评估AI回复和智能体操作。
把决策层从大模型中拆出来,意味着Agent工作流中的每一个判断节点都可以被独立优化。决策模型不会取代大模型,而是与之形成分工与共存的关系。通用模型负责需要复杂推理和生成的“重”任务,决策模型负责Agent工作流中大量“轻”的重复性判断。
这一分工背后的直接驱动力是成本和延迟。TypeSafe公布的数字显示,Jev的端到端延迟在70到500毫秒之间,比同类大语言模型快了20到200倍。
微软Decision-1在Xbox Research处理超过10000条反馈时,质量与GPT-6 Sol相当,速度提高14倍,成本降低200倍。这种差距在单次Agent调用中看不出来,只有在高频、连续的决策链条中才会显现。