9月17日,豆包与火山引擎联合发布豆包座舱助手。首款搭载车型荣威家越07计划于9月21日开启预售。发布前夕,我们在一辆仍处于测试阶段的家越07里,让豆包找拍照好看的地方,随后改成文艺街区,又接着问停车和吃饭。车内豆包随我们需求变化调整推荐地点,最后启动了去餐厅的导航。
整个过程没有一条完整的指令。目的地是在几个人的否定、补充和改变主意中逐渐形成的。几次插话之后,它仍然记得目的地、被否定过的选项,以及还有哪件事没有处理完。之所以能做到这些,是因为豆包座舱助手是基于大模型“理解、执行、反馈”的闭环而不是基于规则去调用车辆功能。
大模型上车已经两年多。多数车企先让它聊天、搜索、画画,车机更博学,也更像人。但人在车里更多需要的是控制车辆、到达目的地,这就需要有调动起全车功能的能力。此前理想、特斯拉等车企较早开始借助大模型让用户用自然语言调用车内功能。比如理想i8上市搭载的那一版本理想同学听到用户说“肩膀冷”“胸口热”就能调节电动出风口。
“根据我们的规划,到年底时,豆包座舱助手会像人一样思考、基于目标持续地办事。”火山引擎副总裁杨立伟说今年北京车展期间对我们说。现在目标兑现,火山引擎希望把对话、记忆和执行结合起来,让豆包座舱助手开启大模型上车的下一步:让汽车开始适应人的表达、习惯和不断变化的需求。
从理解一句话,到持续完成任务
汽车装上大屏,功能的复杂性并没有随之消失。空调风向、座椅腰托、驾驶模式……上千个功能从实体按键进入触摸菜单,语音成为与触屏并列的主要入口,智能座舱越来越像一台移动终端。但它的核心交互原则没有变:用户需要精确发出功能指令。
这些也是车载助手最常处理的事情。今年4月,杨立伟向我们介绍,当时汽车端豆包大模型的日常调用中,车控占53%,导航占29%。
单一动能比如启动回家导航,点一下屏幕或者声控“导航回家”,不需要大模型泛化能力。但如果几件操作同时发生——上车通电、调整空调和座椅、导航目的地、回应家人——大模型上车的价值显现,将人的自然语言表达对应到车辆的确定功能。
相关人士告诉我们,家越07上的豆包座舱助手没有写规则,判断全部由模型完成。
在我们的体验中,说“感觉这个风一直对着我脸吹”,豆包降低风量、关上车窗,随后将主驾出风口改成避人吹。
这需要它同时了解车上有什么功能、此刻是什么状态,以及用户过去怎么选择。今年4月,火山引擎智能座舱产品负责人张航向我们回忆,团队从2023年开始尝试让大模型调用车内功能,可控制接口从100多个扩展到1000多个,此后又接入车速、温度、电量、车窗开合等信息。