蔚来汽车：基于NomiGPT的车载人工智能方案

2025年3月20日，在第三届AI定义汽车论坛上，蔚来汽车数字座舱总监雷鸣介绍，蔚来汽车座舱内的智能助理Nomi被定义为懂用户的情感伙伴，具有自然拟人交互、贴心可靠帮手、专属情感伙伴三大特性。其技术框架涵盖隐私安全、原子能力、异构算力等底层支撑，通过多模感知大模型、认知底座、认知中枢大模型及交互界面，实现高效交互，具备语音免唤醒、多人自由说等特色功能。

在大模型时代，Nomi结合新技术持续进化。团队推出多智能体框架，将座舱核心体验 agent化，涵盖知识类、生成类、任务类等多种场景，如用车问答、表情生成、福利查询等，提升用户体验。

蔚来汽车 数字座舱总监

以下为演讲内容整理:

Nomi智能助理:蔚来汽车座舱智能化的核心力量

在汽车智能化发展的浪潮中，蔚来汽车积极探索创新，打造的数字座舱对话助理Nomi，成为了提升用户体验的关键一环。Nomi被定义为“懂你的情感伙伴”，这一定位赋予了它独特的使命，即通过先进的交互技术，为用户提供自然、贴心且个性化的服务，在用户与汽车之间搭建起情感沟通的桥梁。

Nomi具备三大核心特性。自然拟人的交互是其显著特征之一，借助语音、视觉及多模感知技术，Nomi能够实现与用户自然流畅的沟通，为用户带来仿若人与人交流般的体验。在语音交互方面，它能精准识别不同用户的声音，理解各种复杂指令；在视觉交互上，通过独特的表情展示和灵动视窗，给予用户生动形象的反馈，让交互充满温度。

图源:蔚来汽车

作为贴心可靠的帮手，Nomi在车内功能操控和服务提供上发挥着重要作用。它不仅可以熟练地完成车辆的各种控制操作，如调节座椅、控制车窗、设置导航等，还能为用户提供丰富的生活服务，如查询天气、预订餐厅、播放音乐等，满足用户在车内的多样化需求，成为用户的得力助手。

专属的情感陪伴是Nomi的一大亮点。它能根据用户的使用习惯和偏好，提供个性化的服务和情感关怀。无论是根据用户的心情播放合适的音乐，还是在特殊日子送上温馨的祝福，Nomi都能让用户感受到专属的温暖，为漫长的旅途增添乐趣。

在大语言模型时代来临之前，蔚来团队就已在情感体验方面进行了诸多探索与实践。从2018年的自定义唤醒词开始，陆续推出了情感对话能力、连续对话、灵动音色等功能，不断丰富和优化Nomi的服务体验。到2024年，Nomi已经具备了全舱免唤醒、一句话多指令、记事备忘等强大功能，在情感交互和功能实现上走在了行业前列，为用户带来了领先的情感体验。

随着LLM技术的快速发展，Nomi面临着新的机遇与挑战。如何将先进的大模型技术融入自身，提升服务能力和交互效果，成为蔚来团队思考的关键问题。这不仅需要在技术框架上进行创新，更要在产品模式适配上做出深入探索，以确保Nomi在新的技术浪潮中持续为用户创造价值。

NomiGPT技术框架

NomiGPT技术框架是蔚来汽车为实现Nomi智能化升级而构建的核心架构，它整合了多种先进技术，旨在为用户提供更高效、智能的交互体验。该框架从底层基础到上层应用，涵盖了多个关键层面。

底层支撑包括隐私安全、原子能力和异构算力。在隐私安全方面，蔚来高度重视大模型的安全对齐和用户隐私保护，采用先进的加密技术和安全机制，确保用户数据的安全存储与传输。原子能力层集成了丰富的基础功能，涉及车辆控制、手机互联、蔚来特色服务，这些原子能力为Nomi实现多样化的功能提供了有力支持。异构算力则由云端和车端的算力共同构成，通过合理调配，为大模型的稳定运行和高效服务提供强大的计算保障。

中间层是Nomi的核心处理区域，包括多模感知大模型和认知中枢大模型。多模感知大模型通过语音、面部、触控、手势等多种方式感知用户和周围环境，收集丰富的信息。它不仅能识别用户的语音指令和面部表情，还能感知车辆的状态、周围的物品以及环境信息，为后续的决策提供全面的数据支持。认知中枢大模型则负责深度理解用户的请求，通过与多模感知大模型的协同工作，结合用户的记忆、偏好和当前情境，做出准确的决策，并将决策转化为具体的执行指令。

Nomi的交互界面具备多项突出特性。语音免唤醒功能让用户无需频繁唤醒Nomi，即可直接下达指令，大幅提升了交互效率；多人自由说支持不同音区的多个人同时进行对话，打破了传统交互的限制，使交互更加自然流畅；一句话多指令功能让用户能够在一条指令中表达多个需求，Nomi可以准确识别并依次执行，极大地提高了操作的便捷性。灵动视窗则为用户提供了丰富的信息展示方式，通过生成式交互框架，能够根据用户的需求和场景，展示多样化的内容，如地图导航、音乐播放信息、车辆状态等，实现信息的多元展示。

Nomi Agents多智能体框架是NomiGPT技术框架的重要创新点。在这个框架中，不同的智能体承担着不同的功能，协同工作以满足用户的各种需求。知识类Agent包括用车问答和大模型百科，用车问答可以解答用户关于车辆操作、信息查询等方面的问题，大模型百科则利用大模型的知识储备，为用户提供广泛的知识和信息，如百科问答、出行攻略、学习创作等。生成类Agent基于大模型的能力，实现表情生成、专属歌单生成等功能，为用户带来个性化的体验。任务类Agent包括探索发现、停车助手、守卫和服务管家等。探索发现可以帮助用户发现生活好去处，解答车外事物的疑问；停车助手能够根据用户的需求，寻找合适的停车场；守卫负责总结车辆的守护信息，保障车辆安全；服务管家则基于事件自主预约服务，支持一语下单，为用户提供便捷的服务。

图源:蔚来汽车

这些智能体通过记忆、规划和行动等环节相互协作。它们具备短期记忆和长期记忆功能，能够记住用户的偏好和历史操作，为个性化服务提供依据；在规划方面，通过思考和自我反思(reflection)，智能体可以制定合理的任务执行计划；行动环节则负责具体的操作，如车辆控制、地图导航、媒体播放等。

未来展望:AI技术驱动下的汽车座舱变革

随着AI技术的不断发展，汽车行业正迎来深刻的变革。在未来，AI-OS将成为汽车智能化的核心操作系统。AI-OS是面向AI重新设计的整车操作系统，它基于微内核构建，具备高安全、强可靠性、强实时性和高性能等特点。通过系统虚拟化平台、自研核心中间件以及融合资源调度等技术，AI-OS能够实现车-端-边-云协同，打通不同功能域，构建数据闭环，为AI应用提供理想的运行环境。

图源:蔚来汽车

基于AI-OS的AI Car，将为用户带来AI原生体验。它拥有大算力、高带宽和低延迟的优势，能够快速处理大量数据，实现各种复杂的功能。同时，AI-OS支持车辆的持续进化，通过软件升级不断优化系统性能和功能，满足用户日益增长的需求。跨域融合是AI-OS的重要特性，它打破了传统汽车系统中各个功能域之间的界限，实现了信息的共享和协同，提升了整体的智能化水平。

多模态端到端交互是未来人机交互的发展方向，也是Nomi持续进化的重点。它融合了多模感知、人机交互、决策能力和软硬结合等要素。多模感知让车辆能够更全面地感知用户和环境信息，人机交互则致力于打造更加自然、便捷的交互方式，决策能力使车辆能够根据感知到的信息做出准确的判断和决策，软硬结合确保了系统的高效运行。这种多模态端到端交互模式，将为用户提供更加智能、流畅的交互体验，使车辆能够更好地理解和响应用户的需求。

在AI技术的支持下，汽车座舱将成为具身智能的最佳载体。汽车具备丰富的传感器和执行机构，能够与周围环境进行实时交互。通过AI技术，汽车可以实现环境感知、自主决策和行动执行，具备类似人类的智能行为能力。例如，车辆可以根据路况和驾驶环境自动调整驾驶模式，提供更加安全、舒适的驾驶体验。

Agent/Multi-Agent开发范式及生态将在汽车领域得到广泛应用。Nomi的多智能体框架就是这一范式的实践体现，未来，随着更多智能体的开发和应用，汽车座舱的功能将更加丰富和个性化。不同的智能体可以根据用户的需求和场景，协同工作，为用户提供全方位的服务。同时，这一生态的发展也将促进汽车行业与其他领域的融合，推动整个产业的创新发展。

汽车作为AI的最佳落地场景，具备高频长时间陪伴和无处不在的触点的优势。Nomi作为AI情感伙伴，将在这一场景中充分发挥其核心价值。通过持续的技术创新和优化，Nomi将不断提升用户体验，为用户提供更加智能、贴心、个性化的服务。

蔚来汽车将继续围绕NomiGPT技术框架，不断探索和创新。通过加强与其他领域的合作，引入更多先进技术，进一步提升Nomi的智能化水平和服务能力。同时，蔚来也将积极参与行业标准的制定，推动汽车智能化行业的健康发展，为用户创造更加美好的智能出行未来。

郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。