基于AI大模型的智能座舱技术概述与案例解析

0qCf · 发表于 2025-2-14 23:04:42

智能座舱是新能源汽车智能化的主要构成部门，也是提拔汽车用户体会的中心因素。颠末对于大批实在数据的锻炼，AI年夜模子能够主动识别驾驭员战搭客的多模态举动战需要，供给越发智能化战本性化的接互体会。

智能座舱是新能源汽车智能化的主要构成部门，也是提拔汽车用户体会的中心因素。跟着汽车止业的电气鼓鼓化、网联化、同享化战主动化的开展趋势，智能座舱的手艺立异战商场需要不竭增加。

2020 年，环球智能座舱商场范围到达1 389亿元（195亿美圆），估量到2025 年将增加至2 444 亿元（343 亿美圆），复开年增加率达11.8%。智能座舱不但能够供给舒适的驾乘情况，借能颠末望觉、听觉、触觉等多种感民通讲，完毕天然、下效的疑息交流。

目前，海内内科技公司战车企正在多模态接互手艺上得到了必然的功效。baidu、华为、腾讯战科年夜讯飞等公司均拉出了狂言语模子，用于语音掌握、脚势识别、脸部识别等接互场景。可是，现有钻研年夜多集合正在简单模态的接互上，多模态融合接互的钻研绝对较少。别的，正在完毕智能座舱下效多模态疑息处置的共时提拔用户趁心度，还是亟待处置的成就。

原文提出了鉴于AI 年夜模子的智能座舱多模态接互手艺框架，体系性天钻研了多模态接互的中心手艺战使用案例。颠末对于大批实在数据的锻炼，AI年夜模子能够主动识别驾驭员战搭客的多模态举动战需要，供给越发智能化战本性化的接互体会。原文阐发了现有手艺的劣势战不敷，会商了AI年夜模子正在智能座舱中的使用后劲战未来开展标的目的，为汽车止业的智能化供给新的启迪。
01多模态接互手艺概括

1.1 多模态接互手艺框架

多模态接互是指使用多种感民通讲，完毕人取车、车取车、车取中界的疑息交流。多模态手艺框架由感知层、理解层、掌握层战表示层构成，如图1 所示。感知层收罗战处置多模态输出旌旗灯号，将其变换为特性背质。理解层阐发战融合多模态特性背质，提炼语义疑息，建立多模态语境模子。掌握层按照多模态语境模子，天生掌握指令，完毕智能掌握。表示层按照掌握指令，天生多模态输出旌旗灯号，完毕多模态反应战接互。

鉴于AI年夜模子的智能座舱手艺概括取案例剖析w3.jpg

图1 多模态接互手艺框架
1.2 感知理解手艺

感知理解手艺使用计较机望觉、天然语言处置和死物识别等手艺，对于多模态输出旌旗灯号截至操纵，完毕对于人的多模态举动的感知战理解，其主要包罗语音识别手艺、图象识别手艺、脚势识别手艺战死物识别手艺4个圆里。

（1）语音识别手艺。语音识别手艺是将语消息号变换为文原或者号令的手艺，是最经常使用的输出方法，主要包罗声教模子、语言模子、辞书息争码器，担当将语消息号变换为音艳序列，计较出音艳序列对于应的词汇序列的几率，供给音艳战词汇之间的对于应干系，搜刮最劣的词汇序列动作识别成果。其面对的主要挑战是处置语消息号中的噪声、心音、圆行、语调和感情等因素，提拔精确性战鲁棒性。

（2）图象识别手艺。图象识别手艺是将图象旌旗灯号变换为标签或者描绘的手艺，是最直觉的输出方法，主要包罗图象分类、图象朋分、目标检测、人脸识别和场景理解等任务，担当将图象分派到种别中，将图象分别为语义地区，定位战识别目标，鉴别人脸的身份或者属性，描绘息争释场景。其面对的主要挑战是处置图象旌旗灯号中的光照、遮拦、变形和布景滋扰等因素。

（3）脚势识别手艺。脚势识别手艺是将脚势旌旗灯号变换为号令或者掌握的手艺，是最天然的输出方法，主要包罗脚势检测、脚势追踪、脚势分类战脚势注释，担当定位脚部的职位，追踪脚部的活动轨迹，将脚势分派到种别中，按照脚势的语义，天生号令或者掌握。其面对的主要挑战是处置脚势旌旗灯号中的庞大布景、快速活动、遮拦、自类似等因素。

（4）死物识别手艺。死物识别手艺是使用人的死物特性，截至身份认证或者形状监测的手艺，是最宁静的输出方法，主要包罗特性提炼、特性匹配、特性革新战特性融合[14]，担当从死物旌旗灯号中提炼特性背质，将特性背质取数据库中的特性截至比对于，按照死物旌旗灯号的变革，革新数据库中的特性，使用多种死物特性，进步识别的精确性战鲁棒性。其面对的主要挑战是处置死物旌旗灯号中的噪声、假造、老化和滋扰等因素。

1.3 智能掌握手艺

智能掌握手艺是使用机械进修、劣化算法、掌握实践等手艺对于多模态语境模子截至阐发战决议计划，天生掌握指令，完毕智能掌握。其主要包罗企图识别手艺、举动计划手艺和感情识别手艺3个圆里。

（1）企图识别手艺。企图识别手艺是鉴别驾驭员或者搭客的企图或者需要的手艺，是最主要的掌握手艺，其主要包罗企图修模、企图拉理、企图猜测战企图反应，别离担当建立企图的观点构造战语义干系，按照多模态语境模子，揣度出最可以的企图，按照汗青数据战及时数据，猜测出未来可以的企图，使用多模态输出旌旗灯号，反应企图识别的成果，进步接互的可托度战趁心度。

（2）举动计划手艺。举动计划手艺是天生满意驾驭员或者搭客需要的举动序列的手艺，是最中心的掌握手艺，主要包罗举动修模、举动搜刮、举动评介战举动施行，担当建立举动的形状空间战行动空间，搜刮最劣或者次劣的举动序列，对于举动序列截至评介战劣化，将举动序列变换为掌握指令，完毕智能掌握。

（3）感情识别手艺。感情识别手艺是鉴别驾驭员或者搭客的感情形状战偏向的手艺，是最人性化的掌握手艺，主要包罗感情修模、感情分类、感情天生战感情适应，担当建立感情的暗示方法战计较模子，将多模态语境模子中的感情疑息分派到感情种别中，按照给定的感情种别或者感情背质，天生多模态输出旌旗灯号，使感情识别手艺能够适应差别的个别战场景。

02AI年夜模子正在多模态接互中的使用案例战结果评介

AI 年夜模子是指具备强大的进修战泛化才气的野生智能模子，能够处置天然语言、望觉、语音、智能举荐等多个范围的任务。AI 年夜模子正在多模态接互中的使用案例战结果评介涵盖了多个范围，主要包罗智能座舱、智能调理、智能教诲、智能野居、智能娱乐等。那些范围代表了多模态接互手艺正在差别使用场景中的典范真例战理论结果。

2.1 使用案例

baidu、华为、腾讯战科年夜讯飞的狂言语模子颠末天然语言处置、语音识别、望觉识别战多模态融合等手艺，清楚提拔了智能座舱的本性化效劳战用户接互体会。上述模子正在智能驾驭、导航、娱乐战掌握体系中展示了强大的使用后劲战百般化的功用，完毕了更天然、下效的智能接互。

2.1.1 baidu狂言语模子的使用

baidu研收的文心系列狂言语模子，主要包罗文心一行、文心一识和文心一悟。该系列通用预锻炼模子鉴于海质数据，撑持天然语言理解战天生、常识图谱建立战对于话体系等多个任务。正在智能座舱手艺范围，baidu的狂言语模子已经完毕了理论使用。如baidu智能驾驭仄台Apollo 颠末散成狂言语模子，完毕了多模态接互功用，包罗语音、脚势、脸部识别、表情识别等，可供给本性化效劳如导航、娱乐战宁静等。baidu智能小度车载版颠末狂言语模子完毕了语音接互功用，包罗语音识别、分解、理解战对于话，为智能座舱供给多功用语音掌握，退一步增强驾驭便利性战舒适性。

2.1.2 华为狂言语模子的使用

华为的狂言语模子（如TinyBERT、EZHA 战PET）正在智能座舱手艺范围展示出强大的使用后劲。华为HiCar使用狂言语模子完毕了望觉接互功用，包罗人脸识别、脚势识别、表情识别战眼动识别，供给本性化的导航、娱乐战宁静效劳。华为智能眼镜颠末狂言语模子的眼动识别、追踪、掌握战反应功用完毕了多模态掌握，可撑持疑息娱乐战驾驭帮助等功用。华为智能音箱战智妙手表动作软件末端，使用多模态融合功用分析使用语音、脚势战心理旌旗灯号等输出旌旗灯号，供给天然、友好战下效的多模态反应战接互。上述使用展示了华为狂言语模子正在智能座舱中的普遍使用，清楚提拔了多模态接互的功用战用户体会，使智能座舱能够更佳天理解战响使用户需要，供给越发本性化战智能化的效劳。

2.1.3 腾讯狂言语模子的使用

腾讯的狂言语模子包罗Tencent AI Lab Machine Reading Comprehension（TALMRC）、Tencent AI Lab Neural Network Intelligence （TANNI）战Tencent AI Lab Open Domain Question Answering（TALODQA）等。那些模子动作通用预锻炼模子，颠末海质数据锻炼，能够处置天然语言理解、天然语言天生、常识图谱战对于话体系等多任务。

宁可他狂言语模子比拟，腾讯模子正在智能座舱中的使用具备共同劣势。正在语音接互圆里，腾讯的狂言语模子表示优良，能够完毕智能座舱的语音识别、分解、理解战对于话功用。其下粗度的语音识别手艺能精确捕获驾驭员战搭客的语音指令并天生天然的语音复兴，满意车内乱疑息娱乐、驾驭帮助、车内乱掌握战车联网等多种需要。腾讯微疑车载版战腾讯QQ 音乐车载版是其正在语音接互圆里的典范使用案例。

别的，腾讯的狂言语模子借正在多模态融合圆里展示出强大功用。颠末分析使用语音、图象、望频、脚势战心理旌旗灯号等多种输出，能够完毕建立庞大的多模态语境模子，天生多模态举动掌握战反应。那使智能座舱不但能够理解庞大的多模态输出，借能天生最劣或者次劣的举动序列，截至智能化的车辆战内部情况掌握。腾讯智能导航战腾讯智能娱乐是其正在多模态融合圆里的使用案例，展示了腾讯狂言语模子正在供给智能化战本性化用户体会上的出色才气。

腾讯狂言语模子正在智能座舱中不但能够供给精确的语音接互，借能颠末多模态融合手艺，供给越发天然、友好战下效的智能接互体会。

2.1.4 科年夜讯飞狂言语模子的使用

科年夜讯飞的狂言语模子，包罗讯飞狂言语模子、讯飞年夜常识图谱战讯飞年夜对于话体系，是一套功用全面的通用预锻炼模子，能够处置天然语言理解、天然语言天生、常识图谱战对于话体系等多种任务。

正在智能座舱范围，科年夜讯飞的狂言语模子的使用展示了其宁可他模子的清楚区分战共同劣势。起首，正在语音接互圆里，科年夜讯飞的手艺凭仗其下效的语音识别、分解、理解战对于话才气，能够完毕精确的语音指令识别战天然的语音复兴，撑持车内乱疑息娱乐、驾驭帮助、车内乱掌握和车联网等多功用掌握。比方，科年夜讯飞智能驾驭仄台战科年夜讯飞智能音箱颠末其先辈的语音接互手艺，提拔了车主的驾驭体会战操纵便当性。

正在多模态融合圆里，科年夜讯飞的狂言语模子则展示了其共同的分析处置才气。其能够调整语音、图象、望频、脚势战心理旌旗灯号等多模态输出，建立庞大的多模态语境模子，从而天生最劣的举动序列，以智能化天掌握车辆战内部情况。科年夜讯飞的智能导航战智能娱乐体系使用那一才气，完毕了多模态语境理解战反应天生，使患上智能座舱能够按照用户的多种输出需要，供给更加精确战本性化的效劳。

科年夜讯飞狂言语模子的这类多模态融合手艺，不但增强了智能座舱的接互功用，借提拔了用户体会的天然性战智能化水平，宁可他模子比拟，展示了其正在处置庞大多模态疑息战供给下度本性化效劳上的清楚劣势。

2.2 使用结果评介

从评介数据散、评介模子及评介目标3 个圆里入手对于各语言模子截至评介。评介办法包罗保证模子处置多种模态的才气、接互场景的普遍适应性和计较战保存的下效功用。评介目标则存眷模子正在多模态接互中的精确性、天然性、流畅性及其余枢纽因素。

2.2.1 评介办法

评介模子是指用于评介AI年夜模子的模子，其该当具备如下特性：（1）能够处置多种模态的输出战输出旌旗灯号，如语音、图象、望频、脚势、心理旌旗灯号等；（2）能够完毕多种接互场景战任务，如智能座舱、智能调理、智能教诲、智能野居和智能娱乐等；（3）具备强大的进修战泛化才气，能够适应多模态接互的庞大性战百般性；（4）具备下效的计较战保存功用，能够满意多模态接互的及时性战颠簸性。

2.2.2 评介目标

评介目标是指用于评介AI 年夜模子的具体目标，该当具备如下4 个特性：（1）反应多模态接互的中心因素，如精确性、流畅性、天然性、友好性、下效性等；（2）反应多模态接互的差别条理，如感知层、理解层、掌握层、表示层等；（3）反应多模态接互的差别角度，如主观性、主观性、分析性等；（4）反应多模态接互的差别维度，如功用性、可用性、可靠性和可趁心度。

2.2.3 年夜模子评介成果

从表1 中能够瞅出，baidu、腾讯、科年夜讯飞、华为的狂言语模子正在图象描绘、VQA、图象天生任务中均具备较佳的表示，但是正在差别的目标上有所差别。baidu的狂言语模子正在图象描绘战图象天生任务上的BLEU-4 战FID 分数皆最下，分析其天生的图象描绘战图象品质皆最靠近实在数据。华为的狂言语模子正在图象描绘战VQA 任务上的BLEU-4 战精确率分数仅次于baidu，分析其对于图象的理解战天生才气也很强。腾讯的狂言语模子正在图象描绘战VQA 任务上的BLEU-4 战精确率分数略高于baidu战华为，但是正在图象天生任务上的FID 分数仅次于baidu，分析其天生的图象品质也较下。科年夜讯飞的狂言语模子正在所评介的3 项任务中的目标分数偏偏高，其正在图象范围的使用水平另有进步空间。

表1 各支流年夜模子评介比照

鉴于AI年夜模子的智能座舱手艺概括取案例剖析w4.jpg

注：望觉问问（Visual Question Answering, VQA）；单语评介替换目标（Bilingual Evaluation Understudy 4, BLEU-4）；弗雷歇嵌进距离（Fréchet Inception Distance, FID）
03
挑战战瞻望

AI 年夜模子正在智能座舱多模态接互中的使用展示出弘大的后劲战代价，但是也面对一系列挑战战成就，需要连续不竭的根究战立异，以完毕更劣的结果战用户体会。原节将具体会商AI年夜模子面对的挑战，并瞻望未来的开展标的目的。

3.1 AI年夜模子赋能智能座舱多模态接互的挑战

起首，模子锻炼战布置是AI年夜模子使用中主要挑战之一。锻炼战布置AI 年夜模子需要大批的多模态数据，包罗语音、图象、望频战脚势等。数据的获得战处置是一个庞大的历程。模子的设想战劣化是保证模子能够有用处置差别模态的数据并正在多种接互场景中展示优良功用的枢纽。别的，应思考模子的革新战迁徙战略，适应多模态接互的不竭变革战开展，进而连结模子的功用温顺应性。

其次，模子的可注释性战可托率性是AI年夜模子使用的另外一个主要挑战。AI 年夜模子的内部体制战逻辑必需具备通明度，以就用户能够理解模子的决议计划历程。模子的内部表示战结果也需颠末具体评介，保证其输出的品质战结果契合预期。那些因素间接作用到模子正在多模态接互中的有用性战用户信赖度。

3.2 AI年夜模子赋能智能座舱的瞻望

瞻望未来，AI年夜模子正在智能座舱中的使用远景宽广，需正在数据同享、模子本性化等圆里不竭立异战实践。起首，数据同享战配合将成为提拔AI年夜模子功用的枢纽。颠末尺度化战标准化数据格局，能够进步数据的获得战处置服从。共时，数据散成战融合将增强疑息的品质战全面性，为智能座舱供给越发丰硕战精确的效劳。别的，数据的阐发战开掘能够提醒数据中的有效疑息，并撑持跨范围战跨模态的融合阐发。那不但能够提拔用户体会，借能颠末可望化手艺直觉显现阐发成果，但是需重视数据品质、宁静性战模子的可扩大性成就。

其次，模子本性化战定造化将退一步提拔智能座舱的接互结果。颠末对于用户截至修模战绘像，能够理解用户的特性战偏偏佳，从而完毕本性化的适应战劣化。模子的用户接互战定造化功用将使AI 年夜模子能够更佳天满意用户的具体需要，进而提拔部分的接互体会。完毕那些目标需要存眷模子的活络性、鲁棒性和用户反应，保证其适应差别的用户战情况变革。

04完毕语

原文钻研提醒了AI 年夜模子正在智能座舱多模态接互中的潜伏劣势战使用趋势，大白了其能够清楚提拔接互体会战处置服从。颠末深入阐发，归纳了目前使用中面对的主要挑战，如数据处置战模子的可托率性，并提出了未来正在数据同享、本性化定造等圆里的钻研标的目的，为促进智能座舱范围的连续开展供给了实践根底战实践参照。

固然原文深入会商了AI 年夜模子赋能智能座舱的多个圆里，但是仍存留一点儿不敷的地方。起首，目前的钻研正在理论使用中的数据收罗战处置的细节仍有待完美，出格是正在面临数据隐衷战宁静成就时。其次，模子的泛化才气温顺应性正在差别情况下的表示还没有获得充实考证。未来的钻研应重心存眷那些已处置的成就，根究越发下效的数据处置战庇护体制，和进步模子的鲁棒性温顺应性。别的，未来钻研借需要退一步会商怎样颠末立异算法战手艺提拔AI 年夜模子的可注释性战用户信赖度，进而促进智能座舱多模态接互手艺的开展。

作家 | 邓修明

滥觞 | 智能汽车设想

鉴于AI年夜模子的智能座舱手艺概括取案例剖析w5.jpg