自留意力机制造为 Transformer 模型的核心组件，其允许模型在处理序列数据时，对每个词地位的输入停止加权求和，得到一个全局的上下文表示。
在计算自留意力时，模型首先将输入序列停止线性变换，得到 Q（查询）、K（键）和 V（值）三个向量。
然后，经过计算 Q 和 K 的点积，并运用 Softmax 函数，得到每个地位的权重。最后，将权重与 V 向量相乘，得到自留意力的输入。
为提高模型的表达才能，Transformer 模型采用了多头自留意力机制，这意味着模型在同一工夫关注来自不同表示子空间的留意力信息。多头自留意力的完成方法是将输入序列分成多个组，每个组运用一个独立的权重矩阵停止线性变换，并计算自留意力。最终，自留意力的输入被拼接起来，并经过一个线性层得到最终的输入表示。
在计算自留意力和多头自留意力之后，Transformer 模型运用前馈神经网络对输入序列停止变换。前馈神经网络由多个全衔接层组成，每个全衔接层都运用 ReLU激活函数。前馈神经网络的作用是对输入序列停止非线性变换，以捕捉更复杂的特征。
1.2.2 AI 言语大模型关键技术
AI 言语大模型关键技术次要触及基于人类反馈强化学习、指令微调、模型提示等相关技术。
（1） 基于人类反馈强化学习
基于人类反馈强化学习(Reinforcement Learning from Human Feedback,RLHF)，是指将人类标注者引入到大模型的学习过程中，训练与人类偏好对齐的奖励模型，进而有效指点言语大模型的训练，使得模型可以更好地遵照用户意图，生成符合用户偏好的内容。 基于人类反馈强化学习详细包括以下几个步骤：
1）训练监督策略模型：运用监督学习或无监督学习的方法，对一个预训练的言语模型停止训练，经过给予特定奖励或惩罚引导 AI 模型的行为，使其可以根据给定的输入预测输入或行为。
2）训练奖励模型：让标记员参与提供有关模型输入结果的反馈，对模型生成的多个输入或行为的质量或正确性停止排名或评分，这些反馈被转换为奖励信号，用于后续的强化学习过程。
3）采用近端策略优化停止强化学习：先经过监督学习策略生成近端策略优化（PPO）模型，经过奖励机制反馈最优结果后，再将结果用于优化和迭代 PPO模型参数。详细而言，在 PPO 模型训练过程中，智能系统经过尝试不同的行为，并根据每个行为获得的奖励来评价其质量，智能系统逐渐改停止为策略。
基于人类反馈强化学习表示图
(, 下载次数: 0)
上传
点击文件名下载附件
（2） 指令微调
指令微调 (Instruction Tuning)，是一种协助言语大模型完成人类言语指令遵照的才能，在零样本设置中泛化到未知义务上的学习方法。指令微调是让言语大模型了解人类指令并按照指令要求完成义务，即在给定指令提示的状况下给出特定的回应。
指令微调可被视为有监督微调（Supervised Fine-Tuning，SFT）的一种特殊方式，但两者目的有所差别。SFT 是一种运用标记数据对预训练模型停止微调的过程，以便模型可以更好地执行特定义务，而指令微调是一种经过在（指令，输入）对的数据集上进一步训练大型言语模型（LLMs）的过程，以加强LLMs 的才能和可控性。指令微调的特殊之处在于其数据集的结构，即由人类指令和希冀的输入组成的配对，这种结构使得指令微调专注于让模型了解和遵照人类指令。 （3） 模型提示
经过大规模文本数据预训练之后的言语大模型具有作为通用义务求解器的潜在才能，这些才能在执行特定义务时能够不会显式地展现出来，在大模型输入中设计合适的言语指令提示有助于激发这些才能，称为模型提示技术。典型的模型提示技术包括指令提示和思想链提示。
指令提示（Instruction Prompt）。OpenAI 在 GPT-3 中初次提出上下文提示，并发现 GPT-3 在特定范畴少样本提示下可以达到人类程度，证明在低资源场景下非常有效。指令提示的核心思想是避免强迫言语大模型顺应下游义务，而经过提供“提示（Prompt）”来给数据嵌入额外的上下文以重新组织下游义务，使之看起来更像是在言语大模型预训练过程中处理的成绩。
思想链提示（Chain of Thought, CoT）。推理的过程通常触及多个推论步骤，经过多步推理允许产生可验证的输入，可以提高黑盒模型的可解释性。思想链是一种提示技术，已被广泛用于激发言语大模型的多步推理才能，被鼓励言语大模型生成处理成绩的中间推理链，相似于人类运用沉思熟虑的过程来执行复杂的义务。
在思想链提示中，中间自然言语推理步骤的例子取代少样本提示中的〈输入，输入〉对，构成〈输入，思想链，输入〉三元组结构。思想链被以为是言语大模型的“涌现才能”，通常只要模型参数规模增大到一定程度后才采用思想链才能。激活言语大模型的思想链才能方法，在提示中给出逐渐的推理演示作为推理的条件，每个演示都包含一个成绩和一个通向最终答案的推理链。
1.3 中国 AI 大模型产业发展市场驱动力
中国 AI 大模型产业发展源于多范畴的广泛需求，例如来自办公、制造、金融、医疗、政务等场景中降本增效、消费自动化、降低风险、提高诊断准确率、提高政务服务效率等诉求。相关范畴的创新和发展共同推进着中国 AI 大模型产业的蓬勃发展，预示着将来更广阔的市场前景。
1.3.1 办公场景
近年来，随着文字、语音、图像等处理才能跃迁，大模型摇身变为“助理”走入办公室和会议室，结合传统软件使得办公和会议智能化。
基于大模型的智能办公产品满足日常办公场景中文案生成、PPT 丑化、数据分析等各种需求。仅经过自然言语交互，用户便可将繁琐的文字、演示、数据处理工作交给“助理”，用节约的工夫做更有创意的事情。智能文档担任协助用户构建文章大纲、一键生成模板、生成内容、优化表达、处理和了解文档；智能演示承担自动排版丑化、生成演讲备注、一键生成幻灯片等义务；智能表格经过对话即可生成公式、数据批量处理、自动生成表格。
智能会议方面，大模型可从会议策划、同声传译、会议记录等各环节赋能。会议策划场景大模型根据会议主题等提示词，自动生成会议环节、会议分论坛、会议工夫、会议预算等残缺策划内容；
在大模型才能加持下，同声传译的准确性、及时性和多言语才能得到分明提升；经过大模型处理后，结构明晰、要点明白的会议记录结果使得会后回顾愈加高效。
1.3.2 制造场景
人工智能崛起引领制造行业的深入变革，改变研发设计、消费制造、供应链管理等流程。大模型+EDA/CAE/CAD，将传统研发设计软件效率进一步提升。大模型助力数字孪生和机器人，获得弱小的感知场景和执行义务才能。大模型交融供应链管理，完成工厂管理的智能化转型。
在研发设计阶段，以大模型+EDA 为例，应用云端扩展性完成设计自动化，并确保设计在电气方面准确无误，同时简化系统设计流程，延长 PCB 设计周转工夫。企业借此延长研发周期、降低研发成本、提升行业竞争力；消费制造中，应用 AIGC 和数字孪生技术，可模拟真实消费环境派出虚拟人代替工人停止风险、缺点排查，或是经过仿真设备操作场景，完成沉浸式作业教学。
拥有大模型功能的机器人仰仗机器视觉技术，可执行途径规划、物体辨认等义务；大模型集成于供应链管理系统中，能重构数字化办公流程，经过自然言语指令完成人机交互，推进企业停止更高效的管理决策、更便捷的数据分析与可视化，在需求端及时预测需求达到降本增效的目的，在仓库和物流端完成智能调度、智能跟踪和智能预警。
1.3.3 金融场景
金融行业存在前、中和后台的业务划分，在数字经济时代的浪潮中，相关业务已被大模型全局赋能提升效率。以银行为例，对话机器人、虚拟助理曾经逐渐出如今个性化服务、电子营销、金融欺诈检测、信贷支持等服务场景中。个性化服务方面，银行大模型以客户数据为根据，为客户提供定制的财务和产品计划；电子营销方面，大模型根据客户行为偏好生成个性化电子邮件；金融欺诈检测方面，大模型赋能专业人员检索大量数据辨认欺诈行为；信贷支持方面，大模型经过分析海量消费生活和信誉数据，为信贷部门人员生成高质量的信贷方案建议，减少银行贷款收益损失。
1.3.4 医疗场景
得益于近年来医疗大模型的不断迭代，复杂的医疗数据分析义务得以处理。由于患者行为数据的独特性，大模型经过个性化设计，满足患者“千人千面”的医疗服务需求，运用于智慧影像、智慧手术、智慧健康等范畴。智慧影像覆盖 CT、MR、DR、US、DSA、钼靶等医疗影像场景，为患者停止早期检测、诊断及健康风险评价；智慧手术功能大幅提高患者病情评价准确度，打牢术前风险评价、术中手术规划、术后预后估计的基础；智慧健康则作为普通患者的贴身健康助手，经过小程序等便捷方式为患者提供高质量导诊服务和个性化健康建议。
1.3.5 政务场景
在办公、制造、金融、医疗场景得到助力的同时，政务场景下的效率、信息参考范围、阅历共享、规范性等常见痛点也获得大模型才能加持得以处理。为提升效率，大模型应用自动化的政策检索、政策比对处理海量政策参考、人工分析比对的耗时成绩；为减少信息参考范围，政策撰写助手结合政策数据威望白名单，并接入政策全量库，避免不牢靠信息来源引发言论风险；为提高政策管理阅历共享，大模型引入政策阅历知识库，提升政务业务了解和政策管理才能；为规范政策撰写，政务大模型仰仗规范化生成、检查功能维护成果的规范性、威望性。
第二章 百舸争流：中国 AI 大模型产业现状及典型案例
2.1 AI 大模型次要特征
AI 大模型具有泛化性(知识迁移到新范畴)、通用性(不局限于特定范畴)以及涌现性(产生预料之外的新才能)特征。
以 ChatGPT 为代表的 AI 大模型因其具有巨量参数和深度网络结构,能学习并了解更多的特征和形式,从而在处理复杂义务时展现弱小的自然言语了解、意图辨认、推理、内容生成等才能,同时具有通用成绩求解才能,被视作通往通用人工智能的重要途径。
AI 大模型的三大特征：泛化性、通用性、涌现性
(, 下载次数: 0)
上传
点击文件名下载附件
2.2 AI 大模型次要类型
按照部署方式划分，AI 大模型次要分为云侧大模型和端侧大模型两类。云侧大模型由于部署在云端，其拥有更大的参数规模、更多的算力资源以及海量的数据存储需求等特点；端侧大模型通常部署在手机、PC 等终端上，具有参数规模小、本地化运转、隐私保护强等特点。
详细而言，云侧大模型分为通用大模型和行业大模型；端侧大模型次要有手机大模型、PC 大模型。从云侧大模型来看，通用大模型具有适用性广泛的特征，其训练数据涵盖多个范畴，可以处理各种类型的义务，普适性较强。
行业大模型具有专业性强的特点，针对特定行业（如金融、医疗、政务等）的需求停止模型训练，因此对特定范畴具有更深的业务了解和场景运用才能。从端侧大模型来看，手机和 PC 大模型由于直接部署在设备终端，让用户体验到愈加个性化和便捷的智能体验。
AI 大模型次要分为云侧大模型和端侧大模型两类
(, 下载次数: 0)
上传
点击文件名下载附件
当前，我国 AI 大模型产业呈现蓬勃发展的态势。伴随多家科技厂商推出的AI 大模型落地商用，各类通用、行业以及端侧大模型已在多个范畴获得了分明的成果，如在金融、医疗、政务等范畴，AI 大模型已成为提升服务质量和效率的重要手腕。
我国具有代表性的通用 AI 大模型次要包含科大讯飞的讯飞星火认知大模型、百度公司的文心一言大模型、阿里巴巴的通义千问大模型等；行业AI 大模型次要涵盖蜜度的文修大模型、容联云的赤兔大模型、用友的 YonGPT 大模型；同时具有云侧和端侧大模型的端云结合 AI 大模型次要有 vivo 的蓝心大模型；端侧 AI 大模型次要以蔚来的 NOMI GPT 大模型为代表。
中国 AI 大模型分类及典型案例