职贝云数AI新零售门户

标题: 构建AI大模型运用技术栈有哪些？ [打印本页]
作者: HKPW0    时间: 3 天前
标题: 构建AI大模型运用技术栈有哪些？
[
(, 下载次数: 0)


摘要：随着人工智能技术的飞速发展，AI大模型曾经成为推进各行各业技术革新的关键力气。本文将深化讨论AI大模型的核心技术栈的构建，以及不同技术组件的关键作用。
(, 下载次数: 0)


01
—
AI大模型运用的核心技术栈
为了开发一个AI大模型的运用，我们需求哪些必要的组件来完成相关开发了，下图是AI大模型的运用的核心技术栈。
(, 下载次数: 0)


核心技术栈中次要包含的内容是大模型管理（通用大模型、范畴公有化的微调大模型、工具型大模型）。微调的数据仓库，以及后期反馈的数据存储到微调数据仓库。提示词工程管理常见的提示词内容，湖仓一体为存储原始数据和向量数据的地方。而开发的智能体的运用则包含记忆功能，工具库，text-to-sql，AI agent 和RAG.后面详细引见每一部分在全体运用中的作用。假如从运用的业务流程下去引见一个残缺的智能运用，如下图所示：
(, 下载次数: 0)


1、将文档数据，图片数据的元数据信息，文章内容总结、文章段落等向量化
2、将以上信息全部存储到向量数据库中，例如ES中
3、用户发起发问
4、智能Agent调用大模型
5、大模型语以了解后，经过调用合适的提示词工程构成一个完善的提示词，并停止参数格式化。
6、假如有专业范畴知识内容，则进入到向量数据库中停止婚配。婚配内容前往到agent中。
7、AIagent 将提示词工程拆分成多个子义务，能够子义务需求调用公有模型或者插件
8、插件即为集成的各种工具API，便于完成全体的义务。
9、一切义务完成之后前往到agent中，agent将结果前往给用户。
这里需求阐明一下为什么大模型有三种状况：
在人工智能范畴，"大模型"通常指的是具有大量参数的复杂模型，它们可以处理和了解大量数据，并在特定义务上表现出色。根据它们的运用范围和功能，大模型可以被分为以下几种类型：
选择哪种类型的大模型取决于详细的运用需求、可用的数据、预期的功能和资源限制。在实践运用中，这些模型也可以互相结合，以完成更片面和高效的处理方案。例如，一个范畴特定的工具大模型能够运用通用大模型作为其基础，然后针对特定义务停止定制和优化。
(, 下载次数: 0)


02
—
关键步骤的关键作用

(, 下载次数: 0)

提示词工程
提示词工程（Prompt Engineering）是一种在人工智能范畴，特别是在自然言语处理（NLP）中运用的技术，它触及到设计和优化用于激发或引导AI模型输入特定类型回答的提示或成绩。在基于Transformer的模型如GPT（生成式预训练转换器）中，提示词工程尤为重要，由于这些模型通常经过大量的文本数据停止预训练，可以根据输入的提示生成文本。
(, 下载次数: 0)


提示词工程（Prompt Engineering）是一种在人工智能范畴，特别是在自然言语处理（NLP）中运用的技术，它触及到设计和优化用于激发或引导AI模型输入特定类型回答的提示或成绩。在基于Transformer的模型如GPT（生成式预训练转换器）中，提示词工程尤为重要，由于这些模型通常经过大量的文本数据停止预训练，可以根据输入的提示生成文本。
提示词工程的作用

提示词工程的案例

案例背景

假设我们有一个基于GPT模型的AI聊天机器人，用于提供客户服务。我们希望优化机器人的回答质量，特别是在处理客户赞扬时。
成绩

在没有优化提示词的状况下，假如客户输入“我的产品坏了”，机器人能够会回答一些通用的处理方案，但这些处理方案能够并不完全适用于客户的详细成绩。
提示词工程的步骤

案例结果

经过运用优化后的提示词，当客户输入“我的产品坏了”，机器人如今可以回答：
这种回答不只表现出对客户成绩的关怀，而且经过获取更多信息，可以提供愈加个性化和准确的处理方案。
提示词工程是提高AI模型在特定义务上功能的有效手腕。经过精心设计的提示词，可以分明提升AI系统的交互质量和用户体验。

(, 下载次数: 0)

RGA检索加强生成
RAG技术是一种先进的人工智能处理方案，它经过从外部知识库中检索关键信息，并将其作为上下文输入提供给大型言语模型，以此加强生成内容的质量和深度。这种技术交融了信息检索和文本生成的双重优势，特别合适那些希望在特定业务场景中提供精准服务的企业。
(, 下载次数: 0)


RAG技术的关键优势：

RAG技术的应战：

*
(, 下载次数: 0)

微调*
微调是一种技术，它在预训练的大型言语模型上停止额外的训练，以顺应特定的义务或范畴。经过运用特定义务的数据集，微调可以调整模型的部分或全部参数，从而将特定范畴的知识整合进模型中。数据的质量对于微调后的模型效果至关重要。微调策略包括但不限于有监督微调（supervised Fine-tuning SFT），即在标注数据上训练模型参数，以及低秩调整（Low-Rank Adaptation，LoRA），即经过低秩矩阵，这是一种经过运用低秩矩阵来减少需求更新的参数数量的方法。
(, 下载次数: 0)


选择微调策略时，需求思索义务需求、可用数据量和计算资源等要素。微调可以分明提高模型在特定义务上的准确性和顺应性，特别是在法律和医疗等需求高度专业知识的范畴。它还具有高度的灵敏性，允许对基础模型停止多次微调，以应对不断变化的义务需求。
但是，微调过程需求耗费相当的计算资源，并且找到最优参数的过程能够既复杂又耗时。这使得微调在技术门槛上高于运用提示词或RAG（Retrieval-Augmented Generation）等方法。此外，微调还能够面临过拟合的风险，假如训练数据不足或参数调整过度，都能够导致模型的泛化才能受损。
微调是构建行业或场景特定大型模型的常用方法，但由于它对资源和技术的要求较高，因此并不合适一切企业，特别是资源有限的小微企业。


AI agent 晋级业务流程
AI Agent，即人工智能代理，是一种智能系统，它可以了解环境信息、做出决策并自主执行义务。与传统的人工智能系统相比，AI Agent不只可以停止独立思索，还可以应用各种工具来逐渐完成既定目的。例如，假如用户央求AI Agent订购外卖，它可以自主地打开相应的运用程序，选择菜品，并经过支付系统完成购买，整个过程无需人工干涉。
AI Agent与大型言语模型的次要区别在于，AI Agent具有自主举动的才能，而大型言语模型次要擅长了解和生成言语。此外，与RPA（Robotic Process Automation，即机器人流程自动化）相比，AI Agent可以更好地顺应未知环境和处理新出现的应战。简而言之，AI Agent是一种可以自主感知、决策并执行义务的智能系统。
如下所示是一个智能体常见的才能。
(, 下载次数: 0)


智能体普通具有四个才能：
1）记忆才能：智能体AI Agent的长期记忆才能和短期记忆才能是指其存储和处理信息的两种不同方式：
长期记忆才能：
这两种记忆才能共同支持AI Agent的智能行为：
上下文了解：长期记忆协助AI Agent了解用户的历史偏好和行为形式，而短期记忆则协助它了解当前的交互上下文。
个性化服务：长期记忆使AI Agent可以提供个性化的服务，由于它可以记住用户的特定需求和爱好。
义务执行：短期记忆使AI Agent可以在执行复杂义务时保持对当前形态的跟踪，从而有效地停止多步骤操作。
例如，假如一个AI Agent被用来协助用户管理日程，长期记忆能够存储用户过去的日程安排和偏好设置，而短期记忆则能够存储用户正在停止的日程安排或最近的操作。这样，AI Agent就可以根据用户的长期偏好来引荐日程安排，同时应用短期记忆来确保当前的义务得到正确执行。
2）规划才能
AI Agent的规划才能是指其可以制定和执行一系列有序步骤来完成特定目的的才能。这种才能通常触及以下几个关键方面：
\1. 目的设定：
- AI Agent首先需求辨认或接收一个目的，这能够是由用户指定的，或者是系统外部定义的。
\2. 成绩分解：
- 将复杂目的分解为更小、更易于管理和执行的子目的或义务。
\3. 策略生成：
- 确定达成每个子目的所需的策略和方法。这能够包括选择不同的举动方案、资源分配或举动顺序。
\4. 资源评价：
- 评价可用资源以及如何有效地应用这些资源来完成规划的义务。
\5. 举动序列制定：
- 根据策略和资源评价，制定一系列详细的举动步骤。
\6. 执行监控：
- 执行规划的举动序列，并监控执行过程以确保义务按计划停止。
\7. 动态调整：
- 在执行过程中，根据环境变化或反馈信息对计划进举动态调整。
\8. 结果评价：
- 在义务完成后，评价结果能否符合预期目的，并停止必要的总结和学习。
AI Agent的规划才能可以运用于多种场景，例如：
- 日常义务管理：协助用户规划一天的工作日程，包括会议、工作和休息工夫。
- 游览计划：根据用户偏好和工夫安排，规划游览道路、交通方式和停留点。
- 项目管理：在企业环境中，协助团队规划项目里程碑、义务分配和进度跟踪。
AI Agent的规划才能通常基于当前的目的以及当前的资源状况（例如说具有的功能才能等）执行完成目的所需求的步骤，并且经过完成过程中的结果停止调整后续的计划，经过这种综合才能，AI Agent可以提供高效、自动化的服务，协助用户和组织达成目的。
3）工具才能，AI Agent的工具才能，指的是它可以整合和运用各种外部工具、服务和API（运用程序编程接口），以加强其功能并满足多样化的场景需求。这种才能使得AI Agent不只仅局限于其内置的智能或大模型的才能，而是可以扩展其操作范围和运用场景。以下是AI Agent工具才能的几大特点：
\1. 多样性接入：
- AI Agent可以接入多种类型的工具和服务，包括但不限于数据库、搜索引擎、社交媒体平台、在线支付系统等。
\2. 场景顺应性：
- 根据不同的运用场景和用户需求，AI Agent可以选择和配置相应的工具或服务。
\3. 配置灵敏性：
- 支持经过配置文件或用户界面来设定和调整接入的工具和服务，以顺应不同的义务和环境。
\4. 自动化集成：
- AI Agent可以自动发现和集成新的工具或服务，无需人工干涉。
\5. API调用：
- 经过调用API，AI Agent可以与外部系统停止交互，获取数据或执行操作。
\6. 智能协调：
- AI Agent可以智能地协调不同工具和服务的运用，以完成最优的义务执行效果。
\7. 用户定制：
- 用户可以根据本人的需求定制AI Agent的工具才能，选择需求集成的特定服务。
例如，假如一个AI Agent的义务是协助用户管理在线购物，它能够需求接入以下工具才能：
- 产品搜索API：用于搜索不同电商平台上的商品信息。
- 价格比较工具：协助用户比较不同商品的价格和优惠。
- 库存检查服务：确保所选商品有货。
- 支付接口：完成在线支付。
- 物流跟踪系统：跟踪订单的配送形态。
经过支持配置的方式接入工具才能，AI Agent可以根据用户的详细需求和偏好，灵敏地选择和运用不同的工具和服务，提供个性化和高效的处理方案。这种才能大大加强了AI Agent的适用性和灵敏性。
4）举动才能，AI Agent的举动才能是指其可以根据决策结果执行详细动作或义务的才能。这种才能是AI Agent智能行为的重要组成部分，触及到从了解指令到实践执行的全过程。以下是AI Agent举动才能的几个关键方面：
\1. 指令了解：
- AI Agent需求可以了解用户的指令或系统外部生成的义务要求。
\2. 决策制定：
- 基于对指令的了解，AI Agent需求制定相应的举动计划或决策。
\3. 义务分解：
- 将复杂的义务分解为一系列可执行的步骤或子义务。
\4. 资源协调：
- 确定并协调执行义务所需的资源，如数据、工具或外部服务。
\5. 执举动作：
- 执行详细的操作，如发送音讯、调用API、操作界面等。
\6. 环境交互：
- 与外部环境停止交互，包括物理环境（如机器人）和数字环境（如软件界面）。
\7. 反馈处理：
- 接收和处理执行过程中的反馈信息，以调整举动计划。
\8. 结果验证：
- 验证举动结果能否符合预期目的，并停止必要的修正。
\9. 自主学习：
- 经过举动结果的反馈停止学习，以优化将来的举动策略。
\10. 异常处理：
- 可以辨认和处理执行过程中出现的异常状况。
AI Agent的举动才能是其智能化程度的重要表现，它使得AI Agent可以自主地完成义务，提高效率，减少对人工干涉的依赖。
(, 下载次数: 0)


03
—
基于AI大模型运用和普通运用的区别
基于AI大模型的运用和传统的运用区别次要表现软件的运用架构，思想方式，软件和人的协作方式，以及特征上区别。
(, 下载次数: 0)


1、软件的架构方式的区别**、**传统软件的架构过程都是面向消费过程，例如ERP\WMS\OA\MOM等软件，包括数据中台产品也是面向开发过程，例如数据中台产品按照数据加工流程分为数据集成，数据开发，数据服务，本质上是面向过程，经过把一系列的动作拆分成不同的操作步骤，这些操作步骤固化到软件上，构成标准化通用化的功能，则构成了软件产品，而智能化产品是面向目的的，例如说开发招聘助手，可以帮忙提高招聘效率。那么软件界面界面能够直接呈现的是挑选过后符合要求的简历，并且推送到相关人员查看，这里没有搜集简历，挑选简历的过程了，软件界面呈现的是最终结果，过程曾经全部自动化了。
2、软件开发方式思想区别、传统软件开发采用软件工程思想，而智能运用开发采用AI agent 工程思想。
软件工程思想是一种系统化和结构化的方法论，它将软件开发视为一个工程学科，并运用工程准绳和实际来设计、开发、测试、部署和维护软件系统。这种思想方式强调以下几个关键方面：
\1. 系统化方法：软件工程思想要求将软件项目视为一个全体系统，思索一切相关的组件和子系统，以及它们之间的交互。
\2. 需求分析：在软件开发之前，需求停止详细的需求分析，以确保软件满足用户和业务的需求。这包括功能性需求和非功能性需求。
\3. 设计：设计阶段触及到软件架构、组件设计和接口设计。软件工程思想强调模块化设计和可扩展性，以便于维护和晋级。
\4. 编码：编码阶段需求遵照编码标准和最佳实际，确保代码的可读性、可维护性和可测试性。
\5. 测试：软件工程思想强调片面的测试，包括单元测试、集成测试、系统测试和验收测试，以确保软件的质量和牢靠性。
\6. 配置管理：经过版本控制和变更管理，确保软件的各个版天分够被有效管理和追踪。
\7. 项目管理：软件工程思想将软件开发视为一个项目，需求停止有效的项目管理，包括工夫管理、资源管理、风险管理和沟通管理。
\8. 质量保证：软件工程思想强调持续的质量保证，经过代码审查、静态分析和自动化测试等手腕，确保软件的质量和功能。
经过运用这些准绳和实际，软件工程思想协助开发团队构建高质量、牢靠、可维护和易于扩展的软件系统。
AI Agent 工程思想是一种将人工智能技术运用于软件代理（AI Agent）开发和维护的系统化方法论。它结合了软件工程的基本准绳和人工智能范畴的特定实际。以下是AI Agent工程思想的关键要素：
\1. 目的导向：明白AI Agent的业务目的和用户需求，确保设计和开发工作一直围绕这些目的停止。
\2. 多学科交融：AI Agent的开发需求软件工程、数据迷信、机器学习、认知迷信和心思学等多个学科的知识。
\3. 数据驱动：AI Agent的功能和智能程度很大程度上依赖于数据。因此，数据的搜集、处理和分析是AI Agent工程的核心。
\4. 模型设计：选择合适的机器学习模型和算法，设计可以处理复杂义务的智能系统。
\5. 交互设计：AI Agent的交互普通是直接呈现结果，能够会由于不同人呈现不同的结果，个性化比较强。因此需求从用户的角度出发，设计直观、易用和高效的交互方式。
\6. 测试与验证：AI Agent的测试不只包括传统的软件测试，还需求验证其智能行为和决策逻辑的正确性。
\7. 持续学习：AI Agent应具有持续学习和自我优化的才能，以顺应不断变化的环境和需求。
\8. 反馈机制：建立有效的用户反馈机制，不断搜集用户意见和运用数据，用于改进AI Agent的功能和功能。
经过这些准绳和实际，AI Agent工程思想有助于构建智能、牢靠、用户敌对且符合伦理标准的人工智能代理系统。
3、软件和人之间的协作关系区别**、**传统软件中，以人为核心，人操作为主，软件为辅助，即人的操作是决议了产出结果的关键要素。而智能软件，人与软件之间的关系为软件为主，人为辅助的角色，例如应用人工智能制造讲义，这样的工具，制造讲义的全过程由软件自动完成，而教师只作为辅助的角色，重点挑选质量较好的讲义。在这个过程中软件为主导，人为辅助的过程。
**4、软件特点的区别、**传统软件的界面是固定的界面，代表固定的需求以及预先定义好的义务，超出范围则不能满足需求。第二传统软件是以数据为分发的信息平台，底层存储海量数据，以便于达到规模化的消费，经过规模化消费提高消费效率。而智能软件的特点是软件的交互是动态的，以目的结果自顺应展现交互，开发的义务形式，超出预定义的义务形式，智能软件也能完成，具有自我学习才能，智能软件底层是知识和大模型，经过大模型的Agent分发大量的义务，即可以规模化消费，也可以根据用户需求提供个性化的需求，兼顾规模和个性的需求。
以上是对AI 大模型运用从技术栈，以及完成途径和各个关键步骤的作用，以及传统软件和智能软件的区别停止引见，希望对您有所协助。



欢迎光临 职贝云数AI新零售门户 (https://www.taojin168.com/cloud/) Powered by Discuz! X3.5