职贝云数AI新零售门户

标题: AI大模型实战——企业如何设计大模型运用架构 [打印本页]

---

作者: ataC0Y    时间: 3 天前
标题: AI大模型实战——企业如何设计大模型运用架构
@ 目录

一、需求背景二、系统架构

2.1、AI 中台2.2、后台管理系统2.3、其他2.4、风险点

一、需求背景

在日常出差报销流程中，我们需求单次 / 批量上传发票，手动填写行程单，非常耗时且繁琐，本次需求将完成这个场景的自动化，不只可以节省工夫，还可以提高数据处理的准确性。本次需求存在几个难点：



1、PDF 处理，包括长文本切割、OCR 高精度辨认、文字组装等；



2、向量库语义准确性、向量库功能；



3、数据安全与隐私；



4、大模型运维与部署；



5、大模型、Agent 系统集成等；



6、知识库的维护。

二、系统架构

系统由产品、AI 中台以及后台管理系统几部分组成。

2.1、AI 中台

不管是大模型还是小模型，我们需求将 AI 相关的才能集中管理起来，这里我们只用到了模型服务（MaaS），也就是说，我们这里假设模型曾经训练好，微调好，可以直接经过接口停止调用。实践上 AI 中台还包括其他模块，比如数据采集、标注、模型训练等等，这里我们只用到模型服务，下一节课我们再详细引见 AI 中台的架构设计。AI 中台最好至少经过 2 个运用去承接，一个提供对外 API 服务，运用 Java 言语构建，一个 AI 模型服务，运用 Python 运用构建。

2.1.1、运用服务

为了确保服务的波动性和安全性，我们采用 Java 言语开发对外接口服务运用。这个运用经过 App 停止管理，并运用 AppKey 和 AppSecret 停止接口鉴权。此外，我们还基于 AppKey 实施了接口权限控制和调用频率限制。次要思索以下几点：1、接口调用限速。大模型推理需求运用比较多的 GPU 资源，尤其对于刚上线、流量比较大的运用，除了提早做好资源评价，预备过量的设备资源，还要做好降级的预备，由于有很多不可预估的状况能够会出现，比如流量突增、推理效率下降等等，都会导致 GPU 资源缺乏，从而影响用户运用，一旦 GPU 出现 GPU 资源紧张的状况，要及时启动限流，可以提早制定几种策略，比如按分钟 / 秒限制 QPS，或者把一些流量大户加入黑名单，可以经过用户 IP/ID 等标识停止控制，这块和我们普通软件运用限流原理分歧。2、文件大小和格式限制，对文件大小和类型做一个限制，保护系统免受“攻击”，比如将文件类型限定在只能处理 PDF 上，甚至只能处理原生 PDF 格式，大小不超过 10M，否则你不知道会有什么人直接上传多大的文件到系统，添加系统宕机风险。3、上传文件频率限制，其实这是限制接口调用频率的一种，比好像一个用户每分钟只能上传 1 次，要不然一个人不断反复上传也会给系统带来很大压力。4、模型服务计费，无论是运用本人搭建的大模型，还是调用大厂 API 服务，最好要把 tokens 记录上去，方便做费用统计以及最终对账。

2.1.2、模型服务

这部分是 AI 才能的核心，触及数据处理、词嵌入、模型实践调用等等，我们运用 Python 作为构建言语，用过的人都知道，Python 就是自然为机器学习而生的，大量的工具库，要比其他任何言语都方便。这个场景下次要触及以下几个模块：

2.1.2.1、PDF 处理

这块我们经过一个 Agent 去处理，包含 PDF 切分、OCR 辨认等。PDF 处理能够会面临各种各样的成绩，比如假如 PDF 文件里是图像嵌入的，那么就需求 OCR，一旦运用 OCR 就会触及正确率的成绩；再比如文件处理本身就是资源密集型操作，容易导致系统负载过重的状况。PDF 处理工具有很多种，比如 pdfplumber、PyPDF2、pytesseract 等，有的是纯文本 PDF 内容抽取，比如 PyPDF2，有的是 OCR 辨认，如 pytesseract，作为一个通用工具，我们可以先检测 PDF 中能否包含图片，不包含图片的话直接运用 PyPDF2，你可以看一下示例代码。
import PyPDF2
from pytesseract import image_to_string
from PIL import Image
import pdf2image

def extract_text_from_pdf(pdf_path):
    """
    从给定的PDF文件中提取文本，包括图像中的文本。
    """
    all_text = ""
    try:
        # 打开PDF文件
        with open(pdf_path, 'rb') as file:
            reader = PyPDF2.PdfReader(file)
            num_pages = len(reader.pages)
           
            # 将PDF转换为图像，一页一页处理
            images = pdf2image.convert_from_path(pdf_path)
           
            for i in range(num_pages):
                page = reader.pages
                image = images
               
                # 先尝试直接从PDF页提取文本
                text = page.extract_text() or ""
               
                # 假如提取到的文本太少，能够需求OCR
                if len(text.strip()) < 50:  # 例如，少于50个字符视为提取失败
                    text = image_to_string(image, lang='chi_sim')
               
                all_text += f"Page {i + 1}:\n{text}\n\n"

    except Exception as e:
        print(f"An error occurred: {e}")

    return all_text

# 示例用法
pdf_file_path = 'path_to_your_pdf_file.pdf'
extracted_text = extract_text_from_pdf(pdf_file_path)
if extracted_text:
    print(extracted_text)

2.1.2.2、词嵌入

词嵌入的原理我就不讲了，后面的课程中有详细的解释。在这个场景里，我们可以把发票图像的特征提取出来，生成向量，存放到向量数据库做图像数据检索，当然本质还是文本检索，用向量搜索的好处是语义检索，比如有些词汇长得不一样，但实践含义是一样的，那么这种场景用向量检索就很容易检索出来。

比如我们要检索一切维修服务类的发票，发票 A 写着：车辆维修费用包括更换刹车片和轮胎检查，发票 B 写着：为汽车停止的常规保养服务，包括制动系统和轮胎的维护，发票 C 写着：完成对车辆制动系统的片面检查及轮胎更换服务，那么经过向量检索，这 3 种状况都有能够搜索出来。

详细选择哪个词嵌入模型，可以本人判别，普通像 Google 的 Word2Vec，Meta 的 fastText 效果都不错，当然国产的也有，比如腾讯的 TX-WORD2VEC。

2.1.2.3、向量数据库

向量数据库可以选择 Meta 的 faiss，也可以选择国产的 Milvus 或者各个云厂商的云向量数据库，向量数据库效果好坏的关键在于向量的准确性，怎样分词很关键，比如刚刚的例子，检索维修服务，分词的时分假如把维修和服务分开，然后拿服务这个词去检索，那么准确度会大打折扣。所以在一些场景下，避免客户直接输入检索内容，效果能够会更好。

此外，运用前还要先评价好容量、数据库权限等等。

2.1.2.4、Agent

我们把处理 PDF 的整个过程放到一个 Agent 内处理，处理的结果直接喂给大模型，大模型输入的内容可以调用 Agent 的另一个 tool 停止组装，前往给用户。这里次要触及 prompt 组装（需求提早设定好 prompt 模版）、文本格式化、文件生成等内容。

2.1.2.5、大言语模型

大言语模型就是这个系统的核心，这里我们要先思索是用本地本人搭建的模型，还是用大厂提供的 API。普通来说，大厂的模型功能会更好，比如文心一言、智谱清言、通义千问等，效果都不错，价格也不贵，本人搭建的大模型为了节省资源，普通运用的是小规模参数的模型，比如 ChatGLM3-6B、LLaMa3-8B、Qwen-7B 等，实测上去，效果的确不如云上的大模型，云上的普通大厂都会放本人王牌的模型，效果一定不会差。

另外，假如选择本人搭建模型，首先要留意这个模型能否支持收费商用，别一不小心形成侵权。同时，需求合理评价 GPU 资源，根据能够的 QPS 评价每秒 token 数，再根据这个模型实践的每秒处理 token 数，评价需求多少块显卡，预留一定的余量，防止突发状况。

假如选择云上模型服务，要留意保证账户余额充足，同时也可以设置一些阈值，限制一定的 tokens 耗费数，避免由于 bug 或者攻击耗费大量金额。

2.2、后台管理系统

我们需求一个系统来维护知识库，定期更新数据，这是运用知识库形式的一个不同点，而且会有一定的工作量，比如如何停止分词，有的时分是人工操作，这样就更有难度了，短期内，假如工夫来不及，可以由开发人员维护，只需求有接口就行，不需求界面，长远看，最好还是做成后台管理系统，分配一定的权限，交由特定人员处理。

2.3、其他

除了刚刚引见的内容，其他留意事项，比如监控、告警，常规的数据库设计、接口设计等，就不详细描画了，和软件开发相关的内容我置信你是比较熟习的，这里新增的像大模型、Agent 的监控、向量数据库的监控，要记得添加到标准的 ops 流程中。

2.4、风险点

PDF 抽取文本信息的过程中，能够会遇到 OCR 准确率成绩，可以在产品设计上给用户留有一定的权限，以便编辑信息，假如出现辨认错误或者不能辨认的状况，允许用户手动编辑信息。词嵌入及向量数据库，需求多调试，不同的词嵌入模型运用的训练方式不同，效果不同，需求不断调试看效果。大模型推理效率成绩，需求合理评价设备资源，避免推理资源不足带来不好的体验。Agent 集成，可以运用像我们后面学习的 LangChain 框架，也可以本人编写集成代码。本人维护知识库，需求有一定的分词才能。

---

欢迎光临 职贝云数AI新零售门户 (https://www.taojin168.com/cloud/)

Powered by Discuz! X3.5