职贝云数AI新零售门户

标题: AIGC内容分享(十二)：AIGC探求之旅AIGC探求之旅 [打印本页]

---

作者: Xivr0    时间: 4 小时前
标题: AIGC内容分享(十二)：AIGC探求之旅AIGC探求之旅
目录
前言
引言：AI时代，将来已来
AIGC简介与发展历程
早期萌芽阶段（1950s－1990s）
沉淀积累阶段（1990s－2010s）
疾速发展阶段（2010s至今）
大模型与AIGC的关联
大模型概述
大模型的定义和特点
典型大模型举例
AIGC运用探求
业务背景
AIGC技术落地过程
模型选择
技术框架选择
全体架构设计
部分实际案例
其他运用场景
AIGC的实际应战
技术应战
伦理和监管成绩
AIGC的将来展望

---

前言

随着OpenAI推出ChatGPT，AIGC迎来了史无前例的发展机遇。大模型技术曾经不只仅是技术趋向，而是深上天塑造着我们交流、工作和思索的方式。本文引见了笔者了解的大模型和AIGC的亲密联络，从历史沿革到实践运用案例，再到面临的技术应战和伦理监管成绩，讨论这一技术浪潮如何引领我们进入一个智能化的将来。
引言：AI时代，将来已来

2022.11月30号OpenAI推出ChatGPT后随即爆火，五天注册用户数过百万，2个月用户破1亿，成为史上增长最快的消费者运用。随后各大厂也纷纷卷入AIGC范畴，迎来国产GPT大模型发布潮（百度"文新一言"、阿里"通义千问"、商汤"磋商 SenseChat"等）及AI创业公司成立潮（王小川、李开复等）。
大模型代表一个新的技术AI时代的降临，大模型展现出的弱小的语义了解，内容生成以及泛化才能正在逐渐改变我们的工作与生活方式（AI+）、工作方式和思想方式。正如《陆奇的大模型观》所讲当前我们正迎来新范式的新拐点，从信息系统到模型系统过渡，"模型"知识无处不在。人工智能的浪潮正在引领新的技术革命，或答应称为第五次工业革命。
（【注】引荐大家去阅读《陆奇的大模型观》。激烈建议直接看陆奇演讲视频 奇绩创坛| 陆奇最新演讲残缺视频｜大模型带来的新范式：演讲涵盖陆奇对大模型时代的宏观思索，包括拐点的内在动因、技术演进、创业公司结构性机会点以及给创业者的建议。）
在人工智能的新时代，大模型技术正成为推进AIGC（人工智能生成内容）前沿的关键力气。本文将经过引见我们的AIGC项目，来深化讨论这一技术的开发、实施与运用。因个人才能限制，文章中能够存在一些了解或表述错误的地方，希望各位大佬能及时批判和指正。
AIGC简介与发展历程

在与业务等交谈过程中，常常会听大家提到AIGC、ChatGPT、大模型、XX等许多概念，但也发现部分内容混淆。首先来处理下当下最火概念AIGC、ChatGPT、大模型到底是什么？

ChatGPT "Chat Generative Pre-trained Transformer”的缩写，ChatGPT是一种基于人工智能技术的聊天机器人，能用于问答、文本摘要生成、机器翻译、分类、代码生成和对话AI，是一款由OpenAI开发的基于Transformer架构的的自然言语处理工具。
AIGC，全名“AI generated content”，又称生成式AI，意为人工智能生成内容。广义概念是应用AI自动生成内容的消费方式（UGC->PGC->AIGC）；广义的AIGC可以看作像人类一样具有生成创造才能的AI技术，包括但不限于文本生成、音频生成、图像生成、视频生成及图像、视频、文本间的跨模态生成等等。
大模型：大模型通常是指参数量非常大的深度学习模型，如Transformer架构的GPT-3、BERT、T5等模型。这些模型经过在海量数据上停止训练，可以学习到丰富的言语和知识表示，并展现出弱小的自然言语处理才能。

AIGC是一个更广泛的概念，包括多种类型的内容生成；ChatGPT则是一个详细的产品。简单可以这么了解：AIGC是平台，ChatGPT是平台上的某个软件。
结合人工智能的演进历程，AIGC发展大致分三个阶段[人工智能行业生成内容（AIGC）白皮书（2022年）

早期萌芽阶段（1950s－1990s）

早期萌芽阶段（1950s－1990s），受限于当时的科技程度，AIGC仅限于小范围实验。

1957 年，莱杰伦·希勒和伦纳德·艾萨克森完成历史第一支由计算机创作的弦乐四重奏《伊利亚克组曲》。
1966年，约瑟夫·魏岑鲍姆和肯尼斯·科尔比开发了世界第一款可人机对话的机器人Eliza。
80年代中期，IBM基于(Hidden Markov Model，HMM)创造了语音控制打字机Tangora。
80年度末-90年度中，由于高昂系统成本无法带来可观的商业化变现，AIGC未获得严重打破。

沉淀积累阶段（1990s－2010s）

沉淀积累阶段（1990s－2010s），AIGC从实验性向适用性逐渐转变。

2006年，深度学习算法获得严重打破，及图形处理器(GPU)、张量处理器(TPU)等算力设备功能不断提升，互联网规模收缩提供海量训练数据，但AIGC仍受限算法效率，运用及效果有待提升。
2007年，世界第一部完全由人工智能创作的小说《1 The Road》问世，虽其可读性不强，但意味意义远大于实践意义。
2012年，微软公展开现了一个全自动同声传译系统，基于深层神经网络(Deep Neural Network,DNN)可以自动将英文演讲者的内容经过语音辨认、言语翻译、语音合成等技术生成中文语音。

疾速发展阶段（2010s至今）

疾速发展阶段（2010s至今），深度学习模型不断迭代，AIGC打破性发展。

2014年，随着以生成式对抗网络(Generative Adversarial Network,GAN)为代表深度学习算法的提出和迭代更新，AIGC迎来了新时代，生成内容百花齐放，效果逐渐逼真直至人类难以分辨。
2017年，微软人工智能少女“小冰”推出了世界首部100%由人工智能创作的诗集《阳光失了玻璃窗》。
2018年英伟达发布了StyleGAN模型可以自动生成图片，目前曾经发展到了第四代模型StyleGAN-XL，其生成的高分辨率图片让人难以分辨真假。
2019 年，DeepMind 发布了 DVD-GAN 模型用以生成延续视频，在草地、广场等明白场景下表现突出。
2021 年，OpenAI 推出了 DALL-E 并于一年后推出了晋级版本 DALL-E-2，次要运用于文本与图像的交互生成内容，用户只需输入简短的描画性文字，DALL-E-2 即可创作 出相应极高质量的卡通、写实、笼统等风格的绘画作品。
2022年，12月OpenAI的ChatGPT在推出，两个月后用户数量就打破1亿了。在文本生成、代码生成与修正、多轮对话等范畴，曾经展现了大幅超越过去AI 问答系统的才能。
随后各大厂也纷纷卷入AIGC范畴（百度“文新一言”、阿里“通义千问”、商汤“磋商”SenseChat等），涌现运用AI于写作、编曲、绘画和视频制造等创意范畴。目前 AIGC 技术可以自动生成文字、图片、音频、视频，甚至 3D模型和代码，在搜索引擎、艺术创作、影音游戏，以及金融、教育、医疗、工业等范畴的运用前景非常广阔。
据 TBanic Date 估计，到 2025 年人工智能生成数据占比将达到 10%。

大模型与AIGC的关联

大模型（Large Models）与AIGC（人工智能生成内容）之间存在亲密的关联，AIGC依赖于大型的人工智能模型来生成高质量的内容。它们是人工智能技术发展的两个重要方面。简单来说：

技术基础：大模型是完成AIGC的重要技术基础之一。大模型通常经过训练，以从海量数据中学习言语、图像或音频的形式。这些模型可以了解和模拟人类创作的风格和结构，从而在不同的范畴中生成新的内容。例如，运用大模型可以生成文本、图像等内容，这些都是AIGC的核心运用场景。
功能提升：随着大模型的发展，其生成内容的才能也在不断提高，使得AIGC的质量愈加逼真和丰富，从而拓展了运用范围。
协同工作：在某些状况下，大模型能够需求与其他技术（如计算机视觉或自然言语了解）结合运用，共同为AIGC服务。
产业影响：大模型的广泛运用推进了AIGC相关产业的发展，AIGC应用这些模型在媒体、文娱、教育、科研和商业范畴中创造价值。

总的来说，大模型和AIGC互相促进、共同发展，构成了一个严密联络的技术生态系统。在这个系统中，大模型提供了底层的技术支持，而AIGC则代表了一种实践的运用方式。
大模型概述

大模型的定义和特点

大模型（Large Models）在人工智能（AI）和机器学习（ML）范畴，通常指的是具有大量参数的(通常包含数百万到数十亿甚至更多的参数)、复杂计算结构和强泛化才能的机器学习模型。这类模型往往是基于神经网络，尤其是深度神经网络，包括但不限于深度卷积神经网络（CNNs）、循环神经网络（RNNs）、长短期记忆网络（LSTMs）和Transformer架构。
其次要特点包括：

大量参数：大模型拥有庞大的参数量，通常包含数百万到数十亿甚至更多的参数，远超过传统的小型模型。使其具有极高的表达才能，可以模拟和学习非常复杂的函数关系。
弱小的学习才能：由于参数量宏大，这些模型具有弱小的学习和泛化才能，可以在各种义务上达到或超越人类的表现。
大数据集&计算资源密集：为了训练这些模型避免过拟合，并充分应用其学习才能，需求大量的训练数据。且需求大量的计算资源停止训练，包括高功能硬件GPU集群和大量的电力。
预训练和微调：大多数大模型采用两阶段的学习过程，首先在大量的无标注数据上停止预训练，然后在特定义务的数据集上停止微调，以获得更好的功能。
自我监督学习：许多大模型经过自我监督学习来提高其泛化才能，这种学习方法不需求人工标签，而是让模型本人从输入数据中学习到有用的特征。
上下文敏感性：大模型在处理自然言语了解和生成义务时，能思索到更多的上下文信息，从而生成愈加准确和流利的文本。因此在实际大模型过程中要尽能够输入足够的上下文信息来提高结果的准确度。
解释性的应战：由于模型的复杂性，了解模型的决策过程和外部工作机制是具有应战性的，这通常被称为模型的解释性或透明度成绩。

典型大模型举例

国际：

组织	模型/运用	备注
OpenAI	GPT-1/GPT-2/GPT-3	GPT-1：1.17亿参数；5GB预训练数据 GPT-2：15亿参数；40GB预训练数据 GPT-3：1750亿参数；570GB预训练数据
OpenAI	GPT-4	加入图片功能，对外开放 更情愿调用本人的外部知识 有更强的逻辑推理才能 体验地址：https://chat.openai.com/
Google	LaMDA	谷歌推出的基于Transformer架构的大言语模型 137B参数 独特之处在于采用了对话式的交互方式，让用户可以愈加自然地与计算机停止交流
Google	PaLM-E	拥有5400亿个参数 独特之处在于可将言语模型和视觉模型结合起来，完成多模态了解与生成。
Meta	PaLM-A	基于PaLM架构 可运用于多种场景，包括文本分类、问答系统等
Meta	LLaMA	7B-65B参数
微软	Windows Copilot	集中式 AI 协助的 PC 平台，高效的个人助理

国内：

组织	模型/运用	备注
复旦大学	MOSS	160亿参数的支持中英双语的对话大言语模型 国内首个类ChatGPT模型 体验地址：https://moss.fastnlp.top/
阿里	通义千问	内测 https://bazinga.aliyun-inc.com/ 公开 https://tongyi.aliyun.com/
清华大学	ChatGLM	开源模型 https://github.com/THUDM/ChatGLM-6B
华为	盘古	国内首个全栈自主的AI大模型，有盘古NLP大模型（对话问答，代码生成，文案生成，Versatile，NL2SQL）、 盘古CV大模型，盘古多模态大模型（图形生成，图像编辑，3D生成），盘古预测大模型，盘古迷信计算大模型等 体验地址：https://pangu.huaweicloud.com/index.html?ref=openi.cn
商汤	“磋商”SenseChat	体验地址：https://chat.sensetime.com/wb/
腾讯	混元	具有弱小的中文创作才能，复杂语境下的逻辑推理才能 超1000亿参数规模，预训练语料超2万亿tokens 体验地址：https://hunyuan.tencent.com/
科大讯飞	星火认知	拥有跨范畴的知识和言语了解才能，可以基于自然对话方式了解与执行义务。 体验地址：https://xinghuo.xfyun.cn/
百川智能	Baichuan-7B、Baichuan-13B	开源可收费商用的百川大模型 体验地址：https://www.baichuan-ai.com/home
百度	文心一言 2023.10.17 文心大模型4.0正式发布	体验地址：https://yiyan.baidu.com/ 文心大模型的4.0正式发布：在了解、生成、逻辑、记忆这四大才能上分明的提升

【注】更多模型可从huggingface模型平台查看 ；
huggingface国内镜像（地址：https://aliendao.cn/models#/）
总结来看：

模型演进方向：模型参数规模更大、多模态支持演进
技术成熟度：国内全体才能尚处在追逐GPT3.5阶段，部分中文才能上逼近GPT3.5(见下附图)，与国外有一定差距

(, 下载次数: 0)

上传

点击文件名下载附件

【附】中文才能上10月 SuperCLUE 评测排名
AIGC运用探求

业务背景

笔者所在业务存在多国家多语种的千万级别的海外特征供给，因多语种翻译、商品信息不足、供应商才能等成绩导致大量商品属性缺失、图片素材质量低；导致用户了解难、转化低、万求高。面对极大品量，运营手动仅可补全大批头部商品，无法全量优化。在AI技术成熟的背景下，思索采用AIGC的方式对商品的属性、卖点、素材图片、场景图等信息停止补全及优化。
AIGC技术落地过程

作为一名业务技术开发，必须时辰围绕处理业务虚际成绩、技术创新驱动业务发展、疾速呼应市场变化等方面思索。在项目启动初期，我们首先基于探物香水标品场景2000个品批量AIGC素材，验证AIGC消费可行性。并经过多次脑暴探求，明白要做可以带来业务价值的、可以规模化的、可以突出国际垂类优势的AIGC运用。不做炫技的，落不了地的，没有业务感知的，不做通用的模型，算力(资源不允许)。
因此技术目的：搭建可复用可扩展、嵌入产供投链路的AIGC工程引擎；辅助业务疾速落地AIGC场景。技术选型核心三步：1、模型底层选择；2、言语&框架选择；3、全体架构设计。

模型选择

生文模型：初期我们采用GPT4、GPT3.5，后面也逐渐引入了通义千问、vertex-PaLM2、claude2等。
生图模型：Stable Diffusion
成本方面估算：对于英文，1个token大约为4个英文字符或0.75个英文单词；对于中文，1中文约1-3个token。后期实验上去，探物品 cost=0.12元/品，是在业务可接受的范围。
测算token数网站：https://gpttools.com/estimator

技术框架选择

综合开源社区活跃、牢靠性，以及后期我们采用GPT模型适配度等多方面思索，在模型层我们采用LangChain框架构建。

特点	LangChain	Llama-Index	Semantic Kernel（微软）
言语	Python ；Js/Ts	Python	TypeScript
可组合性	是	是	是
LLMs和Prompt管理	是	是	是
Chains（编排才能）	是	否	是
数据索引处理	是	是	是
义务管理（agents）	是	否	是
形态管理	是	否	是
Evaluation	是	否	是
文档	https://github.com/hwchase17/langchain https://langchain.github.io/		https://github.com/microsoft/semantic-kernel https://learn.microsoft.com/en-us/semantic-kernel/

【注】这些框架的目的是为 LLM 交互创建一个底层编排引擎
LangChain是一个基于大型言语模型（LLMs）构建运用的框架。它的核心思想是定义标准接口（可以自定义完成）& 可以将不同的组件“链接”起来，创建更高级的LLMs运用 ，相似spring全家桶。它可以协助你完成聊天机器人、生成式问答、文本摘要等功能

	langchain-python	langchain-java
生态繁荣度和牢靠性	高，社区活跃，github 4.7W+star	低，集团外部团队自建
扩展工具多样性	高度丰富的组件才能	极少
集团中间件兼容	和集团外部对接都需求停止框架层开发，比如hsf调用、数据库对接、服务化的才能	支持
集团容器兼容	支持	支持
集团LLM接口兼容	需求停止框架层对接，开发成本较低	有对接成本
开发成本	python数据处理(爬取、清洗、标注)、大模型交互python性价比更高，可疾速搭建试错	跟数据处理和大模型交互更重，试错周期长
文档	langchain官网：https://python.langchain.com/en

【言语选择】：python+java结合的方式：

核心LLM执行引擎层：langchain-python选型具有优势（数据处理、大模型交互python性价比更高，也可疾速搭建试错）
下层才能层可以采用java工程搭建（偏业务交互

全体架构设计

(, 下载次数: 0)

上传

点击文件名下载附件

数据层：弹内/弹外数据->自然言语文本处理->国际自营行业向量数据库
模型层：依赖集团外部/国际自营大模型才能
工程引擎：横向通用才能视角（生文、生图、会话等），支撑下层业务场景&嵌入消费投放链路

LLM义务执行引擎层：基于langchain框架思想构建，将 LLM 模型与外部数据源停止衔接，按场景编排链路，以及选择执行工具
图义务引擎：高清化才能、图像切割才能、背景交换合图才能
prompt工程才能：prompt模板定义(Instruction、Input Data、Output Indicator、requirements等)，动态化模板解析&填充才能(具有外部输入+规则动态拼接才能，串联消费链路）
义务调度才能：支持业务excel/圈品等多方式义务创建、义务试跑(准确性校验&费用预估等)、DTS义务调度执行才能

部分实际案例

建设批量文生文AIGC工程引擎，具有prompt模板提示&自动填充、义务试跑预览、费用预估、批量化AIGC消费等才能。已运用素材文生文、商品咨询FAQ消费等场景。

(, 下载次数: 0)

上传

点击文件名下载附件

建设图生图AIGC工程引擎，完成图片的超分处理、AI二创等工程建设，支持业务优化商品图片素材质量。已运用探物标品素材图生图等场景。

(, 下载次数: 0)

上传

点击文件名下载附件

其他运用场景

下面是本人搜集的一些运用场景case，希望给大家更多的思索启示。
外部公司运用场景更广，这里简单罗列下：

AIGC+传媒：写稿机器人、采访助手、视频字幕生成、语音播报、视频锦集、人工智能合成主播等
AIGC+电商：商品3D模型、虚拟主播、虚拟货场等
AIGC+影视：AI剧本创作、AI合成人脸和声响、AI创作角色和场景、AI自动生成影视预告片等
AIGC+文娱：AI换脸运用（如FaceAPP、ZAO）、AI作曲（如初音将来虚拟歌姬）、AI合成音视频动画等
AIGC+教育：AI合成虚拟教师、AI根据课本制造历史人物笼统、AI将2D课本转换为3D
AIGC+金融：经过AIGC完成金融资讯、产品引见视频内容的自动化消费，经过AIGC塑造虚拟数字人客服等
AIGC+医疗；AIGC为失声者合成言语音频、为残疾人合成肢体投影、为心思疾病患者合成医护陪伴等
AIGC+工业：经过AIGC完成工程设计中反复的低层次义务，经过AIGC生成衍生设计，为工程师提供灵感等。

AIGC的实际应战

笔者在AIGC运用的初探，技术应战与机遇并存。下面给大家分享下AIGC的实际应战以及部分处理思绪。
技术应战

成绩	描画	处理方案及思绪
知识量有限	比如GPT 4，21年前训练样本&通用语料训练，实时数据、垂直范畴的数据&专属知识无法了解 无法"在外部世界举动"，不论是搜索网页、调用 API 还是查找数据库	方案1.LLM+检索加强 ：LLM的基础上经过检索等额外提供范畴数据信息；对于用户输入Query，结合业务数据中检索到的结果一同输入给LLM，则可以得到更精准的回答。 方案2.构建行业数据集对LLM停止微调，使模型本身具有输入行业信息的才能。（成本高且效果不佳） 【处理方案】：LLM+检索加强：OpenAI提出了chatgpt-retrieval-plugin、WebGPT，开源社区提出了DocsGPT、ChatPDF、基于langchain的检索加强chatbot等等一系列处理方案
效果成绩	部分场景效果不及预期 复杂逻辑推理才能不佳 对未见过的知识语料回答效果差	1、大模型+上下文学习技术（In-Context Learning）， 设计合理的prompt模版 2、大模型+思想链提示（Chain-of-Thought Prompting），引入推理途径作为提示，激发大模型按照这种推理的形式生成出合理的结果 3、大模型+高质量标注样本+指令微调，提高模型对特定义务的泛化才能
延迟成绩	一次残缺问答大概 10s+ （用户200ms会有体感） 延迟次要受两个要素影响：模型和生成的令牌数量。	1、流式传输。央求中的设置stream: true使模型在令牌可用时立刻末尾前往令牌，而不是等待生成残缺的令牌序列。它不会改变获取一切令牌的工夫，但它会减少我们想要显示部分进度或将中止生成的运用程序的第一个令牌的工夫。这可以是更好的用户体验和 UX 改进，因此值得尝试流式传输。 2、基础设备。openai 美国。存在跨国网络延时 3、减小token 。例如运用更短的提示。 交互式分词器工具来协助估算成本 4、缓存：经过存储常常访问的数据，可以延长呼应工夫，而无需反复调用 API。但在添加新信息时使缓存有效。
资源和功能	训练&微调都需求不少机器资源，目前GPU资源匮乏 部署资源，尤其是C端投放有高并发低延时要求，需求投入宏大成本在线serving	1、不训练基座模型，微调选择的基座模型选几B~几十B左右的LLM （如ChatGLM-6B） 2、曲线救国，线上不直接运用大模型serving，一种是应用大模型的embedding， 另一种是应用大模型来停止更多样本标注，来辅助小模型学习

伦理和监管成绩

随着大模型在AIGC中的广泛运用，它们引发了关于数据隐私、版权、内容监管和成见等成绩的讨论。因此，大模型的运用不只触及技术层面，还触及伦理和法律层面。

成绩	描画	处理方案及思绪
安全与合规	如政治敏感、违法犯罪、伦理道德等成绩，尤其是LLM直接面向C端场景	1、建设安全校验模块才能 2、B端：生成素材数据清洗&人工审核 3、C端：生成式大模型必须经过SFT、RLHF等微调技术对大模型做适配微调，对齐人类的价值观；
政策成绩	对于类GPT才能作为C端运用的开放程度需受限于政策	1、上线前需安全评价

【附】网信办411公布《生成式人工智能服务管理办法》征求意见稿，规范生成式人工智能产品（AIGC，如 ChatGPT）的开发和运用方式、行业的定义、对消费者的要求和责任等方面。意见稿中尤其提出：“应用生成式人工智能产品向公众提供服务前，该当按照《具有言论属性或社会动员才能的互联网信息服务安全评价规定》向国家网信部门申报安全评估，并按照《互联网信息服务算法引荐管理规定》实行算法备案和变更、登记备案手续。
AIGC的将来展望

业务侧规划：基于业务场景继续创新，扩展战果。更多还是聚焦基建和业务场景运用。
技术等待：AI大势浩浩荡荡，顺之者昌逆之者亡。YY几个将来的等待场景

加强的交互式AI：相似google最近发布的Gemini，改变当前信息交互方式，等待每个人都有专属钢铁侠中的人工智能“贾维斯”。
个性化和定制化内容：大数据+AIGC根据用户偏好、历史行为和实时反馈生成的个性化和定制化内容。
虚拟理想内容：AIGC多模态内容生成发展，图像、视频、音频等，将来说不定AI构建虚拟理想内容

附录

langchain 官方文档 https://python.langchain.com/en/latest/getting_started/getting_started.html
langchain 疾速入门中文版 https://github.com/liaokongVFX/LangChain-Chinese-Getting-Started-Guide
吴恩达llm教程 https://www.deeplearning.ai/short-courses/
GPT开发运用利器：LangChain https://zhuanlan.zhihu.com/p/630253274
LangChain运用调研 https://blog.csdn.net/benben044/article/details/130843326
openai 原始接口文档 https://platform.openai.com/docs/api-reference/completions

---

欢迎光临 职贝云数AI新零售门户 (https://www.taojin168.com/cloud/)

Powered by Discuz! X3.5