开启左侧

AIGC综述

[复制链接]
在线会员 ah9f6f2 发表于 10 小时前 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题 |快速收录
A Comprehensive Survey of AI-Generated Content (女伶 href="https://www.taojin168.com" target="_blank">AIGC):A History of Generative AI from GAN to ChatGPT
1、女伶 href="https://www.taojin168.com" target="_blank">AIGC简介

浅道野生智能范围各个标的目的
一、甚么是女伶 href="https://www.taojin168.com" target="_blank">AIGC

AIGC:天生式野生智能,AI-Generated Content。
AIGC的目标是使实质创立历程越发下效战易于会见,进而能够以更快的速率制作下品质的实质。
AIGC是颠末从人类供给的指令中提炼战理解企图疑息,并按照其常识战企图疑息天生实质去完毕的。
AIGC的开展依靠于数据的增加AI算法的开展GPU的开展
二、AI开展过程

一文概览野生智能(AI)开展过程
1956,野生智能达特茅斯教院野生智能夏季钻研会上邪式使用了野生智能(artificial
intelligence,AI)那一术语。那是人类汗青上第一次野生智能钻研,标记着野生智能教科的降生。
1957年-Frank Rosenblatt-感知机(Perceptron)的神经收集模子
1958年,David Cox提出了logistic regression线性鉴别器
1967年,Thomas等人提出K近来邻算法
1968年,爱德华·费根鲍姆(Edward Feigenbaum)提出尾个大师体系DENDRAL(常识库、拉理机)
1974年,哈佛年夜教沃伯斯(Paul Werbos)专士论文里,初度提出了颠末偏差的反背传布(BP)去锻炼野生神经收集,但是正在该期间已引起重视。
1980年,正在好国的卡内乱基梅隆年夜教(CMU)召集了第一届机械进修国内钻研会,标记着机械进修钻研已经正在全球鼓起。
1989年,LeCun (CNN之女) 分离反背传布算法取权值同享的卷积神经层创造了卷积神经收集(Convolutional Neural Network,CNN),并初度将卷积神经收集胜利使用到好国邮局的脚写字符识别体系中。
1995年,Cortes战Vapnik提出分离主义典范的撑持背质机(Support Vector Machine),它正在处置小样原、非线性及下维情势识别中表示出很多独有的劣势,并能够履行使用到函数拟开等其余机械进修成就中。
1997年,Sepp Hochreiter 战 Jürgen Schmidhuber提出了是非期影象神经收集(LSTM)。
2011年,IBM Watson问问机械人到场Jeopardy答复检验角逐终极赢得了冠军。Waston是一个散天然语言处置、常识暗示、主动拉理及机械进修等手艺完毕的电脑问问(Q&A)体系。
2012年,Hinton战他的师长教师Alex Krizhevsky设想的AlexNet神经收集模子正在ImageNet比赛年夜获齐胜,那是史上第一次有模子正在 ImageNet 数据散表示云云超卓,并引爆了神经收集的钻研热忱。 AlexNet是一个典范的CNN模子,正在数据、算法及算力层里均有较年夜改良,立异天使用了Data Augmentation、ReLU、Dropout战LRN等办法,并使用GPU加快收集锻炼。
2012年,google邪式公布google常识图谱Google Knowledge Graph),它是Google的一个从多种疑息滥觞聚集的常识库,颠末Knowledge Graph去正在一般的字串搜刮上叠一层相互之间的干系,辅佐使用者更快找到所需的质料的共时,也能够常识为根底的搜刮更远一步,以进步Google搜刮的品质。
2013年,Google的Tomas Mikolov 正在《Efficient Estimation of Word Representation in Vector Space》提出典范的 Word2Vec模子用去进修单词汇散布式暗示,果其简朴下效引起了产业界战教术界极年夜的存眷。
2014年,谈天法式“尤金·古斯特曼”(Eugene Goostman)正在英国皇野教会举办的“2014图灵尝试”年夜会上,初度“颠末”了图灵尝试。
2014年,Goodfellow及Bengio等人提诞生成对立收集(Generative Adversarial Network,GAN),被毁为比年去最酷炫的神经收集。
2015年,Microsoft Research的Kaiming He等人提出的冷炙好收集(ResNet)正在ImageNet年夜范围望觉识别比赛中得到了图象分类战物体识别的优越。
2015年,google启源TensorFlow框架。它是一个鉴于数据流编程(dataflow progra妹妹ing)的标记数教体系,被普遍使用于各种机械进修(machine learning)算法的编程完毕,其前身是google的神经收集算法库DistBelief。
2015年,马斯克等人配合创立OpenAI。它是一个非营利的钻研构造,任务是保证通用野生智能 (即一种下度自立且正在年夜大都具备经济代价的事情上逾越人类的体系)将为齐人类戴去祸祉。其公布热门产物的如:OpenAI Gym,GPT等。
2016年,AlphaGo取围棋天下冠军、事业九段棋脚李世石截至围棋人机年夜战,以4比1的总比分得胜。
2017年,华夏喷鼻港的汉森机械人手艺公司(Hanson Robotics)开辟的类人机械人索菲亚,是汗青上尾个得到百姓身份的一台机械人。索菲亚瞅起去便像人类女性,具有橡胶皮肤,能够表示出超越62种天然的脸部心情。其“年夜脑”中的算法能够理解语言、识别脸部,并取人截至互动。
2018年,Google提出论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》并公布Bert(Bidirectional Encoder Representation from Transformers)模子,胜利正在 11 项 NLP 任务中得到 state of the art 的成果。
2020年,OpenAI开辟的笔墨天生 (text generation) 野生智能GPT-3,它具备1,750亿个参数的天然语言深度进修模子,比从前的版原GPT-2下100倍,该模子颠末了快要0.5万亿个单词汇的预锻炼,能够正在多个NLP任务(问题、翻译、写文章)基准上到达开始退的功用。
2021年,OpenAI提出二个跟尾文原取图象的神经收集:DALL·E 战 CLIP。DALL·E 能够鉴于文原间接天生图象,CLIP 则能够完毕图象取文原种别的匹配。
2022年11月30日,OpenAI拉出ChatGPT,使用了Transformer神经收集架构,也是GPT-3.5架构,2023年一月终,ChatGPT的月活用户已经突破1亿,成为史上增加最快的消耗者使用。
三、AIGC开展过程

从ChatGPT的宿世此生,到现在AI范围的合作格式(停止至2023.03)
天生式AI模子(GAI)分为单模态模子战多模态模子:
单模态模子从取天生的实质模态差异的模态领受指令
多模态模子承受跨模态指令并发生差别模态的成果
AIGC综述

AIGC综述


GPT-3的框架取GPT-2连结差异,但是预锻炼数据巨细从Web Text(38GB)到Co妹妹onCrawl【锻炼数据散](过滤后为570GB),和根底模子巨细从1.5亿增加到175亿。因而,GPT-3正在各类圆里皆比GPT-2具备更佳的泛化才气任务,比方人类企图提炼。
ChatGPT使用去自人类反应的加强进修(RLHF)[10-12]去肯定对于给定指令干出最得当的照应,进而进步模子的可靠性战精确性跟着时间的拉移。这类办法使ChatGPT能够更佳天理解少对于话中的人类偏偏佳。
共时,正在计较机望觉中,颠簸性提出了颠簸分离[13]stable diffusion, 2022年的野生智能正在图象天生圆里也得到了弘大胜利。取现无方法差别,天生分离模子能够颠末掌握根究战开辟之间的衡量去辅佐天生下分辩率图象,进而完毕天生图象的百般性战取锻炼数据的类似性的调和分离。
2、AI开展汗青

20世纪50年月,隐马我科妇模子HMM战下斯混淆模子GMM天生了语言战时间序列之类的挨次数据。
NLP中,天生句子的保守方法是N-gram模子截至单词汇别离,而后搜刮最好序列。跟着LSTM、GRU门控递回收集正在锻炼过程当中修模绝对较少的依靠干系。
CV中,保守算法纹理分解战纹理映照到2014年天生对立收集GANs的提出,再到变分主动编码器VAE战stable-diffusion的提出,图象天生历程也有了更细粒度的掌握战下品质图象天生的才气。
Transformer的呈现,使患上NLP/CV呈现了穿插面。NLP中,bert、GPT接纳transformer动作其主要建立块,取LSTM战GRU比拟更具劣势。CV中,开展为ViT战swin transformer,多模态代表:CLIP
鉴于transformer模子的呈现完全改动了野生智能的天生,并戴去了年夜范围锻炼的可以性。

AIGC综述

ChatGPT、DALL-E-二、Codex
bert/transformer/加强进修
3、GAI模子锻炼中普遍使用的根本组件

3.一、AIGC的组件模子-Foundation Model

transformer

它最初是为了处置保守模子(如RNN)正在处置可变少度序
您需要登录后才可以回帖 登录 | 立即注册 qq_login

本版积分规则

发布主题
阅读排行更多+
用专业创造成效
400-778-7781
周一至周五 9:00-18:00
意见反馈:server@mailiao.group
紧急联系:181-67184787
ftqrcode

扫一扫关注我们

Powered by 职贝云数A新零售门户 X3.5© 2004-2025 职贝云数 Inc.( 蜀ICP备2024104722号 )