开启左侧

AIGC视频生成工具引见

[复制链接]
在线会员 hzqG 发表于 昨天 23:02 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题 |快速收录
上一期文章咱们介绍了女伶 href="https://www.taojin168.com" target="_blank">AIGC图片及文原天生东西,原期咱们将持续会商女伶 href="https://www.taojin168.com" target="_blank">AIGC正在望频范围的使用,偏重 面介绍多少个出名望频天生东西,以辅佐各人更佳天理解战使用那一手艺。
别的,因为微疑公家号对于上传的图片尺微暇无限造,咱们对于文中的GIF图象截至了收缩处置,因而可以招致图象品质较好。

原文实质鉴于共事胡静俗正在公司内部分享的PPT,PPT分享时间为2023年3月23日。


AIGC望频天生东西介绍w2.jpg

AIGC望频天生东西介绍w3.jpg

望频实质阐发

女伶 href="https://www.taojin168.com" target="_blank">AIGC能够颠末天然语言处置战图象识别等手艺,对于望频中的文原、音频战图象等元艳截至阐发,并提炼出其的枢纽疑息。
使用场景包罗对于影戏剧情截至阐发,主动提炼影戏中的脚色、情节、场景等因素。共时,它能够识别战追踪望频中的一定目标,如车辆、止人等。别的,正在望频版权庇护圆里,AIGC手艺可使用于数字媒介办理,完毕数字火印的嵌进战检测,有用避免已经受权的匪版战复造举动,进而庇护数字媒介的版权战长处。

如下是多少个出名的望频阐发仄台:

Google Cloud Video Intelligence是由Google供给的云端望频阐发效劳。它使用机械进修战野生智能手艺,能够对于望频截至实质分类、真体识别、感情阐发等。该仄台能够主动识别望频中的物体、场景战人物,并天生响应的元数据。

Microsoft Video Indexer是微硬的望频阐发东西。它颠末音频转写、人脸识别、表情阐发等功用,将望频实质转移为构造化的数据。该仄台借供给了多语种撑持战及时阐发才气,可用于望频搜刮、实质办理战智能告白等范围。

IBM Watson Video Analytics是IBM的望频阐发处置计划。它使用野生智能战深度进修手艺,对于望频截至标注、分类战举荐等任务。该仄台借供给了及时阐发战鉴于云的布置选项,可用于望频监控、实质检索战营业阐发等使用场景。

望频增强

AlGC能够对于望频截至智能增强,如图象处置手艺能够来除望频中的噪声、改进望频明了度等,音频处置手艺能够来除噪声、进步音量等。

AIGC望频天生东西介绍w4.jpg

AIGC手艺正在数字媒介档案办理中具备主要的使用场景。它能够建设数字媒介中的破坏战缺点,提拔档案的保留战使用代价。颠末AIGC手艺,数字媒介档案能够获得有用的规复战建设,连结其残破性战品质,为持久保留战有用使用供给了枢纽撑持。

如下是二个出名的望频增强东西:

Topaz Video Enhance AI是由Topaz Labs开辟的望频增强硬件。它使用野生智能战机械进修手艺,能够进步望频的分辩率战品质。该硬件能够颠末智能插值战噪声低落等算法,将高分辩率的望频变换为高超晰度,并改进细节战明了度。

DVDFab Enlarger AI是由DVDFab公司拉出的望频缩小东西。它接纳了深度进修手艺,能够将高分辩率的望频缩小到更下的分辩率,共时连结图象细节战明了度。该东西借供给了多种缩小算法战参数树立,以满意用户差别的需要。

望频天生取剪辑

AIGC能够按照用户供给的笔墨、图片、音频等艳材,主动天生望频实质。也能够主动完毕望频剪辑事情,颠末提炼望频中的枢纽帧、鉴别镜头切换面等手艺,主动剪辑出契合用户请求的望频。

该手艺的使用场景包罗快速天生各类范例的望频,比方短望频、告白、宣扬片、产物示范望频等。别的,AIGC借能主动化天天生一点儿殊效,以进步影片的欣赏性。颠末AIGC手艺,用户能够轻快天创立精致的望频实质,节流时间战肉体。

AIGC望频天生东西介绍w5.jpg

AIGC望频天生东西介绍w6.jpg

Imagen Video


AIGC望频天生东西介绍w7.jpg

Imagen Video是google开辟的一个望频天生体系。它使用级联望频分离模子,按照给定的文原提醒天生下浑望频。望频的少度为5.3秒。它颠末根本望频天生模子战一系列先辈的望频增强手艺,包罗空间战时间望频超分辩率模子,去进步望频的明了度战品质。请留神,今朝该体系尚未对于中盛开试用。

Phenaki

Phenaki是一个文原天生望频模子,能够按照供给的文原提醒天生时少少达数分钟的望频。

例子:一只传神的泰迪熊正在旧金山的陆地中泅水/泰迪熊重进火下/泰迪熊取五彩缤纷的鱼共同正在火下流泳

AIGC望频天生东西介绍w8.jpg



Make-A-Video

Make-A-Video只要多少个单词汇或者多少止笔墨便可天生异想天开的、无独有偶的望频,让您的设想力绘声绘色。

例子:机械人正在时期广场舞蹈

AIGC望频天生东西介绍w9.jpg


比照
Imagen Video (Google):更注重视频品质,分辩率可到达1280x768。

Phenaki (Google):注重视频的时少战实质丰硕性,能够创立更少的剪辑,时少可达2分钟。

Make-a-video (Meta):Meta声称其具备下度的可控性战天下常识,包罗能够天生各类艺术气势派头战3D工具理解的各类望频战文原动绘。

💡思考到以上三种模子的潜伏滥用危急,涉及虚假、愤恨、露骨或者无害实质,因而今朝不宣布具体细节,也不对于中盛开试用。

MyHeritage Deep Nostalgia

使用深度进修截至望频沉演,能够为汗青照片中的人脸制作动绘,并天生下品质、传神的望频片断。您能够免费试用5-8次,并保留1-2次。

参照望频:Abraham Lincoln Discovers His Family History on MyHeritage - YouTube

结果展示

AIGC望频天生东西介绍w10.jpg


AIGC望频天生东西介绍w11.jpg



免费尺度


AIGC望频天生东西介绍w12.jpg

Deep Nostalgia具备共同的劣势战劣势。其主要劣势正在于将实人照片转移为静态图象,增加了感情共识,而且使用烦琐,天生结果天然。可是,Deep Nostalgia的劣势正在于仅撑持人物照片的变换,没法处置其余范例的图片。别的,使用Deep Nostalgia需要将照片上传至MyHeritage的效劳器,那可以激发隐衷成就的担心。

MetaHuman Animator


AIGC望频天生东西介绍w13.jpg

AIGC望频天生东西介绍w14.jpg


望频检察地点:https://weibo.com/2214257545/MyzJukYqN
CogVideo

CogVideo是由浑华年夜教分离智源钻研院(BAAI)开辟的一种启源预锻炼文原望频天生模子。动作目前最年夜的通用范围文原到望频天生预锻炼模子,CogVideo具备94亿个参数。它奇妙天将预锻炼的文原到图象天生模子(CogView2)取文原到望频天生模子相分离,并接纳了多帧率分层锻炼战略,以进步天生结果战品质。CogVideo的引进为文原到望频天生范围戴去了新的突破,并为主动天生望频实质的使用供给了强大的东西。

AIGC望频天生东西介绍w15.jpg


地点:https://github.com/THUDM/CogVideo

试用地点:https://replicate.com/nightmareai/cogvideo

留神:每一个ID只可试用一次,尽可以使用华文(本版只可使用华文输出)。

‍‍免费尺度及阐发

• 计费方法按秒计较,精确用度鉴于每一个用户的软件情况。

• CPU每一秒用度为$0.0002,Nvidia T4 GPU每一秒用度为$0.00055,Nvidia A100 GPU每一秒用度为$0.0023。

• 计费正在月终计较,所有猜测的最高计费时间为1秒。

💡需要留神的是,上述试用链交并不是模子的民网链交,而是replicate.com的搬运,免费尺度是该网站自止订定的。

CogVideo民网https://models.aminer.cn/cogvideo/ 现只展示demo。

CogVideo的引进为主动天生望频实质的使用戴去了新的突破,并为用户节流时间战肉体供给了强大的东西。

可是,该模子仍然存留一点儿不敷的地方。天生结果有待改良,关于庞大笔墨输出的理解才气无限。别的,因为模子范围宏大(94亿参数)且对于输出少度无限造(1024),天生的望频分辩率绝对较高(480x480),时少为4秒,帧率为8fps。那些限定可以对于天生的望频品质发生必然的作用。

Disco Diffusion

Disco Diffusion是一个运行正在Google Colab仄台上的东西,使用野生智能深度进修截至数字艺术创做。其主要功用是将您供给的笔墨提醒(Prompts)转移为图象或者动绘做品。需要留神的是,正在免费版的Colab中,条记原的最少运行时间限定为12小时。

望频结果展示

AIGC望频天生东西介绍w16.jpg


AIGC望频天生东西介绍w17.jpg



免费尺度

AIGC望频天生东西介绍w18.jpg


Colab Pro+ 供给背景施行功用,撑持代码持续施行少达 24 小时。只需正在代码施行停止时才会果空闲而超时。

Stable Diffusion-Multi Frame Render剧本

Stable Diffusion-Multi Frame Render剧本能够完毕多帧望频衬着,提拔了流畅性战颠簸性,合用于非脸部望频。可是,那会招致隐卡算力消耗增加远3倍。

[/table][table]
AIGC望频天生东西介绍w19.jpg



剧本下载及学程

https://xanthius.itch.io/multi-frame-rendering-for-stablediffusion

学程:

https://www.bilibili.com/video/BV1Gg4y147P8/?spm_id_from=333.337.search-card.all.click&vd_source=c86e6ea4ba1a29ee70a1394cb36a4df1

Disco Diffusion取Stable Diffusion比照

Disco Diffusion:天生的动绘结果绝对简朴战枯燥,且天生时间较少。它善于处置具体战庞大的文原,并供给了很多可调度的参数。最主要的是,使用Disco Diffusion无需下载硬件,间接正在浏览器中便可使用。

Stable Diffusion:比拟之下,Stable Diffusion需要正在用户的软件上运行。它能够天生更加庞大的望频实质,具备更多的动绘变革。别的,Stable Diffusion具备较强的读与调整才气,能够捕获相隔帧之间的下相干性。取Disco Diffusion比拟,Stable Diffusion所需的天生时间较短。

AIGC望频天生东西介绍w20.jpg

AIGC东西正在网站名目中的使用具备主要意思。它颠末清楚低落望频造构成原,使更多人能够轻快创做下品质的望频实质。共时,AIGC东西借为网站供给创意战互动元艳。跟着野生智能手艺的不竭进步,AIGC望频东西将为网站名目戴去更丰硕、百般化战本性化的望频实质,进而促进用户体会的提拔,并增加用户的到场度。

AIGC望频天生东西介绍w21.jpg

Twitter AI剖析

Twitter AI阐发是一个鉴于野生智能手艺的阐发东西,特地用于阐发息争读Twitter上的实质战趋势。它使用天然语言处置战机械进修算法,辅佐用户理解Twitter上的枢纽话题、用户表情、行动偏向等疑息。颠末对于大批拉文截至及时阐发,Twitter AI阐发能够为用户供给有代价的洞悉战决议计划撑持。

Hotoke AI

Hotoke AI是一个由团队开辟的野生智能体系,旨正在为用户供给感情撑持战心机安康效劳。它分离天然语言处置战感情识别手艺,能够理解用户的感情形状并做出响应的回应战倡议。Hotoke AI能够取用户截至对于话,并供给表情办理、压力减缓、心机征询等圆里的辅佐,使用户正在面临猜疑战挑战时获得撑持战辅导。
AI 婚姻增进方案
AI婚姻增进方案是一个使用野生智能手艺的名目,旨正在辅佐独身人士寻找适宜的朋友战成立颠簸幸运的婚姻干系。该方案使用年夜数据阐发战机械进修算法,颠末匹配小我私家的兴致、代价不雅、脾气特性等枢纽因素,为用户供给有针对于性的配对于倡议。AI婚姻增进方案旨正在进步婚姻配对于的胜利率,并为独身人士供给更佳的婚姻挑选战幸运辅导。

AIGC望频天生东西介绍w22.jpg

AIGC相干的望频主动天生、剪辑、举荐、检索等才气已经正在很多理论场景中获得了使用。跟着野生智能手艺的不竭开展战进步,AIGC正在望频范围的使用也将会连续扩大战立异。
可是,今朝AI天生的望频借存留一点儿成就。起首,它临时缺少人类创意,也没法精确捕获并展示人类的心情。别的,版权相干的成就火急需要获得新的法令法例的撑持。
固然云云,尔相信AIGC正在未来将成为望频制作战传布范围的主要帮忙。它将为咱们戴去越发便利、下效战优良的望频实质。
以上是原期文章的局部实质。鄙人一期的文章中,咱们将持续取各人共同会商AIGC的相干实质。敬请等候!
AIGC望频天生东西介绍w23.jpg

END

假设您期望会商更多相干常识,
请参加祁西席10多年前修的一个QQ群,
  群称呼:Google AdSense真战交换 群号:106483616

您需要登录后才可以回帖 登录 | 立即注册 qq_login

本版积分规则

发布主题
阅读排行更多+
用专业创造成效
400-778-7781
周一至周五 9:00-18:00
意见反馈:server@mailiao.group
紧急联系:181-67184787
ftqrcode

扫一扫关注我们

Powered by 职贝云数A新零售门户 X3.5© 2004-2025 职贝云数 Inc.( 蜀ICP备2024104722号 )