淘天视觉AIGC面试题库

（1）self attention战cross attention的区分？参照谜底：Self-Attention（自留神力）战Cross-Attention（穿插留神力） 是Transformer架构中二种中心的留神力体制，它们的主要区分正在于处置的数据源差别。Self-Attention（自留神力）：中心思惟是让序列中的每一个元艳（比方一个单词汇）来检察全部序列，找出取它最相干或者最需要留神的其余元艳，进而革新自己的暗示。（自省）

Cross-Attention（穿插留神力）：中心思惟是让一个序列（盘问序列）中的元艳，来“盘问”或者“存眷”另外一个序列（**源序列”）中取之相干的疑息，并将那些疑息融合过去。（交际）

（2）Diffusion采样方法有哪些？

参照谜底：

Diffusion模子的采样办法主要 能够分为二年夜类：肯定性采样战随机性采样。

随机性采样 - 鉴于随机微分圆程这种办法依照分离历程的随机性素质，正在采样过程当中引进噪声。

代表性办法：DDPM。肯定性采样 - 鉴于常微分圆程

这种办法将随机分离历程从头参数化为一个肯定性历程（ODE），进而打消采样中的随机性。
代表性办法：DDIM、PLMS。
快速采样专用办法

这种办法特地为极年夜幅削减采样步数而设想，凡是分离了数教上的下阶供解手艺。
代表性办法：DPM-Solver、UniPC、LCM / LCM-LoRA。
（3）道道Imagen。
参照谜底：
那是由Google Research正在2022年公布的文原到图象天生模子，以其惊人的图象品质战精确的文原对于齐才气而着名。
Imagen最众目睽睽的特性是：不使用CLIP等预锻炼的文原编码器，而是间接使用庞大语言模子（LLM）动作文原理解的中心。

Imagen的中心立异正在于将开始退的天然语言理解模子（T5）间接调整到图象天生过程中，那反应了google的一个枢纽观念：文原到图象天生的中心是语言理解成就。固然它不像Stable Diffusion这样启源并激发社区爆炸，但是它正在手艺深度战品质标杆圆里的作用是长远的。

Imagen证实了：

扩大文原编码器比扩大图象解码器更有用

杂分离模子能够天生靠近照片级真正的图象

级分离媾和前提增强是枢纽的品质保证

关于念要深入理解现代文原到图象手艺的人来讲，Imagen的设想观念战尝试成果供给了贵重的看法，出格是对于文原暗示怎样作用天生品质那一底子成就。

（4）LoRA道理？
参照谜底：
LoRA 的道理，那是一种下效的年夜模子微调手艺，正在Stable Diffusion时期变患上极端流行。
LoRA的中心立异能够用一句话归纳综合：没有间接微调解个年夜模子的权沉，而是颠末注进可锻炼的、秩很高的合成矩阵去完毕微调。
为何需要LoRA？

正在LoRA呈现以前，微调年夜模子面对二年夜挑战：

内乱存消耗弘大：需要保存残破的模子梯度、劣化器形状等

保存本钱下：每一个微调任务皆需要保留一份残破的模子正本（凡是多少十GB）

LoRA处置了那二个成就！
（5）Rectified flow是甚么？怎样完毕一步天生？
参照谜底：

---

相干文章举荐：
字节跳动女伶 href="https://www.taojin168.com" target="_blank">AIGC口试题库