AI大模型为什么选择 Tokens 而不是 Bytes

jGuGBg 发表于 2025-2-7 15:06:25 | 显示全部楼层 |阅读模式 |快速收录 正在天然语言处置（NLP）战机械进修中，tokens 战 bytes 是二种差别的数据处置方法，它们各有劣缺点战合用场景。如下是为何正在某些情况下更偏向于使用 tokens 而没有是 bytes 的启事：1. Tokens 的界说战劣势Tokens 是天然语言处置中将文天职割成的团聚单位，能够是单词汇、子词汇（如 BPE 或者 WordPiece 的输出）或者一定字符序列。使用 tokens 的劣势包罗：语义理解才气更强：Tokens 凡是鉴于语言的语义战语法构造截至朋分，能够更佳天捕获文原的语义疑息。比方，子词汇朋分办法（如 BPE）能够将有数词汇装分为更小的、频次更下的子词汇单位，进而增强模子对于有数辞汇的处置才气。活络性温顺应性：Tokens 能够按照差别的语言战使用场景截至定造化。比方，关于华文等不清楚单词汇分开的语言，能够使用字符级此外 Tokens 或者鉴于统计的子词汇朋分办法。削减计较开销：颠末公道的分词汇战略，能够将少文天职割成较短的序列，进而削减模子的计较承担。2. Bytes 的界说战范围性Bytes 是计较机中暗示数据的根本单元，每一个字节由 8 位构成。正在文原处置中，间接使用 bytes 表示着将文原望为本初的字节序列，而不断行所有语义朋分。这类办法的范围性包罗：缺少语义疑息：Bytes 没法间接反应文原的语义构造，模子需要从字节级别逐步进修语言的划定规矩战语义，那增加了进修易度。计较开销年夜：间接处置字节序列会招致模子输出序列变少，特别是正在处置少文原时，计较开销清楚增加。易以处置多语言战庞大文原：关于多语言文原或者包罗特别字符的文原，鉴于字节的办法可以没法有用处置。3. 使用场景Tokens 更适宜于需要下效语义理解战处置的场景，如语言模子、机械翻译战文天职类等。比方，Transformer 架构的语言模子凡是使用 Tokens 动作输出。Bytes 正在某些一定场景下也有劣势，比方正在需要处置本初数据或者制止分词汇偏差的场景中。比方，Meta 的 Byte Latent Transformer（BLT）算法间接处置字节序列，颠末静态分块劣化计较服从。4. 为何挑选 Tokens 而没有是 Bytes正在年夜大都天然语言处置任务中，tokens 是更经常使用的挑选，启事包罗：语义理解：Tokens 能够更佳天捕获文原的语义疑息，进而进步模子的功用。服从战活络性：颠末公道的分词汇战略，能够削减模子的计较承担，并进步对于差别语言战文原范例的适应性。老练的手艺撑持：今朝，鉴于 Tokens 的分词汇办法（如 BPE、WordPiece）已经十分老练，普遍使用于各类 NLP 模子。归纳固然 bytes 正在某些一定场景下有其共同的劣势，但是正在年夜大都天然语言处置任务中，tokens 是更劣的挑选，因为它们能够更佳天捕获语义疑息，削减计较开销，并供给更下的活络性。

回复 使用道具 举报 提升卡 置顶卡 沉默卡 喧嚣卡 变色卡 千斤顶 照妖镜