全部文章标签

Transformer 架构

逐层拆解 Transformer 的完整结构:编码器与解码器、残差连接与层归一化、前馈网络,讲清各组件如何配合处理序列数据,适合想系统掌握经典架构的读者。

专题介绍

图解 Transformer 各层的位置与数据流向:编码器如何理解输入、解码器如何逐词生成,注意力层、前馈层、位置编码、残差连接、层归一化各自承担什么职责。再梳理它从机器翻译走向 BERT、GPT 系列的演化脉络,帮读者建立对经典架构的整体认知。

分组查询注意力是什么?大模型用分组共享键值省显存

分组查询注意力是什么?大模型用分组共享键值省显存

AI百科
AI导航 16 次阅读
分词器是什么?大模型先把文字切成Token才能开始读

分词器是什么?大模型先把文字切成Token才能开始读

AI百科
AI导航 14 次阅读
激活函数是什么?没有它,再深的神经网络也学不会复杂规律

激活函数是什么?没有它,再深的神经网络也学不会复杂规律

AI百科
AI导航 20 次阅读
自回归生成是什么?大模型一次只写一个词,为何还能写出长文

自回归生成是什么?大模型一次只写一个词,为何还能写出长文

AI百科
AI导航 16 次阅读
位置编码是什么?大模型分不清词序时靠它标明顺序

位置编码是什么?大模型分不清词序时靠它标明顺序

AI百科
AI导航 16 次阅读
投机解码是什么?小模型先猜词,大模型一次验算为何更快

投机解码是什么?小模型先猜词,大模型一次验算为何更快

AI百科
AI导航 17 次阅读
AWS提出Priming方法:旧Transformer改混合架构,成本降99%

AWS提出Priming方法:旧Transformer改混合架构,成本降99%

AI资讯
AI导航 19 次阅读
KV缓存是什么?大模型生成新词时靠它少算一遍前文

KV缓存是什么?大模型生成新词时靠它少算一遍前文

AI百科
AI导航 21 次阅读