全部文章标签

Transformer 架构

逐层拆解 Transformer 的完整结构:编码器与解码器、残差连接与层归一化、前馈网络,讲清各组件如何配合处理序列数据,适合想系统掌握经典架构的读者。

专题介绍

图解 Transformer 各层的位置与数据流向:编码器如何理解输入、解码器如何逐词生成,注意力层、前馈层、位置编码、残差连接、层归一化各自承担什么职责。再梳理它从机器翻译走向 BERT、GPT 系列的演化脉络,帮读者建立对经典架构的整体认知。

预训练是什么意思?大模型还没学会聊天时在学什么

预训练是什么意思?大模型还没学会聊天时在学什么

AI百科
AI导航 32 次阅读
混合专家模型是什么?总参数很大,为什么每次只算一小部分

混合专家模型是什么?总参数很大,为什么每次只算一小部分

AI百科
AI导航 22 次阅读
注意力机制是什么?大模型处理长文本时靠它分配关注

注意力机制是什么?大模型处理长文本时靠它分配关注

AI百科
AI导航 33 次阅读
上下文窗口是什么意思?大模型一次能看多少内容的上限

上下文窗口是什么意思?大模型一次能看多少内容的上限

AI百科
AI导航 30 次阅读
Transformer 是什么?主流大模型都在用的核心架构

Transformer 是什么?主流大模型都在用的核心架构

AI百科
AI导航 32 次阅读
Token 是什么意思?大模型处理文字的最小单位

Token 是什么意思?大模型处理文字的最小单位

AI百科
AI导航 33 次阅读