全部文章标签

注意力机制

讲注意力机制怎么工作:模型按输入各部分的关联强度动态分配权重,抓住关键信息。它是 Transformer 与现代大模型的底层支柱,读懂了它才算摸到大模型的门。

专题介绍

从"查询-键-值"的直观计算讲起,到多头注意力、缩放点积公式的每一步含义,再到自注意力如何让模型一次看清整个序列的长程关联。配合生活化例子拆解注意力权重矩阵,讲清它为什么能取代循环结构成为现代大模型的通用组件,适合想真正理解大模型"注意力"在算什么的读者。

分组查询注意力是什么?大模型用分组共享键值省显存

分组查询注意力是什么?大模型用分组共享键值省显存

AI百科
AI导航 16 次阅读
位置编码是什么?大模型分不清词序时靠它标明顺序

位置编码是什么?大模型分不清词序时靠它标明顺序

AI百科
AI导航 16 次阅读
KV缓存是什么?大模型生成新词时靠它少算一遍前文

KV缓存是什么?大模型生成新词时靠它少算一遍前文

AI百科
AI导航 21 次阅读
注意力机制是什么?大模型处理长文本时靠它分配关注

注意力机制是什么?大模型处理长文本时靠它分配关注

AI百科
AI导航 34 次阅读
上下文窗口是什么意思?大模型一次能看多少内容的上限

上下文窗口是什么意思?大模型一次能看多少内容的上限

AI百科
AI导航 31 次阅读
Transformer 是什么?主流大模型都在用的核心架构

Transformer 是什么?主流大模型都在用的核心架构

AI百科
AI导航 33 次阅读
Token 是什么意思?大模型处理文字的最小单位

Token 是什么意思?大模型处理文字的最小单位

AI百科
AI导航 34 次阅读