全部文章标签

注意力机制

讲注意力机制怎么工作:模型按输入各部分的关联强度动态分配权重,抓住关键信息。它是 Transformer 与现代大模型的底层支柱,读懂了它才算摸到大模型的门。

专题介绍

从"查询-键-值"的直观计算讲起,到多头注意力、缩放点积公式的每一步含义,再到自注意力如何让模型一次看清整个序列的长程关联。配合生活化例子拆解注意力权重矩阵,讲清它为什么能取代循环结构成为现代大模型的通用组件,适合想真正理解大模型"注意力"在算什么的读者。

Token 是什么意思?大模型处理文字的最小单位

Token 是什么意思?大模型处理文字的最小单位

AI百科
AI导航 2 次阅读