位置编码

位置编码是给大模型标注词序的机制：注意力本身分不清先后，没有它，「猫追狗」和「狗追猫」会被看成同一袋词。本文讲清正弦编码、可学习嵌入与 RoPE 的区别、常见误解和长文本扩窗为何要动它，适合补 Transformer 原理基础的入门读者。

注意力机制是大模型给上下文中每个词分配重要程度的计算方法。本文用查询、键、值的直白说法讲清它如何工作、多头注意力有什么用、它与记忆的区别，以及计算量随长度平方增长的限制，适合想弄懂 Transformer 原理的入门读者。

向量嵌入把文字、图片等内容变成一串数字坐标，意思越接近，位置越靠近。本文讲清它与Token、关键词检索的区别、相似度怎么算、它在RAG和语义搜索中的用法，以及换模型必须重建等限制，适合刚接触大模型检索的读者。