旋转位置编码

位置编码是给大模型标注词序的机制：注意力本身分不清先后，没有它，「猫追狗」和「狗追猫」会被看成同一袋词。本文讲清正弦编码、可学习嵌入与 RoPE 的区别、常见误解和长文本扩窗为何要动它，适合补 Transformer 原理基础的入门读者。

注意力机制是大模型给上下文中每个词分配重要程度的计算方法。本文用查询、键、值的直白说法讲清它如何工作、多头注意力有什么用、它与记忆的区别，以及计算量随长度平方增长的限制，适合想弄懂 Transformer 原理的入门读者。

上下文窗口决定大模型一次能读入多少 Token，直接影响长文档处理和多轮对话的连贯性。本文讲清它的定义、与知识和记忆的区别、窗口满后的三种处理方式，以及长上下文、RAG 与分段处理各自的适用边界，适合刚接触大模型的读者。