分词器

分词器把文字切成 Token 再编号，是大模型读懂输入的第一步：讲清切分规则、词表来源、它和字与词的区别，以及切分如何影响 Token 计数和上下文占用。

向量嵌入把文字、图片等内容变成一串数字坐标，意思越接近，位置越靠近。本文讲清它与Token、关键词检索的区别、相似度怎么算、它在RAG和语义搜索中的用法，以及换模型必须重建等限制，适合刚接触大模型检索的读者。

上下文窗口决定大模型一次能读入多少 Token，直接影响长文档处理和多轮对话的连贯性。本文讲清它的定义、与知识和记忆的区别、窗口满后的三种处理方式，以及长上下文、RAG 与分段处理各自的适用边界，适合刚接触大模型的读者。

Token 是大模型处理文字的最小单位。本文讲清 Token 的定义、切分原理、与字词的区别，以及它如何决定 API 计费、上下文长度和生成速度，适合想真正理解大模型工作原理的入门读者。