上下文窗口
解释大模型一次能读入多少 Token、窗口满了会怎样,以及长上下文、检索增强和分段处理各自适合的场景与取舍。
专题介绍
上下文窗口是大模型单次处理时能同时看到的 Token 上限,决定它能读多长的文档、记住多远的对话。这个专题围绕窗口大小的计算方式、注意力稀释与截断现象展开,并对比扩大窗口、检索增强生成和摘要压缩三条路线,帮助读者判断资料该整段交给模型,还是先检索、切分后再喂进去。
解释大模型一次能读入多少 Token、窗口满了会怎样,以及长上下文、检索增强和分段处理各自适合的场景与取舍。
上下文窗口是大模型单次处理时能同时看到的 Token 上限,决定它能读多长的文档、记住多远的对话。这个专题围绕窗口大小的计算方式、注意力稀释与截断现象展开,并对比扩大窗口、检索增强生成和摘要压缩三条路线,帮助读者判断资料该整段交给模型,还是先检索、切分后再喂进去。