Tokenizer

**什么是Tokens？语言模型是如何输出Tokens的？** **一、什么是Token？** 在自然语言处理中，**Token（标记）** 是指将文本分解成的基本单元。它可以是一个字、一个词，或者一个子词，具体取决于模型使用的**分词算法**。 以英文为例： * 单词 "chatGPT" 可能被分解成两个Token："chat" 和 "GPT" * 单词 "unbelievable" 可能被分成...