AI 中 Token 的概念是什么？

Token 代表 AI 模型处理的最小文本单元，类似于词语或词片段。它是语言模型赖以运行的基本构建块，使模型能够解释和生成人类语言。

Token 通过称为分词（Tokenization）的过程从原始文本中创建。存在不同的分词方法，根据空格、规则或针对语言模式优化的算法来分割文本。不同模型中 token 的具体数量差异显著；常见词语可能是单个 token，而复杂词语或标点符号通常会被拆分。重要的是，模型的输入和输出，以及上下文长度，都以 token 而非字符或词语来衡量和约束。

理解 token 对于高效的 AI 交互至关重要。它们决定了计算成本，影响响应长度限制，并影响提示词的处理方式，直接影响 AI 输出的相关性和质量。优化 token 使用有助于管理成本，并确保提示词适合模型的上下文窗口。