Token 计数

Token 是大语言模型处理文本的基本单位，一个 token 约对应 4 个英文字符。不同模型使用不同分词器：GPT-4o 用 o200k_base，GPT-4 用 cl100k_base，相同文本会产生不同的 token 数。

API 按 token 计费，通常以百万 token 为单位定价，输出比输入更贵。提前计算 token 有助于优化 prompt、预估 ChatGPT、Claude、Gemini 等模型的调用成本。