¿Qué son los tokens en IA y LLMs?

Los tokens son las unidades básicas que los modelos de lenguaje (LLMs) usan para procesar texto. Un token corresponde aproximadamente a 4 caracteres en inglés. Tanto la entrada como la salida se facturan por token.

¿Cómo funciona el conteo de tokens?

Diferentes modelos usan diferentes tokenizadores. GPT-4o usa la codificación o200k_base mientras que GPT-4 usa cl100k_base. El mismo texto puede producir diferentes cantidades de tokens según la codificación.

¿Por qué importa la cantidad de tokens para los costos de API?

Las APIs de LLM cobran por token, generalmente con precios por millón de tokens. La entrada y la salida tienen tarifas diferentes, siendo la salida más cara. Entender el uso de tokens ayuda a optimizar prompts y controlar costos.

Token Counter

Estimar tokens y coste

Token Counter

Encoding:

TEXT A

TEXT B

STATS & COST

Enter text to see token stats & visualization

Sobre los Tokens IA

Los tokens son las unidades fundamentales que los LLM usan para procesar texto. Un token equivale a unos 4 caracteres en inglés. GPT-4o usa o200k_base y GPT-4 usa cl100k_base, produciendo diferentes conteos para el mismo texto.

Los costos de API se calculan por token — generalmente por millón, con los tokens de salida más caros. Contar tokens antes ayuda a optimizar prompts y predecir costos en ChatGPT, Claude y Gemini.

Ready

o200k_base

Relacionados:String Inspector