Was sind Tokens in KI und LLMs?

Tokens sind die Grundeinheiten, die große Sprachmodelle (LLMs) zur Textverarbeitung verwenden. Ein Token entspricht etwa 4 englischen Zeichen. Sowohl Ein- als auch Ausgabe werden pro Token abgerechnet.

Wie funktioniert das Token-Zählen?

Verschiedene Modelle verwenden unterschiedliche Tokenizer. GPT-4o verwendet die o200k_base-Kodierung, GPT-4 verwendet cl100k_base. Derselbe Text kann bei unterschiedlicher Kodierung verschiedene Token-Zahlen ergeben.

Warum ist die Token-Anzahl für API-Kosten wichtig?

LLM-APIs berechnen pro Token, typischerweise pro Million Tokens. Ein- und Ausgabe haben unterschiedliche Preise, wobei die Ausgabe meist teurer ist. Das Verständnis der Token-Nutzung hilft bei der Prompt-Optimierung und Kostenkontrolle.

Token Counter

Tokens & Kosten schätzen

Token Counter

Encoding:

TEXT A

TEXT B

STATS & COST

Enter text to see token stats & visualization

Über KI-Tokens

Tokens sind die Grundeinheiten, die LLMs zur Textverarbeitung nutzen. Ein Token entspricht etwa 4 englischen Zeichen. GPT-4o verwendet o200k_base, GPT-4 verwendet cl100k_base — gleicher Text kann unterschiedliche Token-Zahlen ergeben.

API-Kosten werden pro Token berechnet — meist pro Million, wobei Ausgabe-Tokens teurer sind. Vorab Tokens zu zählen hilft, Prompts zu optimieren und Kosten für ChatGPT, Claude und Gemini vorherzusagen.

Ready

o200k_base

Verwandte:String Inspector