Token Counter

トークンはLLMがテキストを処理する基本単位です。1トークンは英語約4文字に対応します。GPT-4oはo200k_base、GPT-4はcl100k_baseを使用し、同じテキストでもエンコーディングによりトークン数が異なります。

APIはトークン単位で課金され、通常100万トークンあたりの価格で、出力は入力より高価です。事前にトークン数を数えることで、ChatGPT、Claude、GeminiなどのAPIコストを最適化できます。