AI에서 토큰이란 무엇인가요?

토큰은 대규모 언어 모델(LLM)이 텍스트를 처리하는 기본 단위입니다. 1토큰은 영어 약 4자에 해당합니다. 입력과 출력 모두 토큰 단위로 과금됩니다.

토큰 카운팅은 어떻게 작동하나요?

모델마다 다른 토크나이저를 사용합니다. GPT-4o는 o200k_base, GPT-4는 cl100k_base를 사용합니다. 같은 텍스트도 인코딩에 따라 토큰 수가 달라집니다.

LLM API는 토큰 단위로 과금되며, 보통 100만 토큰당 가격이 책정됩니다. 입력과 출력의 요금이 다르며 출력이 더 비쌉니다. 토큰 사용량을 파악하면 프롬프트 최적화와 비용 관리에 도움됩니다.

토큰 수 및 비용 추정

Token Counter

Encoding:

TEXT A

TEXT B

STATS & COST

Enter text to see token stats & visualization

토큰은 LLM이 텍스트를 처리하는 기본 단위입니다. 1토큰은 영어 약 4자에 해당합니다. GPT-4o는 o200k_base, GPT-4는 cl100k_base를 사용하며, 같은 텍스트라도 인코딩에 따라 토큰 수가 달라집니다.

API는 토큰 단위로 과금되며 보통 100만 토큰당 가격이 책정됩니다. 출력이 입력보다 비쌉니다. 미리 토큰 수를 세면 ChatGPT, Claude, Gemini 등의 API 비용을 최적화할 수 있습니다.

Ready

o200k_base