ما هي التوكنات في الذكاء الاصطناعي؟

التوكنات هي الوحدات الأساسية التي تستخدمها نماذج اللغة الكبيرة لمعالجة النص. يعادل التوكن الواحد حوالي 4 أحرف إنجليزية. تتم المحاسبة على المدخلات والمخرجات بالتوكن.

كيف يعمل عد التوكنات؟

تستخدم النماذج المختلفة محللات نصية مختلفة. يستخدم GPT-4o ترميز o200k_base بينما يستخدم GPT-4 ترميز cl100k_base. قد ينتج النص نفسه عدداً مختلفاً من التوكنات حسب الترميز.

لماذا يهم عدد التوكنات في تكاليف الـ API؟

تفرض واجهات برمجة تطبيقات LLM رسوماً لكل توكن، وعادة ما يتم تسعيرها لكل مليون توكن. للمدخلات والمخرجات أسعار مختلفة، وعادة ما تكون المخرجات أغلى. فهم استخدام التوكنات يساعد في تحسين الأوامر والتحكم في التكاليف.

Token Counter

تقدير التوكنات والتكلفة

Token Counter

Encoding:

TEXT A

TEXT B

STATS & COST

Enter text to see token stats & visualization

حول توكنات الذكاء الاصطناعي

التوكنات هي الوحدات الأساسية التي تستخدمها نماذج اللغة الكبيرة. يعادل التوكن حوالي 4 أحرف إنجليزية. يستخدم GPT-4o ترميز o200k_base و GPT-4 يستخدم cl100k_base، مما ينتج أعداداً مختلفة لنفس النص.

تُحسب تكاليف API لكل توكن — عادةً لكل مليون توكن، وتوكنات المخرجات أغلى. عد التوكنات مسبقاً يساعد في تحسين الأوامر وتوقع تكاليف ChatGPT و Claude و Gemini.

Ready

o200k_base

ذات صلة:String Inspector