حاسبة التوكنات
احسب تكلفة استخدام نماذج اللغة الذكية. قدّر التوكنات من النص وقارن الأسعار بين نماذج مثل GPT-5 وClaude وGemini.
$
$
$0.02
الإدخال: $0.0050 · الإخراج: $0.01
$1.75
١٠٠ الطلبات في اليوم
$52.50
30 أيام
$638.75
365 أيام
تقدير التوكنات من النص
الأحرف
٠
الكلمات
٠
التوكنات المقدرة
~٠
حاسبة التوكنات. حساب عدد توكنات الذكاء الاصطناعي وتقدير تكلفة API لنماذج LLM.
حاسبة التوكنات تقدّر عدد التوكنات في أي نص وتحسب تكلفة API لنماذج مثل GPT وClaude وGemini وGrok وDeepSeek. تحوّل طول النص إلى توكنات باستخدام النسبة المعيارية وهي توكن واحد لكل 4 أحرف تقريبًا، ثم تطبّق سعر كل نموذج لكل مليون توكن لعرض تكاليف الإدخال والإخراج فورًا.
ما هو التوكن في نماذج الذكاء الاصطناعي؟
التوكن (Token) هو الوحدة الأساسية لقياس النصوص في نماذج اللغة الكبيرة (LLMs) مثل GPT وClaude وGemini وGrok وDeepSeek وMistral وLlama. كل نص يُرسل إلى نموذج ذكاء اصطناعي يُقسَّم إلى توكنات قبل معالجته، وتحدد هذه التوكنات تكلفة الاستخدام ومدى السياق المتاح.
في اللغة الإنجليزية، يعادل التوكن الواحد تقريبًا 4 أحرف أو 0.75 كلمة. لكن في اللغة العربية، الأمر مختلف تمامًا: النصوص العربية تستهلك توكنات أكثر بنسبة 70-130% مقارنة بالإنجليزية لنفس المعنى. هذا يعني أن تكلفة معالجة النصوص العربية عبر واجهات API تكون أعلى بشكل ملحوظ — وهي معلومة جوهرية لكل مطور سعودي يبني تطبيقات ذكاء اصطناعي.
حاسبة التوكنات تساعدك في تقدير عدد التوكنات في أي نص، وحساب التكلفة الفعلية لاستخدام واجهات برمجة التطبيقات (APIs) لنماذج مثل GPT-5.4 وClaude Sonnet وGemini Pro، ومقارنة الأسعار بين النماذج المختلفة لاختيار الأنسب لمشروعك وميزانيتك.
كيفية حساب تكلفة التوكنات في نماذج الذكاء الاصطناعي
لحساب تكلفة استخدام نموذج ذكاء اصطناعي عبر API، تحتاج إلى ثلاث معلومات أساسية: عدد توكنات الإدخال (النص الذي ترسله)، وعدد توكنات الإخراج (الرد الذي يولّده النموذج)، وسعر التوكن لكل مليون لدى المزود.
الخطوات التفصيلية:
1. قدّر عدد توكنات الإدخال: اقسم عدد الكلمات على 0.75 للنصوص الإنجليزية، أو على 0.4-0.5 للنصوص العربية (بسبب ارتفاع نسبة التوكنات في العربية).
2. قدّر عدد توكنات الإخراج: يعتمد على طول الرد المتوقع من النموذج. استجابة قصيرة (جملة أو جملتين) تستهلك 50-100 توكن، بينما استجابة مفصلة قد تصل إلى 500-2,000 توكن.
3. احسب التكلفة لكل جزء: اضرب عدد التوكنات في السعر لكل مليون توكن ثم اقسم على 1,000,000.
4. اجمع تكلفة الإدخال والإخراج للحصول على التكلفة الإجمالية للطلب الواحد.
5. اضرب في عدد الطلبات اليومية أو الشهرية لتقدير الميزانية الكاملة.
على سبيل المثال، إذا كان تطبيقك يعالج 1,000 طلب يوميًا بمتوسط 500 توكن إدخال و300 توكن إخراج باستخدام GPT-5.4 (2.50 دولار للإدخال و15 دولار للإخراج لكل مليون)، فالتكلفة اليومية تقارب 5.75 دولار (حوالي 22 ريال سعودي)، أي نحو 650 ريال سعودي شهريًا. حاسبة التوكنات أعلاه تحسب كل هذا تلقائيًا.
صيغة حساب تكلفة التوكنات
- = التكلفة الإجمالية للطلب الواحد (بالدولار الأمريكي)
- = عدد توكنات الإدخال (النص المُرسل إلى النموذج)
- = عدد توكنات الإخراج (الرد الذي يولّده النموذج)
- = سعر الإدخال لكل مليون توكن
- = سعر الإخراج لكل مليون توكن
لحساب التكلفة بالريال السعودي، اضرب النتيجة في سعر الصرف (1 دولار = 3.75 ريال سعودي تقريبًا):
لتقدير التكلفة الشهرية لتطبيق كامل، استخدم الصيغة الموسعة:
حيث هو عدد الطلبات اليومية المتوقعة. تختلف الأسعار بشكل كبير بين النماذج: GPT-5.4 يكلف 2.50 دولار للإدخال و15 دولار للإخراج لكل مليون توكن، بينما Claude Sonnet 4.6 يكلف 3 دولار للإدخال و15 دولار للإخراج، وGemini 2.5 Pro يكلف 1.25 دولار للإدخال و10 دولار للإخراج. اختيار النموذج المناسب يمكن أن يوفر آلاف الريالات شهريًا حسب حجم الاستخدام.
أمثلة عملية لحساب تكلفة التوكنات
شات بوت خدمة عملاء لمتجر إلكتروني سعودي
متجر إلكتروني في السعودية يريد إضافة شات بوت ذكي يعتمد على GPT-5.4 Nano لخدمة العملاء. يتلقى المتجر حوالي 500 محادثة يوميًا، كل محادثة تتضمن 3 رسائل وسطيًا. المحادثة الواحدة تستهلك حوالي 800 توكن إدخال (سؤال العميل + سياق المنتجات) و400 توكن إخراج (رد البوت). باستخدام GPT-5.4 Nano بسعر 0.20 دولار/مليون إدخال و1.25 دولار/مليون إخراج: التكلفة اليومية = (500 × 3 × 800 × 0.20 / 1,000,000) + (500 × 3 × 400 × 1.25 / 1,000,000) = 0.24 + 0.75 = 0.99 دولار يوميًا، أي حوالي 111 ريال سعودي شهريًا فقط. لو استخدم Claude Sonnet 4.6 بدلًا منه، ستصل التكلفة إلى حوالي 1,400 ريال شهريًا — فرق 13 ضعفًا تقريبًا.
تطبيق تلخيص مقالات بالعربية باستخدام Claude Sonnet
مطور سعودي يبني تطبيقًا لتلخيص المقالات الإخبارية العربية. المقالة الواحدة بالعربية (800 كلمة) تستهلك حوالي 1,800 توكن بسبب ارتفاع نسبة التوكنات في العربية (مقارنة بـ 1,100 توكن لو كانت بالإنجليزية). الملخص المطلوب حوالي 200 كلمة = 450 توكن. باستخدام Claude Sonnet 4.6 بسعر 3 دولار/مليون إدخال و15 دولار/مليون إخراج: تكلفة تلخيص مقالة واحدة = (1,800 × 3 + 450 × 15) / 1,000,000 = 0.0122 دولار (0.046 ريال). لتلخيص 200 مقالة يوميًا: 2.44 دولار = 9.15 ريال يوميًا، أو حوالي 275 ريال سعودي شهريًا. ملاحظة مهمة: لو كان المحتوى بالإنجليزية، لكانت التكلفة أقل بنحو 40% بسبب كفاءة التوكنات في الإنجليزية.
مقارنة التكلفة الشهرية بين ثلاثة نماذج لنفس المشروع
شركة ناشئة سعودية تبني مساعدًا ذكيًا يعالج 5,000 طلب يوميًا بمتوسط 600 توكن إدخال و800 توكن إخراج. التكلفة الشهرية لكل نموذج:
GPT-5.4 (2.50/15 دولار لكل مليون): (5,000 × 600 × 2.50 + 5,000 × 800 × 15) / 1,000,000 × 30 = 2,025 دولار = 7,594 ريال شهريًا.
Claude Sonnet 4.6 (3/15 دولار لكل مليون): (5,000 × 600 × 3 + 5,000 × 800 × 15) / 1,000,000 × 30 = 2,070 دولار = 7,763 ريال شهريًا.
Gemini 2.5 Pro (1.25/10 دولار لكل مليون): (5,000 × 600 × 1.25 + 5,000 × 800 × 10) / 1,000,000 × 30 = 1,313 دولار = 4,922 ريال شهريًا.
الفرق بين الأرخص (Gemini) والأغلى (Claude Sonnet) يبلغ 2,841 ريال شهريًا — ما يعادل 34,000 ريال سنويًا. اختيار النموذج المناسب قرار مالي بالغ الأهمية.
نصائح لتقليل تكلفة التوكنات في مشاريع الذكاء الاصطناعي
- استخدم النماذج الاقتصادية للمهام البسيطة. نماذج الميزانية مثل GPT-5.4 Nano وGPT-5.4 Mini وGemini 2.5 Flash-Lite وClaude Haiku 4.5 وDeepSeek V4 Flash وAmazon Nova Micro وMistral Small 4 تكلف جزءًا صغيرًا من النماذج المتقدمة مثل GPT-5.5 وGPT-5.4 وClaude Fable 5 وClaude Sonnet/Opus وGemini 3.1 Pro وGrok 4.3، وقد تؤدي المهمة بكفاءة كافية لمعظم حالات الاستخدام مثل التصنيف والتلخيص البسيط والإجابة عن أسئلة متكررة. كما يمكنك استكشاف النماذج مفتوحة المصدر مثل Llama 4 وMistral Small 4 وDeepSeek V4 لتشغيلها على سيرفراتك أو عبر منصات مثل Groq وتوفير تكاليف الـ API بالكامل.
- فعّل التخزين المؤقت (Prompt Caching). Anthropic وOpenAI يقدمان خصومات تصل إلى 90% على التوكنات المخزنة مؤقتًا. إذا كان prompt النظام ثابتًا عبر الطلبات، فالتخزين المؤقت يوفر آلاف الريالات شهريًا.
- قلّص حجم السياق. أرسل فقط المعلومات الضرورية في كل طلب. استخراج البيانات المهمة مسبقًا وتضمينها بدلًا من إرسال مستندات كاملة يقلل التوكنات بشكل كبير.
- انتبه لتكلفة العربية الإضافية. النصوص العربية تستهلك توكنات أكثر بنسبة 70-130% من الإنجليزية. إذا أمكن، عالج البيانات الوسيطة بالإنجليزية وترجم فقط المدخلات والمخرجات النهائية للعميل.
- استخدم نظام التوجيه الذكي (Routing). وجّه الطلبات البسيطة للنماذج الرخيصة والطلبات المعقدة فقط للنماذج الكبرى. يمكن لنموذج صغير أن يصنف الطلب أولًا ثم يختار النموذج المناسب.
- راقب استهلاكك يوميًا. ضع حدودًا للإنفاق (spending limits) في لوحة تحكم المزود وفعّل التنبيهات. مطور واحد نسي حلقة تكرار خاطئة يمكن أن يستهلك ميزانية شهر كامل في ساعات.
- قارن الأسعار بانتظام. قوائم نماذج الذكاء الاصطناعي وأسعارها تتغير باستمرار — سحبت OpenAI عائلات كاملة من قائمة أسعارها القياسية خلال أشهر، ودمجت DeepSeek عائلتي V3.2 وR1 في عائلة V4. مراجعة الأسعار كل شهر يمكن أن يكشف فرص توفير كبيرة.
الأسئلة الشائعة حول حساب تكلفة التوكنات
كم توكن تساوي الكلمة الواحدة بالعربية؟
في المتوسط، الكلمة العربية الواحدة تستهلك 2-3 توكنات في نماذج مثل GPT وClaude، مقارنة بـ 1.3 توكن للكلمة الإنجليزية. هذا يعني أن النصوص العربية تكلف 70-130% أكثر من الإنجليزية لنفس المحتوى. السبب هو أن أنظمة الترميز (tokenizers) مثل tiktoken مُحسَّنة أساسًا للإنجليزية واللغات اللاتينية، بينما العربية لغة صرفية غنية تحتاج تقسيمًا أدق للكلمات.
ما الفرق بين توكنات الإدخال وتوكنات الإخراج في السعر؟
توكنات الإخراج أغلى بكثير من توكنات الإدخال لدى جميع المزودين. في Claude Sonnet 4.6 مثلًا، سعر الإخراج 15 دولار/مليون بينما الإدخال 3 دولار/مليون — أي أن الإخراج أغلى بـ 5 أضعاف. السبب أن توليد النص يتطلب حسابات أكثر تعقيدًا من قراءته. لذلك، تقليل طول الردود المطلوبة (مثلًا بطلب إجابات مختصرة) يوفر تكلفة أكبر من تقليل حجم الإدخال.
ما هو أرخص نموذج ذكاء اصطناعي للمطورين في 2026؟
أرخص النماذج القوية حتى يونيو 2026 هي: Amazon Nova Micro بسعر 0.035/0.14 دولار لكل مليون توكن، وGemini 2.5 Flash-Lite بسعر 0.10 دولار للإدخال و0.40 دولار للإخراج (0.375 و1.50 ريال سعودي)، وMistral Small 4 بسعر 0.15/0.60 دولار، وDeepSeek V4 Flash بسعر 0.14/0.28 دولار، وGPT-5.4 Nano بسعر 0.20/1.25 دولار. هذه النماذج ممتازة للمهام البسيطة مثل التصنيف والتلخيص والدردشة العامة. في الفئة المتوسطة، DeepSeek V4 Pro (0.435/0.87 دولار) وGPT-5.4 Mini (0.75/4.50 دولار) وClaude Haiku 4.5 (1/5 دولار) وGrok 4.3 (1.25/2.50 دولار) تقدم قيمة ممتازة. لكن للمهام المعقدة مثل التحليل والبرمجة والتفكير المنطقي، النماذج المتقدمة مثل Gemini 3.1 Pro (2/12 دولار) وGPT-5.4 (2.50/15 دولار) وClaude Sonnet 4.6 (3/15 دولار) وClaude Opus 4.8 (5/25 دولار) وGPT-5.5 (5/30 دولار) وClaude Fable 5 (10/50 دولار) توفر جودة أعلى بكثير. كما يمكنك تشغيل نماذج مفتوحة المصدر مثل Llama 4 وDeepSeek V4 على سيرفراتك لتوفير التكلفة بالكامل.
كم تكلف مكالمة API واحدة لنموذج GPT-5.4؟
تكلفة مكالمة API واحدة لـ GPT-5.4 تعتمد على حجم النص. لسؤال بسيط (100 توكن إدخال + 200 توكن إخراج): التكلفة = (100 × 2.50 + 200 × 15) / 1,000,000 = 0.00325 دولار = 0.0122 ريال سعودي — نحو هللة واحدة فقط. لمحادثة طويلة (2,000 توكن إدخال + 1,000 توكن إخراج): التكلفة = 0.02 دولار = 0.075 ريال. هذا يعني أن 1 ريال سعودي يكفي لحوالي 13 محادثة طويلة أو 82 سؤالًا بسيطًا مع GPT-5.4.
هل تكلفة استخدام ChatGPT عبر الاشتراك أرخص من API؟
يعتمد على حجم الاستخدام. اشتراك ChatGPT Plus يكلف 20 دولارًا شهريًا (75 ريال سعودي) ويوفر استخدامًا سخيًا لكن محدودًا لأحدث النماذج مثل GPT-5.5. أما API فتدفع حسب الاستهلاك الفعلي. إذا كنت تستخدم أقل من 6,000 طلب شهريًا (بمتوسط 500 توكن لكل طلب)، فـ API أرخص. لكن الاشتراك يتفوق إذا كنت مستخدمًا فرديًا تحتاج واجهة المحادثة. للتطبيقات والمنتجات البرمجية، API هو الخيار الوحيد.
ما الفرق بين GPT-5.4 وClaude Sonnet وGemini Pro من حيث التكلفة؟
بمقارنة أسعار يونيو 2026 لكل مليون توكن: GPT-5.4 يكلف 2.50 دولار إدخال و15 دولار إخراج. Claude Sonnet 4.6 يكلف 3 دولار إدخال و15 دولار إخراج. Gemini 2.5 Pro يكلف 1.25 دولار إدخال و10 دولار إخراج. Gemini الأرخص إدخالًا بفارق 50% عن GPT-5.4، أما في الإخراج فيتساوى GPT-5.4 وClaude عند 15 دولارًا بينما Gemini أرخص منهما بالثلث. الاختيار لا يعتمد على السعر فقط: Claude يتفوق في النصوص الطويلة والتحليل، GPT-5.4 في التعددية والأدوات، وGemini في السياق الطويل (حتى مليون توكن).
كيف أقلل تكلفة معالجة النصوص العربية عبر API؟
النصوص العربية أغلى بسبب كثافة التوكنات. لتقليل التكلفة: استخدم التخزين المؤقت (Prompt Caching) لأن prompt النظام الثابت يمكن تخزينه بخصم 90%. قلّص النص قبل إرساله بإزالة التشكيل والمسافات الزائدة. استخدم Few-shot examples بالإنجليزية مع تعليمات بالعربية فقط. فعّل Batch API من OpenAI للطلبات غير العاجلة بخصم 50%. وفكّر في استخدام نماذج عربية متخصصة مثل نموذج علّام السعودي التي قد تكون أكثر كفاءة في ترميز العربية.
ما هو حد السياق (Context Window) ولماذا يؤثر على التكلفة؟
حد السياق هو الحد الأقصى لعدد التوكنات التي يمكن للنموذج معالجتها في طلب واحد (إدخال + إخراج). Claude Fable 5 وClaude Opus 4.8 وClaude Sonnet 4.6 تشمل نافذة سياق كاملة من 1,000,000 توكن بالتسعير القياسي، وGrok 4.3 وDeepSeek V4 يدعمان مليون توكن أيضًا، وGemini 2.5 Pro يدعم حتى 1,048,576 توكن. كل توكن ضمن السياق يُحسب في التكلفة. إذا أرسلت مستندًا طويلًا من 50,000 توكن مع سؤال بسيط، فأنت تدفع ثمن 50,000 توكن إدخال حتى لو كان الجواب في سطر واحد. لذا، استخراج المقاطع ذات الصلة قبل الإرسال يوفر تكلفة كبيرة.
ما الفرق بين مزودي نماذج الذكاء الاصطناعي الرئيسيين؟
في يونيو 2026، يتنافس عدة مزودين رئيسيين في سوق نماذج الذكاء الاصطناعي: OpenAI تقدم عائلة GPT-5.4 (من GPT-5.4 Nano الاقتصادي إلى GPT-5.4 المتقدم) وGPT-5.5 كنموذجها الرائد، وتتميز بالتعددية والأدوات. Anthropic تقدم عائلة Claude (Haiku 4.5 الاقتصادي، Sonnet 4.6 المتوازن، Opus 4.8 المتقدم، وFable 5 الأقوى) وتتميز في التحليل والنصوص الطويلة بسياق يصل إلى مليون توكن. Google تقدم عائلة Gemini (Gemini 2.5 Flash-Lite الأرخص، Gemini 3.6 Flash وGemini 3.5 Flash السريعان، وGemini 3.1 Pro المتقدم) وتتميز بالسياق الطويل حتى مليون توكن. xAI تقدم Grok 4.3 بسياق مليون توكن وتتميز بالسرعة والتكامل مع منصة X. DeepSeek تقدم عائلة V4 (Pro وFlash) كنماذج مفتوحة المصدر بأسعار تنافسية جدًا. Mistral تقدم Small 4 وMedium 3.5 وLarge 3 كنماذج أوروبية قوية. Meta تقدم Llama 4 كنموذج مفتوح المصدر بالكامل يمكن تشغيله على سيرفراتك الخاصة.
ما هو أفضل نموذج ذكاء اصطناعي لكل نوع من المهام؟
يعتمد اختيار النموذج على طبيعة المهمة والميزانية. للبرمجة وتوليد الأكواد: Claude Fable 5 وClaude Sonnet/Opus وGPT-5.5 وGPT-5.4 هي الأفضل، وDeepSeek V4 Pro خيار اقتصادي قوي. للتحليل والنصوص الطويلة: Claude Opus 4.8 وGemini 3.1 Pro يتفوقان بفضل السياق الطويل. للدردشة وخدمة العملاء: GPT-5.4 Nano وClaude Haiku 4.5 وGrok 4.3 توفر توازنًا ممتازًا بين الجودة والتكلفة. للبحث والاستدلال المنطقي: GPT-5.5 وGPT-5.4 وGemini 3.1 Pro يقدمون أفضل أداء. للمشاريع بميزانية محدودة: النماذج مفتوحة المصدر مثل Llama 4 وMistral Small 4 وDeepSeek V4 يمكن تشغيلها عبر Groq أو على سيرفراتك بدون تكلفة API. للنصوص العربية تحديدًا: اختبر عدة نماذج لأن أداء الترميز (tokenization) يختلف بين النماذج.
كم تبلغ تكلفة GPT-5.6 Sol لكل مليون توكن؟
تبلغ تكلفة GPT-5.6 Sol 5 دولار لكل مليون توكن إدخال و30 دولار لكل مليون توكن إخراج، بينما Terra بسعر 2/12 دولار وLuna بسعر 0.20/1.20 دولار. في روبوت محادثة يستخدم 2,000 توكن إدخال و500 توكن إخراج بمعدل 100 طلب يوميًا، تصبح التكلفة 75.00 دولار شهريًا على Sol و30.00 دولار على Terra و3.00 دولار على Luna — أي أن الفارق بين أرخص فئة وأغلاها هو 25 ضعفًا بالضبط.
كم تبلغ تكلفة Claude Opus 5 وهل هو أرخص من GPT-5.6 Sol؟
يكلف Claude Opus 5 خمسة دولارات لكل مليون توكن إدخال و25 دولارًا للإخراج، وClaude Sonnet 5 بسعر 3/15 دولار. سعر الإدخال في Opus 5 مماثل لسعر GPT-5.6 Sol لكن الإخراج أرخص، لذا تعتمد الإجابة على نسبة الإدخال إلى الإخراج لديك: في روبوت المحادثة نفسه 2,000/500 بمعدل 100 طلب يوميًا يكلف Opus 5 مبلغ 67.50 دولار شهريًا مقابل 75.00 دولار لـ Sol، أما في المهام التي يغلب عليها الإدخال فالفارق بينهما أقل من سنت واحد لكل طلب.
هل يكلف الموديل الجديد بنفس السعر المبلغ نفسه فعلاً؟
ليس دائمًا. تستخدم موديلات Claude 4.7 وما بعدها (Opus 5 وOpus 4.8 وSonnet 5) مُقسِّم توكنات جديدًا يحوّل النص نفسه إلى عدد توكنات أكبر بنحو 30% مقارنة بـ Sonnet 4.6 وما قبله. سعر Sonnet 5 وSonnet 4.6 متطابق عند 3/15 دولار، لكن حملاً كان يكلف 40.50 دولار شهريًا على Sonnet 4.6 يصبح نحو 52.65 دولار على Sonnet 5. أما الانتقال من Opus 4.8 إلى Opus 5 فمحايد، لأن كليهما يستخدم المُقسِّم الجديد أصلاً.
المصطلحات الرئيسية
توكن (Token)
الوحدة الأساسية لقياس النصوص في نماذج اللغة الكبيرة. يمثل جزءًا من كلمة أو كلمة كاملة أو علامة ترقيم، ويُستخدم لحساب تكلفة الاستخدام وحد السياق.
واجهة برمجة التطبيقات (API)
واجهة تتيح للمطورين الاتصال بنماذج الذكاء الاصطناعي برمجيًا وإرسال طلبات واستقبال ردود. الدفع يكون حسب عدد التوكنات المُعالجة.
نموذج اللغة الكبير (LLM)
نموذج ذكاء اصطناعي مدرَّب على كميات هائلة من النصوص لفهم اللغة البشرية وتوليدها. أمثلة: GPT-5.5 وGPT-5.4 من OpenAI، وClaude Fable 5 وClaude Opus/Sonnet من Anthropic، وGemini 3.1 Pro من Google، وGrok 4.3 من xAI، وDeepSeek V4، وMistral Large 3، وLlama 4 من Meta.
حد السياق (Context Window)
الحد الأقصى لعدد التوكنات التي يمكن للنموذج معالجتها في طلب واحد. يتراوح بين 128 ألف توكن في النماذج الأصغر ومليون توكن أو أكثر في Claude Fable 5 وClaude Opus 4.8 وClaude Sonnet 4.6 وGrok 4.3 وDeepSeek V4 وGemini 2.5 Pro.
المُرمِّز (Tokenizer)
الخوارزمية التي تقسم النص إلى توكنات قبل إرساله للنموذج. أشهرها tiktoken من OpenAI وSentencePiece المُستخدم في عدة نماذج. أداء المُرمِّز يختلف حسب اللغة.
التخزين المؤقت للسياق (Prompt Caching)
تقنية تحفظ التوكنات المتكررة بين الطلبات (مثل prompt النظام) لإعادة استخدامها بتكلفة مخفضة تصل إلى 90%. متاحة لدى Anthropic وOpenAI.
سعر لكل مليون توكن (Cost per Million Tokens)
وحدة التسعير القياسية لواجهات API لنماذج الذكاء الاصطناعي. الأسعار مقسمة عادة إلى سعر الإدخال (أرخص) وسعر الإخراج (أغلى بـ 3-5 أضعاف).