Smart Calculators

Smart

Calculators

টোকেন ক্যালকুলেটর

AI ভাষা মডেল ব্যবহারের খরচ গণনা করুন। টেক্সট থেকে টোকেন অনুমান করুন এবং GPT-4, Claude ও Gemini-এর মতো মডেলের মূল্য তুলনা করুন।

টোকেন ক্যালকুলেটর। AI টোকেন গণনা এবং LLM মডেলের জন্য API খরচ অনুমান।
টোকেন ক্যালকুলেটর টেক্সটে টোকেনের সংখ্যা অনুমান করে এবং GPT, Claude, Gemini, Grok ও DeepSeek-এর মতো AI মডেলের API খরচ গণনা করে। এটি প্রতি ৪ অক্ষরে প্রায় ১ টোকেন স্ট্যান্ডার্ড অনুপাত ব্যবহার করে টেক্সটের দৈর্ঘ্যকে টোকেনে রূপান্তর করে এবং প্রতিটি মডেলের প্রতি দশ লক্ষ টোকেন মূল্য প্রয়োগ করে ইনপুট ও আউটপুট খরচ তাৎক্ষণিকভাবে দেখায়।

AI টোকেন ক্যালকুলেটর কী?

AI টোকেন ক্যালকুলেটর এমন একটি টুল যা আপনার টেক্সটে কতগুলো টোকেন আছে তা অনুমান করে এবং GPT, Claude, Gemini, Grok, DeepSeek, Mistral ও Llama-এর মতো লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) API-তে সেই টেক্সট প্রসেস করার খরচ হিসাব করে। টোকেন হলো সেই ক্ষুদ্রতম একক যা AI মডেলগুলো টেক্সট পড়তে ও তৈরি করতে ব্যবহার করে — একটি টোকেন একটি সম্পূর্ণ শব্দ, শব্দের অংশ, বা এমনকি একটি অক্ষরও হতে পারে।
বাংলাদেশে যারা AI-চালিত অ্যাপ্লিকেশন তৈরি করছেন, তাদের জন্য টোকেন খরচ বোঝা অত্যন্ত জরুরি। প্রতিটি API কলের বিল দুই ধরনের টোকেনের ভিত্তিতে হয়: ইনপুট টোকেন (আপনার প্রম্পট) এবং আউটপুট টোকেন (মডেলের উত্তর)। একটি API কলে হয়তো পয়সার ভগ্নাংশ খরচ হয়, কিন্তু বড় পরিসরে — দিনে হাজার বা লাখ রিকোয়েস্ট — টোকেন খরচ একটি প্রধান ব্যয়খাত হয়ে দাঁড়ায়।
বাংলাদেশি ডেভেলপারদের জন্য একটি গুরুত্বপূর্ণ বিষয়: বাংলা টেক্সটে ইংরেজির তুলনায় ৩-৫ গুণ বেশি টোকেন লাগে। ইংরেজিতে ১,০০০ শব্দ প্রায় ১,৩৩৩ টোকেন হয়, কিন্তু বাংলায় সমপরিমাণ তথ্য প্রকাশ করতে ৪,০০০-৬,০০০ টোকেন লাগতে পারে। এর কারণ হলো LLM টোকেনাইজারগুলো মূলত ইংরেজি ডেটায় প্রশিক্ষিত, তাই বাংলার মতো নন-লাতিন স্ক্রিপ্টের ভাষাগুলোকে অনেক বেশি খণ্ডে বিভক্ত করে প্রসেস করতে হয়।

AI টোকেন খরচ কীভাবে হিসাব করবেন

AI API-এর খরচ হিসাব করতে আপনার তিনটি তথ্য দরকার: ইনপুট টোকেনের সংখ্যা, আউটপুট টোকেনের সংখ্যা, এবং আপনার নির্বাচিত মডেলের প্রতি-টোকেন মূল্য।
ধাপে ধাপে প্রক্রিয়া:
1. আপনার ইনপুট টোকেন অনুমান করুন। টেক্সটটি একটি টোকেন কাউন্টারে পেস্ট করুন, অথবা ইংরেজির জন্য প্রতি ৪ ক্যারেক্টারে ১ টোকেন এবং বাংলার জন্য প্রতি শব্দে ৩-৫ টোকেন ধরে অনুমান করুন।
2. আউটপুট টোকেন অনুমান করুন। মডেলের উত্তর কত দীর্ঘ হবে তা আন্দাজ করুন — একটি সংক্ষিপ্ত উত্তর ১০০-৩০০ টোকেন, বিস্তারিত ব্যাখ্যা ১,০০০-২,০০০ টোকেন হতে পারে।
3. মডেলের মূল্য দেখুন। AI প্রদানকারীরা প্রতি ১০ লাখ (1 million) টোকেনের হিসাবে দাম প্রকাশ করে, ইনপুট ও আউটপুটের জন্য আলাদা দর থাকে।
4. নিচের সূত্র প্রয়োগ করুন।
উদাহরণস্বরূপ, আপনি যদি Claude Sonnet 4.6-এ ($3/1M ইনপুট, $15/1M আউটপুট) ২,০০০ টোকেনের প্রম্পট পাঠান এবং ৫০০ টোকেনের উত্তর পান, তাহলে খরচ: (2,000 / 1,000,000 x $3) + (500 / 1,000,000 x $15) = $0.006 + $0.0075 = $0.0135, অর্থাৎ প্রায় ৳১.৬২ প্রতি রিকোয়েস্ট। দিনে ১০,০০০ রিকোয়েস্টে এটি দাঁড়ায় দৈনিক ৳১৬,২০০ বা মাসে প্রায় ৳৪,৮৬,০০০।
আউটপুট টোকেন সাধারণত ইনপুটের চেয়ে ৩-৫ গুণ বেশি দামি। এর কারণ হলো ইনপুট টোকেনগুলো একসাথে সমান্তরালভাবে প্রসেস হয়, কিন্তু আউটপুটের প্রতিটি টোকেন ক্রমানুসারে একটি একটি করে তৈরি করতে হয়, যা অনেক বেশি গণনা-নিবিড়।

AI টোকেন খরচের সূত্র

C=Tin×Pin1,000,000+Tout×Pout1,000,000C = \frac{T_{in} \times P_{in}}{1{,}000{,}000} + \frac{T_{out} \times P_{out}}{1{,}000{,}000}
  • CC = API কলের মোট খরচ (USD-এ, BDT-তে রূপান্তরের জন্য বর্তমান বিনিময় হার দিয়ে গুণ করুন)
  • TinT_{in} = ইনপুট টোকেনের সংখ্যা (প্রম্পট, সিস্টেম মেসেজ, কনটেক্সট)
  • ToutT_{out} = আউটপুট টোকেনের সংখ্যা (মডেলের তৈরি করা উত্তর)
  • PinP_{in} = প্রতি ১০ লাখ ইনপুট টোকেনের দাম (USD)
  • PoutP_{out} = প্রতি ১০ লাখ আউটপুট টোকেনের দাম (USD)
মাসিক বা বার্ষিক খরচ হিসাব করতে রিকোয়েস্ট ভলিউম যোগ করুন:
Cmonthly=(Tin×Pin+Tout×Pout1,000,000)×R×30C_{monthly} = \left(\frac{T_{in} \times P_{in} + T_{out} \times P_{out}}{1{,}000{,}000}\right) \times R \times 30
যেখানে R হলো দৈনিক API রিকোয়েস্টের সংখ্যা। প্রম্পট ক্যাশিং ব্যবহার করলে (OpenAI, Anthropic, Google সবাই সমর্থন করে) ক্যাশ করা ইনপুট টোকেন সাধারণ দরের ১০-৫০%-এ বিল হয়, যা বারবার একই সিস্টেম প্রম্পট পাঠানো অ্যাপ্লিকেশনগুলোর জন্য উল্লেখযোগ্য সাশ্রয় আনে।
বাংলা টেক্সটের জন্য টোকেন অনুমান: ইংরেজিতে ১ শব্দ প্রায় ১.৩৩ টোকেন, বাংলায় ১ শব্দ প্রায় ৩-৫ টোকেন, এবং কোডে ১ লাইন প্রায় ১০-১৫ টোকেন। সঠিক গণনার জন্য আমাদের ক্যালকুলেটর ব্যবহার করুন।

AI টোকেন খরচের বাস্তব উদাহরণ

বাংলাদেশি স্টার্টআপের গ্রাহক সেবা চ্যাটবট: মাসিক খরচ

একটি ঢাকা-ভিত্তিক স্টার্টআপ GPT-4.1 mini ($0.40/1M ইনপুট, $1.60/1M আউটপুট) ব্যবহার করে একটি গ্রাহক সেবা চ্যাটবট চালাচ্ছে। দৈনিক ৫,০০০ কথোপকথন হয়, প্রতিটিতে গড়ে ৮০০ ইনপুট টোকেন ও ৪০০ আউটপুট টোকেন লাগে।
ইনপুট খরচ: 5,000 x 30 x 800 / 1,000,000 x $0.40 = $48.00 আউটপুট খরচ: 5,000 x 30 x 400 / 1,000,000 x $1.60 = $96.00 মোট মাসিক খরচ: $144.00 বা প্রায় ৳১৭,২৮০
তবে চ্যাটবটটি যদি বাংলায় উত্তর দেয়, তাহলে আউটপুট টোকেন ৩ গুণ বেশি লাগবে (৪০০-এর বদলে ১,২০০), ফলে আউটপুট খরচ ৳৩৪,৫৬০-এ বেড়ে যাবে — মোট খরচ প্রায় ৳৪০,৩২০/মাস। Claude Sonnet 4.6 ($3/$15) ব্যবহার করলে একই কাজে খরচ হবে প্রায় ৳৩,৮৮,৮০০/মাস — প্রায় ১০ গুণ বেশি। মডেল নির্বাচনই খরচ নিয়ন্ত্রণের সবচেয়ে বড় হাতিয়ার।

বাংলা বনাম ইংরেজি: একই কাজে টোকেন খরচে কত পার্থক্য?

ধরুন আপনি একটি প্রম্পট পাঠাচ্ছেন — "এই পণ্যের বৈশিষ্ট্যগুলো বর্ণনা করুন" বনাম "Describe the features of this product"। ইংরেজি সংস্করণ GPT-4o টোকেনাইজারে প্রায় ৮ টোকেন নেয়, কিন্তু বাংলা সংস্করণে লাগতে পারে ২৫-৩৫ টোকেন — প্রায় ৪ গুণ বেশি।
Claude Sonnet ($3/$15 প্রতি 1M) দিয়ে দৈনিক ৫০,০০০ বাংলা প্রম্পট পাঠালে, মাসিক খরচ ইংরেজির তুলনায় প্রায় ৳৩,৬০,০০০-৳৪,৮০,০০০ বেশি হতে পারে। GPT-4o-এর নতুন o200k_base টোকেনাইজার বাংলার জন্য কিছুটা ভালো (প্রায় ২-৩ গুণ), তবে তারপরও ইংরেজির চেয়ে উল্লেখযোগ্যভাবে বেশি খরচ হয়। বাংলায় AI অ্যাপ তৈরির সময় এই অতিরিক্ত খরচ বাজেটে অবশ্যই ধরতে হবে।

ফ্রিল্যান্স ডেভেলপার: ক্লায়েন্ট প্রজেক্টের API বাজেট

একজন বাংলাদেশি ফ্রিল্যান্স ডেভেলপার ক্লায়েন্টের জন্য AI-চালিত কন্টেন্ট জেনারেটর তৈরি করছেন। দৈনিক ২০০ আর্টিকেল তৈরি হবে, প্রতিটিতে ৫০০ ইনপুট টোকেন ও ২,০০০ আউটপুট টোকেন। Gemini 2.5 Flash ($0.30/1M ইনপুট, $2.50/1M আউটপুট) ব্যবহার করলে:
দৈনিক ইনপুট: 200 x 500 / 1,000,000 x $0.30 = $0.03 দৈনিক আউটপুট: 200 x 2,000 / 1,000,000 x $2.50 = $1.00 দৈনিক মোট: $1.03 | মাসিক মোট: $30.90 বা প্রায় ৳৩,৭০৮
ক্লায়েন্ট যদি GPT-4.1 ($2/$8 প্রতি 1M) মানের কন্টেন্ট চান, তাহলে খরচ বেড়ে মাসে ৳১২,৫০৪ হবে — প্রায় ৩.৪ গুণ বেশি। ক্লায়েন্টকে দুটো অপশন দেখিয়ে সিদ্ধান্ত নিতে সাহায্য করুন। প্রথমে ১০০টি আর্টিকেল দুটো মডেলেই পাইলট চালিয়ে গুণগত মান তুলনা করা বুদ্ধিমানের কাজ।

AI API টোকেন খরচ কমানোর কৌশল

  • প্রতিটি কাজের জন্য সঠিক মডেল বেছে নিন। সরল কাজ (শ্রেণীবিভাজন, FAQ, তথ্য নিষ্কাশন) GPT-4.1 mini, Gemini 2.5 Flash-Lite, Claude Haiku, DeepSeek V3.2, Grok 4.1 Fast, বা Amazon Nova Micro দিয়ে করুন। জটিল রিজনিং-এর জন্য GPT-5.4, Claude Sonnet/Opus, Gemini 2.5 Pro, বা Grok 4 রাখুন। মডেল রাউটিং-এ ৪০-৬০% খরচ সাশ্রয় সম্ভব।
  • প্রম্পট ক্যাশিং চালু করুন। OpenAI ও Anthropic উভয়ই প্রম্পট ক্যাশিং সমর্থন করে — বারবার পাঠানো সিস্টেম প্রম্পটে ৯০% পর্যন্ত ছাড় মেলে। OpenAI স্বয়ংক্রিয়ভাবে ক্যাশ করে, Anthropic-এ cache_control হেডার যোগ করতে হয়।
  • প্রম্পট সংক্ষিপ্ত রাখুন। প্রতিটি অতিরিক্ত টোকেন = অতিরিক্ত খরচ। অপ্রয়োজনীয় নির্দেশনা, দীর্ঘ সিস্টেম প্রম্পট এবং পুনরাবৃত্ত কনটেক্সট বাদ দিন। ভালোভাবে লেখা ৫০০ টোকেনের প্রম্পট প্রায়ই ২,০০০ টোকেনের এলোমেলো প্রম্পটের চেয়ে ভালো ফল দেয় — আর ৭৫% কম খরচ হয়।
  • max_tokens প্যারামিটার সেট করুন। সীমা না দিলে মডেল অপ্রয়োজনীয় দীর্ঘ উত্তর দিতে পারে। এক লাইনের উত্তর চাইলে আউটপুট ১০০ টোকেনে সীমাবদ্ধ করুন।
  • Batch API ব্যবহার করুন। রিয়েল-টাইম প্রয়োজন না হলে OpenAI ও Anthropic-এর Batch API-তে ৫০% ছাড় পাওয়া যায়। বাল্ক ডেটা প্রসেসিং, রিপোর্ট তৈরি বা বিশ্লেষণের কাজে এটি আদর্শ।
  • বাংলা টেক্সটের বেশি টোকেন খরচ মাথায় রাখুন। বাংলায় AI অ্যাপ তৈরি করলে ইংরেজির তুলনায় ৩-৫ গুণ বেশি টোকেন বাজেট রাখুন। যেখানে সম্ভব, সিস্টেম প্রম্পট ও নির্দেশনা ইংরেজিতে রাখুন এবং শুধু ব্যবহারকারীর দিকে মুখ করা আউটপুট বাংলায় রাখুন — এতে ইনপুট টোকেন উল্লেখযোগ্যভাবে কমে।
  • খরচ মনিটরিং ও সতর্কতা সেট করুন। প্রোভাইডারের ব্যবহার ড্যাশবোর্ড বা Helicone-এর মতো থার্ড-পার্টি টুল ব্যবহার করে প্রতিটি এন্ডপয়েন্ট ও মডেলের টোকেন ব্যবহার ট্র্যাক করুন। বাগ বা অপ্রত্যাশিত ট্রাফিক থেকে রক্ষা পেতে ব্যয়সীমা নির্ধারণ করুন।

AI টোকেন ও API খরচ: সচরাচর জিজ্ঞাসা

১ টোকেন কত শব্দ বা অক্ষরের সমান?

ইংরেজিতে ১ টোকেন প্রায় ৪ অক্ষর বা ০.৭৫ শব্দের সমান। অর্থাৎ ১,০০০ ইংরেজি শব্দ প্রায় ১,৩৩৩ টোকেন। তবে বাংলায় অনুপাত একেবারে আলাদা — ১ বাংলা শব্দ GPT-4o টোকেনাইজারে ৩-৫ টোকেন নিতে পারে। এর মানে, ১,০০০ বাংলা শব্দে ৩,০০০-৫,০০০ টোকেন লাগতে পারে। কোড, বিশেষ চিহ্ন এবং মিশ্র ভাষার টেক্সটেও প্রতি শব্দে বেশি টোকেন লাগে।

বাংলা টেক্সটে ইংরেজির চেয়ে বেশি টোকেন কেন লাগে?

LLM টোকেনাইজার (যেমন BPE — Byte Pair Encoding) সেই ভাষাগুলোকে বেশি দক্ষতার সাথে এনকোড করে যেগুলো প্রশিক্ষণ ডেটায় বেশি পরিমাণে ছিল। GPT-4, Claude ও Gemini-র প্রশিক্ষণ ডেটার ৬০-৮০% ইংরেজি, তাই ইংরেজি শব্দগুলো কম টোকেনে প্রকাশ করা যায়। বাংলা লিপি UTF-8-এ প্রতি অক্ষরে একাধিক বাইট নেয় এবং টোকেনাইজারের ভোকাবুলারিতে বাংলা সাবওয়ার্ড কম থাকায়, প্রতিটি শব্দ অনেকগুলো ছোট ছোট খণ্ডে ভাগ হয়ে যায়। নতুন GPT-4o-এর o200k_base টোকেনাইজারে এটি কিছুটা উন্নত হয়েছে (প্রায় ২-৩ গুণ), তবে মৌলিক সমস্যাটি রয়ে গেছে।

২০২৬ সালে সবচেয়ে সস্তা AI মডেল কোনটি?

২০২৬ সালের মার্চ পর্যন্ত, সবচেয়ে সস্তা মডেলগুলো হলো: Amazon Nova Micro ($0.035/$0.14 প্রতি 1M টোকেন), GPT-5 Nano ($0.05/$0.40), Gemini 2.0 Flash-Lite ($0.075/$0.30), Mistral Small ($0.10/$0.30), GPT-4.1 Nano ($0.10/$0.40), Groq-hosted Llama 4 Scout ($0.11/$0.34), Grok 4.1 Fast ($0.20/$0.50), DeepSeek V3.2 ($0.28/$0.42)। মধ্য-পরিসরে: Gemini 2.5 Flash ($0.30/$2.50), GPT-4.1 Mini ($0.40/$1.60), Claude Haiku 4.5 ($1/$5)। প্রিমিয়ামে: Gemini 2.5 Pro ($1.25/$10), GPT-4.1 ($2/$8), Claude Sonnet 4.6 ($3/$15), Claude Opus 4.6 ($5/$25)। সঠিক মডেল শুধু দামের ওপর নয়, আপনার কাজের জটিলতার ওপরও নির্ভর করে।

বাংলাদেশে AI API-এর খরচ টাকায় কীভাবে হিসাব করবেন?

AI API প্রোভাইডাররা (OpenAI, Anthropic, Google) তাদের মূল্য USD-এ নির্ধারণ করে। টাকায় খরচ জানতে: প্রথমে উপরের সূত্র দিয়ে USD-এ মোট খরচ বের করুন, তারপর বর্তমান USD-BDT বিনিময় হার (প্রায় ৳১২০) দিয়ে গুণ করুন। যেমন: $100/মাস API খরচ = প্রায় ৳১২,০০০/মাস। বাংলাদেশ থেকে পেমেন্ট সাধারণত আন্তর্জাতিক ক্রেডিট/ডেবিট কার্ড, Payoneer, অথবা রিসেলার সার্ভিসের মাধ্যমে করা হয়। bKash বা Nagad দিয়ে সরাসরি পেমেন্ট এখনো সম্ভব নয়, তবে স্থানীয় রিসেলাররা এই সুবিধা দিচ্ছে।

ইনপুট টোকেন ও আউটপুট টোকেনের মধ্যে পার্থক্য কী?

ইনপুট টোকেন হলো সেই টেক্সট যা আপনি মডেলে পাঠান — প্রম্পট, সিস্টেম নির্দেশনা ও কনটেক্সট। আউটপুট টোকেন হলো মডেলের তৈরি করা উত্তর। আউটপুট টোকেন ৩-৫ গুণ বেশি দামি, কারণ মডেলকে প্রতিটি আউটপুট টোকেন ক্রমানুসারে একটি একটি করে তৈরি করতে হয় (প্রতিটির জন্য আলাদা forward pass), যেখানে ইনপুট টোকেনগুলো একবারে সমান্তরালভাবে প্রসেস হয়। যেমন Claude Sonnet 4.6-এ ইনপুট $3/1M কিন্তু আউটপুট $15/1M — ৫:১ অনুপাত।

প্রম্পট ক্যাশিং কীভাবে AI খরচ কমায়?

প্রম্পট ক্যাশিং বারবার পাঠানো প্রম্পট প্রিফিক্সের (যেমন সিস্টেম প্রম্পট) key-value ভেক্টর সংরক্ষণ করে, ফলে প্রতিটি রিকোয়েস্টে সেগুলো নতুন করে গণনা করতে হয় না। ক্যাশ করা টোকেন স্বাভাবিক দরের ১০-৫০%-এ বিল হয়। চ্যাটবট, কোডিং অ্যাসিস্ট্যান্ট বা ডকুমেন্ট প্রসেসরের মতো অ্যাপ যেখানে প্রতিটি রিকোয়েস্টে একই সিস্টেম প্রম্পট যায়, সেখানে ক্যাশিং মোট ইনপুট খরচ ৯০% পর্যন্ত কমাতে পারে। OpenAI স্বয়ংক্রিয়ভাবে ক্যাশিং করে, Anthropic ও Google-এ নির্দিষ্ট কনফিগারেশন প্রয়োজন।

ওপেন সোর্স মডেল (Llama 4, DeepSeek V3.2, Mistral) কি API খরচ এড়ানোর উপায়?

হ্যাঁ, তবে ট্রেড-অফ আছে। Meta-র Llama 4, DeepSeek V3.2, বা Mistral Small নিজের সার্ভারে চালালে প্রতি-টোকেন চার্জ নেই, কিন্তু GPU সার্ভারের খরচ আসে — AWS-এ একটি A100 GPU প্রায় ৳১,৮০,০০০-৳৩,০০,০০০/মাস। একটি সহজ বিকল্প হলো Groq বা Together AI-এর মতো ইনফারেন্স প্রোভাইডার, যারা ওপেন সোর্স মডেল $0.11-$0.50/1M টোকেনে অফার করে। মাসিক API খরচ ৳৩,৬০,০০০-এর বেশি হলে সেলফ-হোস্টিং লাভজনক হতে পারে; তার নিচে Groq-এর মতো প্রোভাইডার বা সরাসরি API-ই ভালো।

কোন কাজের জন্য কোন AI মডেল সবচেয়ে উপযুক্ত?

কোডিং ও প্রোগ্রামিং: Claude Opus 4.6/Sonnet 4.6 এবং GPT-5.4 — কোড জেনারেশন ও ডিবাগিং-এ সেরা। ডেটা বিশ্লেষণ ও বড় ডকুমেন্ট: Gemini 2.5 Pro (2M কনটেক্সট) বা Claude Opus (1M কনটেক্সট)। সাধারণ চ্যাটবট ও FAQ: GPT-4.1 mini, Gemini 2.5 Flash-Lite, বা DeepSeek V3.2 — কম খরচে ভালো পারফরম্যান্স। রিয়েল-টাইম তথ্য: Grok 4, লাইভ ডেটা অ্যাক্সেসসহ। বহুভাষিক অ্যাপ: Mistral Large বা Gemini 2.5 Pro। অতি কম বাজেট: Amazon Nova Micro ($0.035/$0.14) বা GPT-5 Nano ($0.05/$0.40)।

মূল পরিভাষা

টোকেন (Token)

LLM যে ক্ষুদ্রতম একক হিসেবে টেক্সট প্রসেস করে। একটি টোকেন একটি শব্দ, শব্দের অংশ, অক্ষর বা বিরাম চিহ্ন হতে পারে। ইংরেজিতে বেশিরভাগ শব্দ ১-২ টোকেন, বাংলায় প্রতি শব্দ ৩-৫ টোকেন হতে পারে।

টোকেনাইজার (Tokenizer)

যে অ্যালগরিদম কাঁচা টেক্সটকে টোকেনে রূপান্তর করে। বিভিন্ন মডেল ভিন্ন টোকেনাইজার ব্যবহার করে (OpenAI-এর tiktoken, Google-এর SentencePiece), তাই একই টেক্সটের টোকেন সংখ্যা প্রোভাইডারভেদে আলাদা হতে পারে।

BPE (Byte Pair Encoding)

আধুনিক LLM-এ সবচেয়ে বহুল ব্যবহৃত টোকেনাইজেশন অ্যালগরিদম। এটি বারবার আসা অক্ষর-জোড়াকে ক্রমান্বয়ে একটি টোকেনে মিলিয়ে একটি ভোকাবুলারি তৈরি করে। GPT, Claude, Grok ও DeepSeek সবাই BPE-র বিভিন্ন রূপ ব্যবহার করে।

কনটেক্সট উইন্ডো (Context Window)

একটি রিকোয়েস্টে মডেল সর্বোচ্চ যত টোকেন প্রসেস করতে পারে (ইনপুট ও আউটপুট মিলিয়ে)। GPT-4.1-এ 1M, Claude Opus 4.6-এ 1M, Gemini 2.5 Pro-তে 1M এবং Grok 4.1 Fast-এ 2M টোকেন কনটেক্সট উইন্ডো রয়েছে।

প্রম্পট ক্যাশিং (Prompt Caching)

বারবার পাঠানো প্রম্পট প্রিফিক্সের গণনা সংরক্ষণ করার পদ্ধতি, যা ক্যাশ করা অংশের লেটেন্সি ও খরচ ৯০% পর্যন্ত কমায়।

ইনপুট ও আউটপুট টোকেন

ইনপুট টোকেন হলো মডেলে পাঠানো প্রম্পট। আউটপুট টোকেন হলো মডেলের তৈরি করা উত্তর। ক্রমানুসারে তৈরি করার গণনাগত জটিলতার কারণে আউটপুট টোকেন ৩-৫ গুণ বেশি দামি।

প্রতি মিলিয়ন টোকেন মূল্য (Cost per Million Tokens)

LLM API মূল্যনির্ধারণের আদর্শ একক। প্রোভাইডাররা ইনপুট ও আউটপুটের জন্য আলাদাভাবে প্রতি ১০ লাখ টোকেনের দাম ($/1M tokens) উল্লেখ করে।