Smart Calculators

Smart

Calculators

टोकन कॅल्क्युलेटर

AI भाषा मॉडेल वापरण्याचा खर्च मोजा. मजकुरातून टोकनचा अंदाज लावा आणि GPT-4, Claude आणि Gemini सारख्या मॉडेलच्या किंमतीची तुलना करा.

$

$

प्रति विनंती खर्च

$0.01

इनपुट: $0.0030 · आउटपुट: $0.0075

दैनंदिन खर्च

$1.05

१०० प्रति दिवस विनंत्या

मासिक खर्च

$31.50

30 दिवस

वार्षिक खर्च

$383.25

365 दिवस

मजकूरातून टोकनचा अंदाज लावा

टोकन कॅल्क्युलेटर. AI टोकन मोजणी आणि LLM मॉडेलसाठी API खर्चाचा अंदाज.

टोकन कॅल्क्युलेटर कोणत्याही मजकुरातील टोकन संख्येचा अंदाज लावतो आणि GPT, Claude, Gemini, Grok व DeepSeek सारख्या AI मॉडेलच्या API खर्चाची गणना करतो. हे साधारणपणे ४ अक्षरे प्रति १ टोकन या गुणोत्तराने मजकुराला टोकनमध्ये रूपांतरित करते आणि प्रत्येक मॉडेलच्या प्रति दशलक्ष टोकन किंमतीनुसार इनपुट व आउटपुट खर्च त्वरित दाखवते.

AI टोकन म्हणजे काय?

AI टोकन ही सर्वात लहान एकक आहे जी GPT, Claude, Gemini, Grok, DeepSeek, Mistral आणि Llama सारख्या लार्ज लँग्वेज मॉडेल (LLM) मजकूर प्रक्रिया करण्यासाठी वापरतात. एक टोकन संपूर्ण शब्द, शब्दाचा भाग, किंवा विरामचिन्ह असू शकतो. इंग्रजीमध्ये, अंदाजे ७५० शब्द हे १,००० टोकनच्या बरोबरीचे असतात, म्हणजेच १ शब्द सुमारे १.३३ टोकन.
OpenAI, Anthropic, Google, xAI, DeepSeek, Mistral आणि Meta सारखे AI प्रोव्हायडर्स त्यांच्या API च्या किंमती टोकनच्या आधारावर ठरवतात. प्रत्येक API कॉलमध्ये दोन प्रकारचे टोकन खर्च होतात: इनपुट टोकन (तुमचा प्रॉम्प्ट) आणि आउटपुट टोकन (मॉडेलचे उत्तर). आउटपुट टोकन सामान्यतः २-४ पट महाग असतात कारण मॉडेलला नवीन मजकूर तयार करावा लागतो.
महाराष्ट्रातील डेव्हलपर्ससाठी एक महत्त्वाची बाब: मराठी आणि इतर देवनागरी भाषांमध्ये तीच गोष्ट सांगण्यासाठी इंग्रजीच्या तुलनेत २-५ पट जास्त टोकन लागतात. याचा अर्थ असा की मराठीमध्ये AI अॅप्लिकेशन तयार करण्याचा खर्च बराच जास्त असू शकतो. हा कॅल्क्युलेटर मुंबई-पुण्यातील स्टार्टअप आणि AI डेव्हलपर्सना विविध AI मॉडेलच्या खर्चाचा अचूक अंदाज लावण्यास मदत करतो.

AI टोकनचा खर्च कसा मोजायचा

AI API चा खर्च मोजण्यासाठी तुम्हाला तीन गोष्टींची गरज आहे: इनपुट टोकनची संख्या, आउटपुट टोकनची संख्या, आणि निवडलेल्या मॉडेलची प्रति-टोकन किंमत.
टप्प्याटप्प्याने प्रक्रिया:
१. तुमच्या मजकुरातील शब्दांची संख्या मोजा.
२. शब्दांना टोकनमध्ये रूपांतरित करा — इंग्रजीसाठी शब्द संख्येला १.३३ ने गुणा. मराठी मजकुरासाठी २.५-४ ने गुणा (टोकनायझरवर अवलंबून).
३. इनपुट आणि आउटपुट टोकन स्वतंत्रपणे मोजा.
४. प्रत्येकाला संबंधित प्रति-दशलक्ष-टोकन दराने गुणा.
५. दोन्ही रकमा जोडा.
उदाहरण: समजा तुम्ही GPT-4o वापरत आहात (इनपुट: $२.५०/१M टोकन, आउटपुट: $१०/१M टोकन). जर तुमचा प्रॉम्प्ट ५०० टोकनचा असेल आणि उत्तर १,००० टोकनचे असेल, तर खर्च होईल: (५०० x $२.५०/१M) + (१,००० x $१०/१M) = $०.००१२५ + $०.०१ = $०.०११२५, म्हणजेच सुमारे ₹०.९५ प्रति कॉल.
जर तुम्ही रोज १०,००० अशा कॉल करत असाल, तर मासिक खर्च सुमारे ₹२,८५,००० होईल. म्हणूनच मॉडेल निवडण्यापूर्वी खर्चाचा अंदाज लावणे अत्यंत महत्त्वाचे आहे.

AI टोकन खर्चाचे सूत्र

C=Tin×Pin+Tout×Pout1,000,000C = \frac{T_{in} \times P_{in} + T_{out} \times P_{out}}{1{,}000{,}000}
  • CC = एकूण API कॉल खर्च (USD किंवा INR मध्ये)
  • TinT_{in} = इनपुट टोकनची संख्या (तुमचा प्रॉम्प्ट)
  • PinP_{in} = इनपुटची प्रति-दशलक्ष-टोकन किंमत
  • ToutT_{out} = आउटपुट टोकनची संख्या (मॉडेलचे उत्तर)
  • PoutP_{out} = आउटपुटची प्रति-दशलक्ष-टोकन किंमत
जर तुम्ही कॅशिंग वापरत असाल, तर सूत्र याप्रमाणे बदलते:
C=Tin×Pin+Tout×Pout−Tcached×Pcached1,000,000C = \frac{T_{in} \times P_{in} + T_{out} \times P_{out} - T_{cached} \times P_{cached}}{1{,}000{,}000}
जिथे $Tcached$ हे कॅश केलेले टोकन आहेत आणि $Pcached$ ही कॅशिंग सवलतीची दर आहे. OpenAI मध्ये कॅश केलेल्या टोकनवर ९०% पर्यंत सवलत मिळते.
टोकन अंदाजासाठी सामान्य नियम: इंग्रजीमध्ये १ शब्द अंदाजे १.३३ टोकन, मराठीमध्ये १ शब्द अंदाजे ३-४ टोकन (GPT-4o BPE टोकनायझरमध्ये), आणि कोडमध्ये १ ओळ अंदाजे १०-१५ टोकन. Sarvam AI च्या इंडिक टोकनायझरमध्ये मराठीसाठी हा दर १.४-२.१ टोकन/शब्दापर्यंत कमी होतो. या अंदाजित संख्या आहेत — अचूक गणनेसाठी आमचा कॅल्क्युलेटर वापरा.

AI टोकन खर्चाची व्यावहारिक उदाहरणे

पुणे-आधारित मराठी चॅटबॉट स्टार्टअप: मासिक API खर्च

पुण्यातील एक स्टार्टअप मराठी ग्राहक सेवा चॅटबॉट तयार करत आहे जो रोज ३,००० संभाषणे हाताळतो. प्रत्येक संभाषणात सरासरी १,५०० इनपुट टोकन आणि २,००० आउटपुट टोकन (मराठी देवनागरीमुळे टोकन संख्या जास्त) लागतात. GPT-4o ($२.५०/$१० प्रति १M टोकन) वर मासिक खर्च: इनपुट = ३,००० x ३० x १,५०० = १३.५ कोटी टोकन = ₹२,८३५. आउटपुट = ३,००० x ३० x २,००० = १८ कोटी टोकन = ₹१५,१२०. एकूण: सुमारे ₹१७,९५५/महिना. तेच काम GPT-4o Mini ($०.१५/$०.६०) वर केल्यास खर्च घटून फक्त ₹१,१५६/महिना होतो — ९३% बचत. साध्या ग्राहक प्रश्नांसाठी गुणवत्तेत फार फरक नसतो.

मराठी विरुद्ध इंग्रजी: टोकन खर्चातील फरक

समजा तुम्ही एकच प्रॉम्प्ट पाठवत आहात — “या उत्पादनाच्या वैशिष्ट्यांचे वर्णन करा” विरुद्ध “Describe the features of this product”. इंग्रजी आवृत्ती GPT-4o टोकनायझरमध्ये सुमारे ८ टोकन घेते, तर मराठी आवृत्ती सुमारे २८-३२ टोकन घेऊ शकते — जवळपास ४ पट जास्त. Claude Sonnet ($३/$१५ प्रति १M) वर जर तुम्ही रोज ५०,००० मराठी प्रॉम्प्ट पाठवत असाल, तर मासिक खर्च इंग्रजीच्या तुलनेत ₹२५,०००-₹४०,००० जास्त होऊ शकतो. म्हणूनच महाराष्ट्रातील AI अॅप्स तयार करताना Sarvam AI (१.४-२.१ टोकन/शब्द) किंवा BharatGen Param 2 सारख्या इंडिक-ऑप्टिमाइझ्ड मॉडेल्सचा विचार करावा.

मुंबईतील फ्रीलान्स डेव्हलपर: मराठी कंटेंट जनरेटर बजेट

मुंबईतील एक फ्रीलान्स डेव्हलपर क्लायंटसाठी AI-पॉवर्ड मराठी कंटेंट जनरेटर तयार करत आहे. प्रोजेक्टमध्ये रोज १०० मराठी लेख तयार करायचे आहेत, प्रत्येक लेखात ८०० इनपुट टोकन आणि ३,००० आउटपुट टोकन (मराठी देवनागरी मजकूर). Gemini 2.5 Flash-Lite ($०.०७५/$०.३०) वर मासिक खर्च: इनपुट = १०० x ३० x ८०० = २४ लाख टोकन = ₹०.१५. आउटपुट = १०० x ३० x ३,००० = ९० लाख = ₹२.२९. एकूण: फक्त ₹२०६/महिना. परंतु जर क्लायंटला GPT-4o गुणवत्ता हवी असेल, तर खर्च वाढून ₹८,०४०/महिना होतो. दोन्ही पर्याय क्लायंटला दाखवून योग्य मॉडेल निवडण्यास मदत करा.

महाराष्ट्र सरकारी दस्तऐवज RAG: इंडेक्सिंग खर्च

एक legal-tech स्टार्टअप महाराष्ट्र सरकारच्या मराठी कायदेशीर दस्तऐवजांवर RAG (Retrieval-Augmented Generation) सिस्टम तयार करत आहे. एकूण कॉर्पस: १०,००० पानांचे मराठी दस्तऐवज (सुमारे ५ कोटी मराठी अक्षरे). GPT-4o टोकनायझरमध्ये हे सुमारे २ कोटी टोकन तयार करते. embedding मॉडेल (OpenAI text-embedding-3-small, $०.०२/१M) वापरून एकदाच इंडेक्सिंग खर्च: २ कोटी x $०.०२/१M = $०.४ = ₹३४. पण जर तुम्ही Sarvam AI चा इंडिक टोकनायझर वापरला, तर टोकन संख्या ५०-६०% कमी होते, आणि क्वेरी-टाइम खर्चही तेवढाच कमी होतो. मोठ्या-स्केल मराठी NLP प्रोजेक्टसाठी हा फरक लाखो रुपयांचा असू शकतो.

AI API खर्च कमी करण्यासाठी सूचना

  • मॉडेल राउटिंग वापरा: साध्या प्रश्नांसाठी (FAQ, वर्गीकरण) GPT-4.1 mini, Gemini 2.5 Flash-Lite, Claude Haiku, DeepSeek V3.2, Grok 4.1 Fast, Amazon Nova Micro किंवा Mistral Small सारखे बजेट मॉडेल वापरा, आणि क्लिष्ट रीझनिंगसाठी GPT-5.4, GPT-4.1, Claude Sonnet/Opus, Gemini 2.5 Pro, Grok 4 किंवा Mistral Large सारखे प्रीमियम मॉडेल राखून ठेवा. यामुळे ४०-६०% खर्च बचत शक्य आहे.
  • मराठीमध्ये AI अॅप्स तयार करताना Sarvam AI (१०५B पॅरामीटर्स, इंडिक-ऑप्टिमाइझ्ड टोकनायझर) किंवा BharatGen Param 2 (१७B MoE, २२ भारतीय भाषांमध्ये प्रशिक्षित) चा विचार करा — हे मॉडेल्स पाश्चिमात्य टोकनायझर्सपेक्षा मराठीसाठी ५०-६०% कमी टोकन वापरतात.
  • प्रॉम्प्ट कॅशिंग सक्रिय करा. OpenAI आणि Anthropic दोन्ही प्रॉम्प्ट कॅशिंग देतात जे वारंवार पाठवले जाणाऱ्या सिस्टम प्रॉम्प्टवर ९०% पर्यंत सवलत देते.
  • प्रॉम्प्ट संक्षिप्त ठेवा. “याचा सारांश द्या” बऱ्याचदा एका लांब, तपशीलवार सूचनेइतकाच प्रभावी असतो. JSON फॉरमॅटमध्ये आउटपुट मागितल्यानेही १५% पर्यंत टोकन बचत होते.
  • max_tokens पॅरामीटर नक्की सेट करा. मर्यादेशिवाय मॉडेल गरजेपेक्षा जास्त लांब उत्तरे देऊ शकते, ज्यामुळे अनावश्यक खर्च होतो.
  • शक्य असेल तिथे Romanized मराठी (मराठीला रोमन लिपीत) वापरा — देवनागरी ऐवजी “namaskaar” लिहिल्यास टोकन संख्या ५०% कमी होते, पण वापरकर्त्याचा अनुभव तडजोड होऊ नये याची काळजी घ्या.
  • बॅच प्रोसेसिंगचा लाभ घ्या. OpenAI चे Batch API रिअल-टाइमची गरज नसलेल्या कामांवर ५०% सवलत देते.
  • RAG (Retrieval-Augmented Generation) मध्ये चंकिंग ऑप्टिमाइझ करा. संपूर्ण दस्तऐवज पाठवण्याऐवजी फक्त संबंधित परिच्छेद पाठवा — यामुळे ६०-८०% टोकन वाचतात.
  • सर्वसाधारण मार्गदर्शक: जर तुमचा मासिक API खर्च ₹५,००० पेक्षा कमी असेल, तर मॉडेल ऑप्टिमायझेशन चिंता करू नका — डेव्हलपमेंट वेळेवर लक्ष द्या. ₹५०,०००+ खर्चात मॉडेल राउटिंग अनिवार्य आहे. ₹३ लाख+ खर्चात सेल्फ-होस्टिंगचा गंभीरपणे विचार करा.

AI टोकन आणि API खर्च: वारंवार विचारले जाणारे प्रश्न

१ टोकन किती शब्दांच्या किंवा अक्षरांच्या बरोबर आहे?

इंग्रजीमध्ये १ टोकन सुमारे ४ अक्षरे किंवा ०.७५ शब्द (¾ शब्द) च्या बरोबर आहे. दुसऱ्या शब्दांत, १,००० टोकन सुमारे ७५० इंग्रजी शब्दांच्या बरोबर आहेत. मराठीमध्ये हे गुणोत्तर वेगळे आहे — १ मराठी शब्द GPT-4o टोकनायझरमध्ये ३-४ टोकन घेऊ शकतो कारण हे मॉडेल मुख्यतः इंग्रजी डेटावर प्रशिक्षित आहेत.

मराठी मजकुरात इंग्रजीपेक्षा जास्त टोकन का लागतात?

LLM टोकनायझर (जसे BPE — Byte Pair Encoding) त्या भाषांना अधिक कार्यक्षमतेने एन्कोड करतात ज्या ट्रेनिंग डेटामध्ये जास्त होत्या. GPT-4, Claude आणि Gemini चा ट्रेनिंग डेटा ६०-८०% इंग्रजी असल्याने, इंग्रजी शब्द कमी टोकनमध्ये दर्शवले जातात. मराठीसारख्या देवनागरी भाषांमध्ये तीच सामग्री २-५ पट जास्त टोकन घेते, ज्यामुळे API खर्च तितकाच पट वाढतो.

हा टोकन कॅल्क्युलेटर विनामूल्य आहे का?

होय, हा ऑनलाइन टोकन कॅल्क्युलेटर पूर्णपणे विनामूल्य आहे आणि कोणत्याही साइन-अप शिवाय वापरता येतो. तुम्ही GPT-5, Claude, Gemini, Grok, DeepSeek आणि Mistral च्या २० पेक्षा जास्त मॉडेलसाठी टोकन मोजणी आणि खर्चाचा अंदाज लावू शकता. मराठी, हिंदी आणि इंग्रजी मजकुरासाठीही अचूक काम करते.

२०२६ मध्ये सर्वात स्वस्त AI मॉडेल कोणते आहे?

२०२६ च्या किंमतींनुसार, सर्वात स्वस्त मॉडेल्स या क्रमाने आहेत: Amazon Nova Micro ($०.०३५/$०.१४ प्रति १M टोकन), GPT-5 Nano ($०.०५/$०.४०), Gemini 2.0 Flash-Lite ($०.०७५/$०.३०), Mistral Small ($०.१०/$०.३०), DeepSeek V3.2 ($०.१४/$०.२८), GPT-4.1 mini ($०.१५/$०.६०), Grok 4.1 Fast ($०.२०/$०.८०), आणि Claude Haiku ($०.२५/$१.२५). मिड-रेंज मॉडेलमध्ये GPT-5 Mini ($०.२५/$२.००) आणि GPT-5.2 ($०.८७५/$७.००) उत्कृष्ट पर्याय आहेत. प्रीमियम मॉडेलमध्ये GPT-5 ($१.२५/$१०), GPT-5.1 ($१.२५/$१०), Gemini 2.5 Pro ($१.२५/$१०) सर्वात किफायतशीर आहेत.

भारतात AI API चा खर्च INR मध्ये कसा मोजायचा?

AI API प्रोव्हायडर्स (OpenAI, Anthropic, Google) त्यांच्या किंमती USD मध्ये ठेवतात. INR मध्ये खर्च जाणून घेण्यासाठी: प्रथम वरील सूत्राने USD मध्ये एकूण खर्च काढा, नंतर सध्याच्या USD-INR दराने (सुमारे ₹८४-८५) गुणा. उदाहरण: $१००/महिना API खर्च = सुमारे ₹८,५००/महिना. आमचा कॅल्क्युलेटर हे रूपांतरण स्वयंचलितपणे करतो.

इनपुट टोकन आणि आउटपुट टोकनमध्ये काय फरक आहे?

इनपुट टोकन हे तुम्ही AI मॉडेलला पाठवलेले मजकूर आहेत — तुमचा प्रॉम्प्ट, सिस्टम इंस्ट्रक्शन, आणि कॉन्टेक्स्ट. आउटपुट टोकन हे मॉडेल उत्तरात तयार करणारे मजकूर आहेत. आउटपुट टोकन २-६ पट महाग असतात कारण मॉडेलला प्रत्येक शब्द कॉम्प्युटेशनलरीत्या तयार करावा लागतो, तर इनपुट फक्त वाचून समजून घ्यावे लागते.

Sarvam AI आणि BharatGen मराठीसाठी OpenAI/Claude पेक्षा चांगले आहेत का?

टोकन कार्यक्षमतेच्या बाबतीत, होय. Sarvam-1 चा इंडिक टोकनायझर मराठीसाठी १.४-२.१ टोकन/शब्दाचा दर साध्य करतो, तर GPT-4 साठी हाच दर ३-५ टोकन/शब्द आहे. याचा अर्थ मराठी प्रॉम्प्टची किंमत ५०-६०% कमी होते. गुणवत्तेच्या दृष्टीने, साध्या कामांसाठी (वर्गीकरण, सारांश) Sarvam आणि BharatGen Param 2 योग्य आहेत. क्लिष्ट रीझनिंग किंवा कोडिंगसाठी GPT-5.4 किंवा Claude Sonnet अजूनही आघाडीवर आहेत. हायब्रिड दृष्टिकोन सर्वोत्तम: मराठी इनपुटसाठी Sarvam, क्लिष्ट प्रक्रियेसाठी इंग्रजी translation + Claude.

ChatGPT Free tier वर मराठीमुळे मर्यादा लवकर संपते का?

होय. ChatGPT Free tier मध्ये दर ३ तासाला ठराविक संदेश मर्यादा असते. मराठी देवनागरी मजकूर २-४ पट जास्त टोकन वापरत असल्याने, तुमची प्रभावी मर्यादा इंग्रजी वापरकर्त्यांच्या तुलनेत लवकर संपते. जर तुम्ही वारंवार मराठीमध्ये लांब चर्चा करत असाल, तर ChatGPT Plus ($२०/महिना = ₹१,७००) किंवा थेट API वापर (त्याच खर्चात जास्त वापर) विचारात घ्या.

ओपन-सोर्स मॉडेल्स (Llama 4, DeepSeek V3.2, Mistral) API खर्च टाळण्याचा मार्ग आहेत का?

होय, पण ट्रेड-ऑफ आहेत. Meta चे Llama 4, DeepSeek V3.2, किंवा Mistral Small तुमच्या सर्व्हरवर चालवल्याने प्रति-टोकन API शुल्क लागत नाही, पण GPU सर्व्हरचा खर्च येतो. AWS वर एक A100 GPU सुमारे ₹१,५०,०००-₹२,५०,०००/महिना मिळतो. एक किफायतशीर पर्याय Groq सारखे इन्फरन्स प्रोव्हायडर्स आहेत जे ओपन-सोर्स मॉडेल्स $०.११-$०.५०/१M टोकनवर देतात. जर तुमचा मासिक API खर्च ₹३,००,००० पेक्षा जास्त असेल, तर सेल्फ-होस्टिंग किफायतशीर असू शकते.

टोकनायझेशन (Tokenization) म्हणजे काय आणि ते कसे काम करते?

टोकनायझेशन ही प्रक्रिया आहे ज्यामध्ये AI मॉडेल मजकूर लहान तुकड्यांमध्ये (टोकन) विभागतो. आधुनिक LLM मुख्यतः BPE (Byte Pair Encoding) किंवा SentencePiece अल्गोरिदम वापरतात. हे अल्गोरिदम वारंवार येणाऱ्या अक्षर-जोड्यांना एका टोकनमध्ये एकत्र करतात. 'hello' एक टोकन असू शकतो, पण 'tokenization' ला 'token' + 'ization' मध्ये तोडले जाते. मराठीमध्ये 'नमस्कार' हा शब्द अनेक UTF-8 बाइट्समध्ये तोडला जातो, म्हणून जास्त टोकन लागतात.

कोणत्या कामासाठी कोणते AI मॉडेल सर्वात योग्य आहे?

कामाच्या अनुषंगाने सर्वोत्तम मॉडेल: (१) कोडिंग आणि प्रोग्रामिंग — Claude Opus/Sonnet किंवा GPT-5.4 आणि GPT-4.1. (२) क्रिएटिव्ह रायटिंग आणि इंग्रजी कंटेंट — GPT-4.1 किंवा Claude Sonnet. (३) डेटा अॅनालिसिस आणि लांब दस्तऐवज — Gemini 2.5 Pro (२M कॉन्टेक्स्ट) किंवा Claude Opus (१M कॉन्टेक्स्ट). (४) मराठी/हिंदी चॅटबॉट आणि कंटेंट — Sarvam AI किंवा BharatGen Param 2, इंडिक ऑप्टिमायझेशनसाठी. (५) रिअल-टाइम माहिती — Grok 4, लाइव्ह डेटा अॅक्सेससह. (६) बजेट-मर्यादित प्रोजेक्ट्स — Amazon Nova Micro ($०.०३५/$०.१४) किंवा GPT-5 Nano ($०.०५/$०.४०).

AI API चा बजेट बनवताना काय-काय समाविष्ट करावे?

फक्त टोकन खर्च पूर्ण चित्र नाही. संपूर्ण बजेटमध्ये समाविष्ट करा: (१) इनपुट + आउटपुट टोकन खर्च. (२) रिट्राय आणि एरर हँडलिंग — ५-१०% अतिरिक्त कॉल्स. (३) टेस्टिंग आणि डेव्हलपमेंट — प्रॉडक्शनच्या २०-३०% खर्च. (४) ट्रॅफिक स्पाइक — पीक टाइममध्ये २-३x जास्त कॉल्स. (५) USD-INR दरातील चढउतार — ५% बफर ठेवा. एकूणच, अंदाजित टोकन खर्चावर ४०-५०% अतिरिक्त बजेट ठेवणे सुरक्षित आहे.

प्रमुख संज्ञा

टोकन (Token)

मजकुराची सर्वात लहान एकक जी LLM प्रक्रिया करते. एक टोकन एक शब्द, शब्दाचा भाग, किंवा विरामचिन्ह असू शकतो.

BPE (Byte Pair Encoding)

सर्वात लोकप्रिय टोकनायझेशन अल्गोरिदम जो वारंवार येणाऱ्या अक्षर-जोड्यांना एकत्र करून टोकन तयार करतो. GPT, Claude, Grok, DeepSeek आणि Mistral हे वापरतात.

कॉन्टेक्स्ट विंडो (Context Window)

एकावेळी मॉडेल जितके टोकन प्रक्रिया करू शकते त्याची कमाल मर्यादा. GPT-4.1 मध्ये १M टोकन, Claude Opus मध्ये १M टोकन, Gemini 2.5 Pro मध्ये २M टोकन, Grok 4 मध्ये २५६K टोकन, आणि DeepSeek V3.2 मध्ये १२८K टोकन ची कॉन्टेक्स्ट विंडो आहे.

प्रॉम्प्ट कॅशिंग (Prompt Caching)

एक तंत्र ज्यात वारंवार पाठवले जाणाऱ्या सिस्टम प्रॉम्प्टला कॅश केले जाते, ज्यामुळे त्या टोकनवर ९०% पर्यंत सवलत मिळते.

मॉडेल राउटिंग (Model Routing)

वेगवेगळ्या कठीणाईच्या प्रश्नांना वेगवेगळ्या मॉडेलकडे पाठवण्याची रणनीती. साध्या कामांसाठी स्वस्त मॉडेल, क्लिष्ट कामांसाठी महाग मॉडेल.

टोकन फर्टिलिटी (Token Fertility)

प्रति शब्द सरासरी किती टोकन लागतात याचे मोजमाप. इंग्रजीसाठी १.४, मराठीसाठी GPT-4 मध्ये ३-५, Sarvam AI मध्ये १.४-२.१. कमी फर्टिलिटी म्हणजे कमी खर्च.

Sarvam AI

बेंगळुरू-आधारित भारतीय AI स्टार्टअप जे मराठीसह १० भारतीय भाषांसाठी ऑप्टिमाइझ केलेले LLM (Sarvam-1, Sarvam 30B/105B) तयार करते. इंडिक टोकनायझरसाठी प्रसिद्ध.

BharatGen Param 2

भारत सरकारच्या सहाय्याने विकसित केलेले १७B पॅरामीटर्सचे MoE मल्टीलिंग्वल फाउंडेशन मॉडेल, २२ अनुसूचित भारतीय भाषांवर प्रशिक्षित, AI इम्पॅक्ट समिट २०२६ मध्ये उघड.

बॅच API (Batch API)

OpenAI द्वारे प्रदान केलेली सेवा ज्यात गैर-तत्काळ (non-real-time) विनंत्या एकत्र पाठवून ५०% सवलत मिळवता येते.

स्रोत आणि संदर्भ

  1. Hugging Face — BPE टोकनायझेशनचे स्पष्टीकरण
  2. OpenAI — API किंमत
  3. Anthropic Claude — API किंमत
  4. Anthropic Claude — टोकन गणना दस्तऐवज
  5. Google Gemini — API किंमत

Smart Calculators Team ने सत्यापित