AI टोकन म्हणजे काय?
AI टोकन ही सर्वात लहान एकक आहे जी GPT, Claude, Gemini, Grok, DeepSeek, Mistral आणि Llama सारख्या लार्ज लँग्वेज मॉडेल (LLM) मजकूर प्रक्रिया करण्यासाठी वापरतात. एक टोकन संपूर्ण शब्द, शब्दाचा भाग, किंवा विरामचिन्ह असू शकतो. इंग्रजीमध्ये, अंदाजे ७५० शब्द हे १,००० टोकनच्या बरोबरीचे असतात, म्हणजेच १ शब्द सुमारे १.३३ टोकन.
OpenAI, Anthropic, Google, xAI, DeepSeek, Mistral आणि Meta सारखे AI प्रोव्हायडर्स त्यांच्या API च्या किंमती टोकनच्या आधारावर ठरवतात. प्रत्येक API कॉलमध्ये दोन प्रकारचे टोकन खर्च होतात: इनपुट टोकन (तुमचा प्रॉम्प्ट) आणि आउटपुट टोकन (मॉडेलचे उत्तर). आउटपुट टोकन सामान्यतः २-४ पट महाग असतात कारण मॉडेलला नवीन मजकूर तयार करावा लागतो.
महाराष्ट्रातील डेव्हलपर्ससाठी एक महत्त्वाची बाब: मराठी आणि इतर देवनागरी भाषांमध्ये तीच गोष्ट सांगण्यासाठी इंग्रजीच्या तुलनेत २-५ पट जास्त टोकन लागतात. याचा अर्थ असा की मराठीमध्ये AI अॅप्लिकेशन तयार करण्याचा खर्च बराच जास्त असू शकतो. हा कॅल्क्युलेटर मुंबई-पुण्यातील स्टार्टअप आणि AI डेव्हलपर्सना विविध AI मॉडेलच्या खर्चाचा अचूक अंदाज लावण्यास मदत करतो.
AI टोकनचा खर्च कसा मोजायचा
AI API चा खर्च मोजण्यासाठी तुम्हाला तीन गोष्टींची गरज आहे: इनपुट टोकनची संख्या, आउटपुट टोकनची संख्या, आणि निवडलेल्या मॉडेलची प्रति-टोकन किंमत.
टप्प्याटप्प्याने प्रक्रिया:
१. तुमच्या मजकुरातील शब्दांची संख्या मोजा.
२. शब्दांना टोकनमध्ये रूपांतरित करा — इंग्रजीसाठी शब्द संख्येला १.३३ ने गुणा. मराठी मजकुरासाठी २.५-४ ने गुणा (टोकनायझरवर अवलंबून).
३. इनपुट आणि आउटपुट टोकन स्वतंत्रपणे मोजा.
४. प्रत्येकाला संबंधित प्रति-दशलक्ष-टोकन दराने गुणा.
५. दोन्ही रकमा जोडा.
उदाहरण: समजा तुम्ही GPT-5.4 वापरत आहात (इनपुट: $२.५०/१M टोकन, आउटपुट: $१५/१M टोकन). जर तुमचा प्रॉम्प्ट ५०० टोकनचा असेल आणि उत्तर १,००० टोकनचे असेल, तर खर्च होईल: (५०० x $२.५०/१M) + (१,००० x $१५/१M) = $०.००१२५ + $०.०१५ = $०.०१६२५, म्हणजेच सुमारे ₹१.३७ प्रति कॉल.
जर तुम्ही रोज १०,००० अशा कॉल करत असाल, तर मासिक खर्च सुमारे ₹४,१०,००० होईल. म्हणूनच मॉडेल निवडण्यापूर्वी खर्चाचा अंदाज लावणे अत्यंत महत्त्वाचे आहे.
AI टोकन खर्चाची व्यावहारिक उदाहरणे
पुणे-आधारित मराठी चॅटबॉट स्टार्टअप: मासिक API खर्च
पुण्यातील एक स्टार्टअप मराठी ग्राहक सेवा चॅटबॉट तयार करत आहे जो रोज ३,००० संभाषणे हाताळतो. प्रत्येक संभाषणात सरासरी १,५०० इनपुट टोकन आणि २,००० आउटपुट टोकन (मराठी देवनागरीमुळे टोकन संख्या जास्त) लागतात. GPT-5.4 (२.५०/१५ प्रति १M टोकन) वर मासिक खर्च: इनपुट = ३,००० x ३० x १,५०० = १३.५ कोटी टोकन = ₹२८,६९०. आउटपुट = ३,००० x ३० x २,००० = १८ कोटी टोकन = ₹२,२९,५००. एकूण: सुमारे ₹२,५८,१९०/महिना. तेच काम GPT-5.4 Mini (०.७५/४.५०) वर केल्यास खर्च घटून फक्त ₹७७,४५०/महिना होतो — ७०% बचत. साध्या ग्राहक प्रश्नांसाठी गुणवत्तेत फार फरक नसतो.
मराठी विरुद्ध इंग्रजी: टोकन खर्चातील फरक
समजा तुम्ही एकच प्रॉम्प्ट पाठवत आहात — “या उत्पादनाच्या वैशिष्ट्यांचे वर्णन करा” विरुद्ध “Describe the features of this product”. इंग्रजी आवृत्ती GPT-5.4 टोकनायझरमध्ये सुमारे ८ टोकन घेते, तर मराठी आवृत्ती सुमारे २८-३२ टोकन घेऊ शकते — जवळपास ४ पट जास्त. Claude Sonnet 4.6 (३/१५ प्रति १M) वर जर तुम्ही रोज ५०,००० मराठी प्रॉम्प्ट पाठवत असाल, तर मासिक खर्च इंग्रजीच्या तुलनेत ₹२५,०००-₹४०,००० जास्त होऊ शकतो. म्हणूनच महाराष्ट्रातील AI अॅप्स तयार करताना Sarvam AI (१.४-२.१ टोकन/शब्द) किंवा BharatGen Param 2 सारख्या इंडिक-ऑप्टिमाइझ्ड मॉडेल्सचा विचार करावा.
मुंबईतील फ्रीलान्स डेव्हलपर: मराठी कंटेंट जनरेटर बजेट
मुंबईतील एक फ्रीलान्स डेव्हलपर क्लायंटसाठी AI-पॉवर्ड मराठी कंटेंट जनरेटर तयार करत आहे. प्रोजेक्टमध्ये रोज १०० मराठी लेख तयार करायचे आहेत, प्रत्येक लेखात ८०० इनपुट टोकन आणि ३,००० आउटपुट टोकन (मराठी देवनागरी मजकूर). Gemini 2.5 Flash-Lite (०.१०/०.४०) वर मासिक खर्च: इनपुट = १०० x ३० x ८०० = २४ लाख टोकन = ₹२०. आउटपुट = १०० x ३० x ३,००० = ९० लाख = ₹३०६. एकूण: फक्त ₹३२६/महिना. परंतु जर क्लायंटला GPT-5.4 गुणवत्ता हवी असेल, तर खर्च वाढून ₹११,९८५/महिना होतो. दोन्ही पर्याय क्लायंटला दाखवून योग्य मॉडेल निवडण्यास मदत करा.
महाराष्ट्र सरकारी दस्तऐवज RAG: इंडेक्सिंग खर्च
एक legal-tech स्टार्टअप महाराष्ट्र सरकारच्या मराठी कायदेशीर दस्तऐवजांवर RAG (Retrieval-Augmented Generation) सिस्टम तयार करत आहे. एकूण कॉर्पस: १०,००० पानांचे मराठी दस्तऐवज (सुमारे ५ कोटी मराठी अक्षरे). GPT-5.4 टोकनायझरमध्ये हे सुमारे २ कोटी टोकन तयार करते. embedding मॉडेल (OpenAI text-embedding-3-small, $०.०२/१M) वापरून एकदाच इंडेक्सिंग खर्च: २ कोटी x $०.०२/१M = $०.४ = ₹३४. पण जर तुम्ही Sarvam AI चा इंडिक टोकनायझर वापरला, तर टोकन संख्या ५०-६०% कमी होते, आणि क्वेरी-टाइम खर्चही तेवढाच कमी होतो. मोठ्या-स्केल मराठी NLP प्रोजेक्टसाठी हा फरक लाखो रुपयांचा असू शकतो.
AI टोकन आणि API खर्च: वारंवार विचारले जाणारे प्रश्न
१ टोकन किती शब्दांच्या किंवा अक्षरांच्या बरोबर आहे?
इंग्रजीमध्ये १ टोकन सुमारे ४ अक्षरे किंवा ०.७५ शब्द (¾ शब्द) च्या बरोबर आहे. दुसऱ्या शब्दांत, १,००० टोकन सुमारे ७५० इंग्रजी शब्दांच्या बरोबर आहेत. मराठीमध्ये हे गुणोत्तर वेगळे आहे — १ मराठी शब्द GPT-5.4 टोकनायझरमध्ये ३-४ टोकन घेऊ शकतो कारण हे मॉडेल मुख्यतः इंग्रजी डेटावर प्रशिक्षित आहेत.
मराठी मजकुरात इंग्रजीपेक्षा जास्त टोकन का लागतात?
LLM टोकनायझर (जसे BPE — Byte Pair Encoding) त्या भाषांना अधिक कार्यक्षमतेने एन्कोड करतात ज्या ट्रेनिंग डेटामध्ये जास्त होत्या. GPT-5, Claude आणि Gemini चा ट्रेनिंग डेटा ६०-८०% इंग्रजी असल्याने, इंग्रजी शब्द कमी टोकनमध्ये दर्शवले जातात. मराठीसारख्या देवनागरी भाषांमध्ये तीच सामग्री २-५ पट जास्त टोकन घेते, ज्यामुळे API खर्च तितकाच पट वाढतो.
हा टोकन कॅल्क्युलेटर विनामूल्य आहे का?
होय, हा ऑनलाइन टोकन कॅल्क्युलेटर पूर्णपणे विनामूल्य आहे आणि कोणत्याही साइन-अप शिवाय वापरता येतो. तुम्ही GPT-5.5, Claude, Gemini, Grok, DeepSeek आणि Mistral च्या २० पेक्षा जास्त मॉडेलसाठी टोकन मोजणी आणि खर्चाचा अंदाज लावू शकता. मराठी, हिंदी आणि इंग्रजी मजकुरासाठीही अचूक काम करते.
२०२६ मध्ये सर्वात स्वस्त AI मॉडेल कोणते आहे?
जून २०२६ च्या किंमतींनुसार, सर्वात स्वस्त मॉडेल्स या क्रमाने आहेत: Amazon Nova Micro (०.०३५/०.१४ प्रति १M टोकन), Cohere Command R7B (०.०३७५/०.१५), Mistral Small 4 (०.१०/०.३०), Gemini 2.5 Flash-Lite (०.१०/०.४०), Llama 4 Scout (Groq वर ०.११/०.३४), DeepSeek V4 Flash (०.१४/०.२८), आणि GPT-5.4 Nano (०.२०/१.२५). मिड-रेंज मॉडेलमध्ये Gemini 3.1 Flash-Lite (०.२५/१.५०), Gemini 2.5 Flash (०.३०/२.५०), DeepSeek V4 Pro (०.४३५/०.८७), Mistral Large 3 (०.५०/१.५०), GPT-5.4 Mini (०.७५/४.५०), Claude Haiku 4.5 (१/५) आणि Grok 4.3 (१.२५/२.५०) उत्कृष्ट पर्याय आहेत. प्रीमियम मॉडेलमध्ये GPT-5.4 (२.५०/१५), Claude Sonnet 4.6 (३/१५), Claude Opus 4.8 (५/२५), GPT-5.5 (५/३०) आणि Claude Fable 5 (१०/५०) सर्वात शक्तिशाली पर्याय आहेत.
भारतात AI API चा खर्च INR मध्ये कसा मोजायचा?
AI API प्रोव्हायडर्स (OpenAI, Anthropic, Google) त्यांच्या किंमती USD मध्ये ठेवतात. INR मध्ये खर्च जाणून घेण्यासाठी: प्रथम वरील सूत्राने USD मध्ये एकूण खर्च काढा, नंतर सध्याच्या USD-INR दराने (सुमारे ₹८४-८५) गुणा. उदाहरण: $१००/महिना API खर्च = सुमारे ₹८,५००/महिना. आमचा कॅल्क्युलेटर हे रूपांतरण स्वयंचलितपणे करतो.
इनपुट टोकन आणि आउटपुट टोकनमध्ये काय फरक आहे?
इनपुट टोकन हे तुम्ही AI मॉडेलला पाठवलेले मजकूर आहेत — तुमचा प्रॉम्प्ट, सिस्टम इंस्ट्रक्शन, आणि कॉन्टेक्स्ट. आउटपुट टोकन हे मॉडेल उत्तरात तयार करणारे मजकूर आहेत. आउटपुट टोकन २-६ पट महाग असतात कारण मॉडेलला प्रत्येक शब्द कॉम्प्युटेशनलरीत्या तयार करावा लागतो, तर इनपुट फक्त वाचून समजून घ्यावे लागते.
Sarvam AI आणि BharatGen मराठीसाठी OpenAI/Claude पेक्षा चांगले आहेत का?
टोकन कार्यक्षमतेच्या बाबतीत, होय. Sarvam-1 चा इंडिक टोकनायझर मराठीसाठी १.४-२.१ टोकन/शब्दाचा दर साध्य करतो, तर GPT-4 साठी हाच दर ३-५ टोकन/शब्द आहे. याचा अर्थ मराठी प्रॉम्प्टची किंमत ५०-६०% कमी होते. गुणवत्तेच्या दृष्टीने, साध्या कामांसाठी (वर्गीकरण, सारांश) Sarvam आणि BharatGen Param 2 योग्य आहेत. क्लिष्ट रीझनिंग किंवा कोडिंगसाठी GPT-5.4 किंवा Claude Sonnet 4.6 अजूनही आघाडीवर आहेत. हायब्रिड दृष्टिकोन सर्वोत्तम: मराठी इनपुटसाठी Sarvam, क्लिष्ट प्रक्रियेसाठी इंग्रजी translation + Claude.
ChatGPT Free tier वर मराठीमुळे मर्यादा लवकर संपते का?
होय. ChatGPT Free tier मध्ये दर ३ तासाला ठराविक संदेश मर्यादा असते. मराठी देवनागरी मजकूर २-४ पट जास्त टोकन वापरत असल्याने, तुमची प्रभावी मर्यादा इंग्रजी वापरकर्त्यांच्या तुलनेत लवकर संपते. जर तुम्ही वारंवार मराठीमध्ये लांब चर्चा करत असाल, तर ChatGPT Plus ($२०/महिना = ₹१,७००) किंवा थेट API वापर (त्याच खर्चात जास्त वापर) विचारात घ्या.
ओपन-सोर्स मॉडेल्स (Llama 4, DeepSeek V4, Mistral) API खर्च टाळण्याचा मार्ग आहेत का?
होय, पण ट्रेड-ऑफ आहेत. Meta चे Llama 4, DeepSeek V4, किंवा Mistral Small 4 तुमच्या सर्व्हरवर चालवल्याने प्रति-टोकन API शुल्क लागत नाही, पण GPU सर्व्हरचा खर्च येतो. AWS वर एक A100 GPU सुमारे ₹१,५०,०००-₹२,५०,०००/महिना मिळतो. एक किफायतशीर पर्याय Groq सारखे इन्फरन्स प्रोव्हायडर्स आहेत जे ओपन-सोर्स मॉडेल्स ०.०५-०.५९/१M टोकनवर देतात. जर तुमचा मासिक API खर्च ₹३,००,००० पेक्षा जास्त असेल, तर सेल्फ-होस्टिंग किफायतशीर असू शकते.
टोकनायझेशन (Tokenization) म्हणजे काय आणि ते कसे काम करते?
टोकनायझेशन ही प्रक्रिया आहे ज्यामध्ये AI मॉडेल मजकूर लहान तुकड्यांमध्ये (टोकन) विभागतो. आधुनिक LLM मुख्यतः BPE (Byte Pair Encoding) किंवा SentencePiece अल्गोरिदम वापरतात. हे अल्गोरिदम वारंवार येणाऱ्या अक्षर-जोड्यांना एका टोकनमध्ये एकत्र करतात. 'hello' एक टोकन असू शकतो, पण 'tokenization' ला 'token' + 'ization' मध्ये तोडले जाते. मराठीमध्ये 'नमस्कार' हा शब्द अनेक UTF-8 बाइट्समध्ये तोडला जातो, म्हणून जास्त टोकन लागतात.
कोणत्या कामासाठी कोणते AI मॉडेल सर्वात योग्य आहे?
कामाच्या अनुषंगाने सर्वोत्तम मॉडेल:
(१) कोडिंग आणि प्रोग्रामिंग — Claude Opus 4.8/Sonnet 4.6 किंवा GPT-5.5 आणि GPT-5.4.
(२) क्रिएटिव्ह रायटिंग आणि इंग्रजी कंटेंट — GPT-5.4 किंवा Claude Sonnet 4.6.
(३) डेटा अॅनालिसिस आणि लांब दस्तऐवज — Gemini 2.5 Pro (२M कॉन्टेक्स्ट) किंवा Claude Opus 4.8 (१M कॉन्टेक्स्ट).
(४) मराठी/हिंदी चॅटबॉट आणि कंटेंट — Sarvam AI किंवा BharatGen Param 2, इंडिक ऑप्टिमायझेशनसाठी.
(५) रिअल-टाइम माहिती — Grok 4.3, लाइव्ह डेटा अॅक्सेससह.
(६) बजेट-मर्यादित प्रोजेक्ट्स — Amazon Nova Micro (०.०३५/०.१४) किंवा GPT-5.4 Nano (०.२०/१.२५).
AI API चा बजेट बनवताना काय-काय समाविष्ट करावे?
फक्त टोकन खर्च पूर्ण चित्र नाही. संपूर्ण बजेटमध्ये समाविष्ट करा:
(१) इनपुट + आउटपुट टोकन खर्च.
(२) रिट्राय आणि एरर हँडलिंग — ५-१०% अतिरिक्त कॉल्स.
(३) टेस्टिंग आणि डेव्हलपमेंट — प्रॉडक्शनच्या २०-३०% खर्च.
(४) ट्रॅफिक स्पाइक — पीक टाइममध्ये २-३x जास्त कॉल्स.
(५) USD-INR दरातील चढउतार — ५% बफर ठेवा.
एकूणच, अंदाजित टोकन खर्चावर ४०-५०% अतिरिक्त बजेट ठेवणे सुरक्षित आहे.
GPT-5.6 Sol चा दर दहा लाख टोकनसाठी किती आहे?
GPT-5.6 Sol चा दर दहा लाख इनपुट टोकनसाठी ५ डॉलर आणि दहा लाख आउटपुट टोकनसाठी ३० डॉलर आहे. Terra २.५०/१५ डॉलरवर आहे आणि Luna १/६ डॉलरवर. २,००० इनपुट व ५०० आउटपुट टोकन वापरणाऱ्या चॅटबॉटसाठी, दररोज १०० विनंत्यांवर, हे Sol वर महिन्याला ७५.०० डॉलर, Terra वर ३७.५० आणि Luna वर १५.०० डॉलर होते — सर्वात स्वस्त आणि सर्वात महाग पातळीत नेमका पाच पट फरक आहे.
Claude Opus 5 चा खर्च किती आणि तो GPT-5.6 Sol पेक्षा स्वस्त आहे का?
Claude Opus 5 दहा लाख इनपुट टोकनसाठी ५ डॉलर आणि आउटपुटसाठी २५ डॉलर घेतो; Claude Sonnet 5 चा दर ३/१५ डॉलर आहे. Opus 5 इनपुटसाठी GPT-5.6 Sol इतकेच शुल्क घेतो पण आउटपुट स्वस्त आहे, म्हणून उत्तर तुमच्या प्रमाणावर अवलंबून आहे: त्याच २,०००/५०० चॅटबॉटवर दररोज १०० विनंत्यांसह Opus 5 महिन्याला ६७.५० डॉलर पडतो, तर Sol ७५.०० डॉलर; आणि इनपुट-प्रधान कामांमध्ये दोघांतील फरक प्रति विनंती एक सेंटपेक्षा कमी राहतो.
एकाच किंमतीचे नवे मॉडेल खरोखर तेवढाच खर्च करते का?
नेहमी नाही. Claude 4.7 आणि नंतरची मॉडेल्स (Opus 5, Opus 4.8, Sonnet 5) नवा टोकनायझर वापरतात, जो तोच मजकूर Sonnet 4.6 आणि त्यापूर्वीच्या तुलनेत सुमारे ३०% अधिक टोकनमध्ये विभागतो. Sonnet 5 आणि Sonnet 4.6 दोघांचा दर ३/१५ डॉलर आहे, पण Sonnet 4.6 वर महिन्याला ४०.५० डॉलरचे असलेले काम Sonnet 5 वर सुमारे ५२.६५ डॉलरचे होते. Opus 4.8 वरून Opus 5 वर जाणे तटस्थ आहे, कारण दोघे आधीच नवा टोकनायझर वापरतात.
प्रमुख संज्ञा
टोकन (Token)
मजकुराची सर्वात लहान एकक जी LLM प्रक्रिया करते. एक टोकन एक शब्द, शब्दाचा भाग, किंवा विरामचिन्ह असू शकतो.
BPE (Byte Pair Encoding)
सर्वात लोकप्रिय टोकनायझेशन अल्गोरिदम जो वारंवार येणाऱ्या अक्षर-जोड्यांना एकत्र करून टोकन तयार करतो. GPT, Claude, Grok, DeepSeek आणि Mistral हे वापरतात.
कॉन्टेक्स्ट विंडो (Context Window)
एकावेळी मॉडेल जितके टोकन प्रक्रिया करू शकते त्याची कमाल मर्यादा. GPT-5.4 मध्ये १M टोकन, Claude Opus 4.8 मध्ये १M टोकन, Gemini 2.5 Pro मध्ये २M टोकन, Grok 4.3 मध्ये १M टोकन, आणि DeepSeek V4 मध्ये १M टोकन ची कॉन्टेक्स्ट विंडो आहे.
प्रॉम्प्ट कॅशिंग (Prompt Caching)
एक तंत्र ज्यात वारंवार पाठवले जाणाऱ्या सिस्टम प्रॉम्प्टला कॅश केले जाते, ज्यामुळे त्या टोकनवर ९०% पर्यंत सवलत मिळते.
मॉडेल राउटिंग (Model Routing)
वेगवेगळ्या कठीणाईच्या प्रश्नांना वेगवेगळ्या मॉडेलकडे पाठवण्याची रणनीती. साध्या कामांसाठी स्वस्त मॉडेल, क्लिष्ट कामांसाठी महाग मॉडेल.
टोकन फर्टिलिटी (Token Fertility)
प्रति शब्द सरासरी किती टोकन लागतात याचे मोजमाप. इंग्रजीसाठी १.४, मराठीसाठी GPT-4 मध्ये ३-५, Sarvam AI मध्ये १.४-२.१. कमी फर्टिलिटी म्हणजे कमी खर्च.
Sarvam AI
बेंगळुरू-आधारित भारतीय AI स्टार्टअप जे मराठीसह १० भारतीय भाषांसाठी ऑप्टिमाइझ केलेले LLM (Sarvam-1, Sarvam 30B/105B) तयार करते. इंडिक टोकनायझरसाठी प्रसिद्ध.
BharatGen Param 2
भारत सरकारच्या सहाय्याने विकसित केलेले १७B पॅरामीटर्सचे MoE मल्टीलिंग्वल फाउंडेशन मॉडेल, २२ अनुसूचित भारतीय भाषांवर प्रशिक्षित, AI इम्पॅक्ट समिट २०२६ मध्ये उघड.
बॅच API (Batch API)
OpenAI द्वारे प्रदान केलेली सेवा ज्यात गैर-तत्काळ (non-real-time) विनंत्या एकत्र पाठवून ५०% सवलत मिळवता येते.