एलएलएम टोकन की गणना कैसे करें और स्थानीय स्तर पर एपीआई लागत का अनुमान कैसे लगाएं

ओपनएआई के जीपीटी मॉडल, एंथ्रोपिक के क्लाउड और गूगल के जेमिनी जैसे बड़े भाषा मॉडल (एलएलएम) पाठ को अक्षरों या शब्दों में संसाधित नहीं करते हैं। इसके बजाय, वे पाठ को वर्णों के टुकड़ों में तोड़ देते हैं जिन्हें टोकन कहा जाता है। टोकन एक अक्षर, एक शब्दांश, एक शब्द या यहां तक ​​कि एक शब्द का हिस्सा भी हो सकता है। आपके संकेतों की सटीक टोकन गिनती को समझना महत्वपूर्ण है क्योंकि एलएलएम प्रदाता टोकन उपयोग के आधार पर शुल्क लेते हैं, और मॉडल में सख्त संदर्भ विंडो सीमाएं होती हैं।

विभिन्न मॉडल टेक्स्ट को पार्स करने के लिए अलग-अलग टोकननाइज़र एल्गोरिदम (या टोकन एन्कोडिंग) का उपयोग करते हैं। उदाहरण के लिए, GPT-3.5 और GPT-4 'cl100k_base' एन्कोडिंग का उपयोग करते हैं, जबकि नए GPT-4o मॉडल 'o200k_base' एन्कोडिंग का उपयोग करते हैं। इन एन्कोडिंग में अपने पाठ की तुलना करने से बजट और संदर्भ सीमा के भीतर फिट होने के लिए संकेतों को अनुकूलित करने में मदद मिलती है।

पेस्ट्री टेम्प्लेट, एपीआई प्रॉम्प्ट और कोड ब्लॉक में अक्सर संवेदनशील डेटा होता है, जिसमें एपीआई कुंजी, डेटाबेस क्रेडेंशियल, मालिकाना कोड संरचनाएं या व्यक्तिगत ग्राहक लॉग शामिल हैं। टोकन की गिनती के लिए इस पाठ को दूरस्थ सर्वर पर अपलोड करने से आपकी जानकारी अनुपालन और सुरक्षा लीक के संपर्क में आ जाती है। ZeroWebTools आपके ब्राउज़र के अंदर पूरी तरह से टोकननाइज़र इंजन चलाता है।

हमारा एलएलएम टोकन काउंटर मेमोरी में बीपीई (बाइट पेयर एनकोडिंग) रैंक एरेज़ को लोड करने के लिए स्थानीय जावास्क्रिप्ट लाइब्रेरी का उपयोग करता है। टोकननाइजेशन प्रक्रिया, विज़ुअल वर्ड-बाउंड्री रेंडरिंग और मूल्य अनुमान आपके स्थानीय सीपीयू पर संसाधित किए जाते हैं। आपके निजी संकेत और टेक्स्ट इनपुट कभी भी किसी दूरस्थ सर्वर को नहीं छूते हैं।