Comment compter les jetons LLM et estimer les coûts des API localement

Les grands modèles linguistiques (LLM) comme les modèles GPT d'OpenAI, Claude d'Anthropic et Gemini de Google ne traitent pas le texte en caractères ou en mots. Au lieu de cela, ils décomposent le texte en morceaux de caractères appelés jetons. Un jeton peut être un seul caractère, une syllabe, un mot ou même une partie d'un mot. Comprendre le nombre exact de jetons de vos invites est crucial puisque les fournisseurs LLM facturent en fonction de l'utilisation des jetons et que les modèles ont des limites strictes de fenêtre de contexte.

Différents modèles utilisent différents algorithmes de tokenisation (ou encodages de jetons) pour analyser le texte. Par exemple, GPT-3.5 et GPT-4 utilisent l'encodage « cl100k_base », tandis que les modèles GPT-4o plus récents utilisent l'encodage « o200k_base ». La comparaison de votre texte avec ces encodages permet d'optimiser les invites pour les adapter aux budgets et aux seuils contextuels.

Les modèles Pastry, les invites API et les blocs de code contiennent souvent des données sensibles, notamment des clés API, des informations d'identification de base de données, des structures de code propriétaires ou des journaux personnels de clients. Le téléchargement de ce texte sur des serveurs distants pour compter les jetons expose vos informations à des fuites de conformité et de sécurité. ZeroWebTools exécute le moteur de tokenisation entièrement dans votre navigateur.

Notre compteur de jetons LLM utilise des bibliothèques Javascript locales pour charger des tableaux de classement BPE (Byte Pair Encoding) en mémoire. Le processus de tokenisation, le rendu visuel des limites des mots et les estimations de prix sont traités sur votre processeur local. Vos invites privées et vos saisies de texte ne touchent jamais un serveur distant.