So zählen Sie LLM-Tokens und schätzen die API-Kosten vor Ort

Große Sprachmodelle (LLMs) wie die GPT-Modelle von OpenAI, Claude von Anthropic und Gemini von Google verarbeiten keinen Text in Zeichen oder Wörtern. Stattdessen zerlegen sie den Text in Zeichenblöcke, sogenannte Token. Ein Token kann ein einzelnes Zeichen, eine Silbe, ein Wort oder sogar ein Teil eines Wortes sein. Es ist von entscheidender Bedeutung, die genaue Token-Anzahl Ihrer Eingabeaufforderungen zu kennen, da LLM-Anbieter ihre Gebühren auf der Grundlage der Token-Nutzung abrechnen und Modelle strenge Kontextfensterbeschränkungen haben.

Verschiedene Modelle verwenden unterschiedliche Tokenizer-Algorithmen (oder Token-Kodierungen), um Text zu analysieren. Beispielsweise verwenden GPT-3.5 und GPT-4 die Kodierung „cl100k_base“, während neuere GPT-4o-Modelle die Kodierung „o200k_base“ verwenden. Der Vergleich Ihres Textes über diese Kodierungen hinweg hilft dabei, Eingabeaufforderungen so zu optimieren, dass sie in Budgets und Kontextschwellenwerte passen.

Gebäckvorlagen, API-Eingabeaufforderungen und Codeblöcke enthalten häufig vertrauliche Daten, darunter API-Schlüssel, Datenbankanmeldeinformationen, proprietäre Codestrukturen oder persönliche Kundenprotokolle. Wenn Sie diesen Text auf Remote-Server hochladen, um Token zu zählen, sind Ihre Informationen Compliance- und Sicherheitslücken ausgesetzt. ZeroWebTools führt die Tokenizer-Engine vollständig in Ihrem Browser aus.

Unser LLM-Token-Zähler nutzt lokale Javascript-Bibliotheken, um BPE-Rang-Arrays (Byte Pair Encoding) in den Speicher zu laden. Der Tokenisierungsprozess, das visuelle Rendern von Wortgrenzen und Preisschätzungen werden auf Ihrer lokalen CPU verarbeitet. Ihre privaten Eingabeaufforderungen und Texteingaben berühren niemals einen Remote-Server.