Cómo contar tokens LLM y estimar los costos de API localmente

Los modelos de lenguaje grande (LLM), como los modelos GPT de OpenAI, Claude de Anthropic y Gemini de Google, no procesan texto en caracteres o palabras. En cambio, dividen el texto en fragmentos de caracteres llamados tokens. Un token puede ser un solo carácter, una sílaba, una palabra o incluso parte de una palabra. Comprender el recuento exacto de tokens de sus solicitudes es crucial, ya que los proveedores de LLM cobran según el uso de tokens y los modelos tienen límites estrictos de ventana de contexto.

Los diferentes modelos utilizan diferentes algoritmos tokenizadores (o codificaciones de tokens) para analizar el texto. Por ejemplo, GPT-3.5 y GPT-4 usan la codificación 'cl100k_base', mientras que los modelos GPT-4o más nuevos usan la codificación 'o200k_base'. Comparar su texto entre estas codificaciones ayuda a optimizar las indicaciones para que se ajusten a los presupuestos y umbrales de contexto.

Las plantillas de pastelería, las solicitudes de API y los bloques de código contienen con frecuencia datos confidenciales, incluidas claves de API, credenciales de bases de datos, estructuras de código patentadas o registros personales de clientes. Cargar este texto en servidores remotos para contar tokens expone su información a fugas de cumplimiento y seguridad. ZeroWebTools ejecuta el motor tokenizador completamente dentro de su navegador.

Nuestro contador de tokens LLM utiliza bibliotecas Javascript locales para cargar matrices de clasificación BPE (codificación de pares de bytes) en la memoria. El proceso de tokenización, la representación visual de los límites de las palabras y las estimaciones de precios se procesan en su CPU local. Sus mensajes privados y entradas de texto nunca tocan un servidor remoto.