Como contar tokens LLM e estimar custos de API localmente

Modelos de linguagem grande (LLMs), como os modelos GPT da OpenAI, Claude da Anthropic e Gemini do Google, não processam texto em caracteres ou palavras. Em vez disso, eles dividem o texto em pedaços de caracteres chamados tokens. Um token pode ser um único caractere, uma sílaba, uma palavra ou até mesmo parte de uma palavra. Compreender a contagem exata de tokens de seus prompts é crucial, pois os provedores de LLM cobram com base no uso de token e os modelos têm limites rígidos de janela de contexto.

Diferentes modelos usam diferentes algoritmos de tokenizer (ou codificações de token) para analisar texto. Por exemplo, GPT-3.5 e GPT-4 usam a codificação 'cl100k_base', enquanto os modelos GPT-4o mais recentes usam a codificação 'o200k_base'. Comparar seu texto nessas codificações ajuda a otimizar os prompts para caber nos orçamentos e limites de contexto.

Modelos Pastry, prompts de API e blocos de código frequentemente contêm dados confidenciais, incluindo chaves de API, credenciais de banco de dados, estruturas de código proprietárias ou registros pessoais de clientes. Carregar este texto em servidores remotos para contar tokens expõe suas informações a vazamentos de conformidade e segurança. ZeroWebTools executa o mecanismo tokenizer inteiramente dentro do seu navegador.

Nosso LLM Token Counter utiliza bibliotecas Javascript locais para carregar matrizes de classificação BPE (Byte Pair Encoding) na memória. O processo de tokenização, a renderização visual dos limites das palavras e as estimativas de preços são processados ​​na CPU local. Suas solicitações privadas e entradas de texto nunca atingem um servidor remoto.