LLM トークンをカウントし、API コストをローカルで見積もる方法

OpenAI の GPT モデル、Anthropic の Claude、Google の Gemini などの大規模言語モデル (LLM) は、テキストを文字または単語で処理しません。代わりに、テキストをトークンと呼ばれる文字の塊に分割します。トークンには、単一の文字、音節、単語、または単語の一部を指定できます。 LLM プロバイダーはトークンの使用量に基づいて料金を請求し、モデルには厳密なコンテキスト ウィンドウ制限があるため、プロンプトの正確なトークン数を理解することが重要です。

モデルが異なれば、テキストの解析に異なるトークナイザー アルゴリズム (またはトークン エンコーディング) が使用されます。たとえば、GPT-3.5 と GPT-4 は「cl100k_base」エンコーディングを使用しますが、新しい GPT-4o モデルは「o200k_base」エンコーディングを使用します。これらのエンコーディング間でテキストを比較すると、予算とコンテキストのしきい値内に収まるようにプロンプ​​トを最適化するのに役立ちます。

ペストリー テンプレート、API プロンプト、コード ブロックには、API キー、データベース認証情報、独自のコード構造、個人の顧客ログなどの機密データが含まれることがよくあります。このテキストをリモート サーバーにアップロードしてトークンをカウントすると、情報がコンプライアンスやセキュリティの漏洩にさらされることになります。 ZeroWebTools はトークナイザー エンジンを完全にブラウザ内で実行します。

LLM トークン カウンターは、ローカル Javascript ライブラリを利用して、BPE (バイト ペア エンコーディング) ランク配列をメモリ内にロードします。トークン化プロセス、視覚的な単語境界のレンダリング、および価格の見積もりはローカル CPU で処理されます。プライベート プロンプトとテキスト入力がリモート サーバーに影響することはありません。