Token Calculator

Token Calculator - Datenschutzorientierter browserbasierter Token-Rechner zum Zählen von Tokens in Texten, Dateien und Bildern für alle gängigen LLM-Anbieter

Heute gestartet

TokenCalculator.dev ist ein browsergehostetes, datenschutzorientiertes Tool zur Token-Zählung, das alle Berechnungen lokal auf Ihrem Gerät ausführt. Kein Benutzerinhalt wird an externe Server übermittelt. Es unterstützt Text-Prompts, Codedateien, PDF-, DOCX-Dokumente und gängige Bildformate. Es gibt live Token-Zählungen und geschätzte API-Kosten für mehr als 35 Modelle von 9 bekannten LLM-Anbietern zurück. Das Tool ist für KI-Entwickler, Planer von LLM-Arbeitsabläufen und Teams konzipiert, die Preise verschiedener generativer KI-Dienste vergleichen, um Kosten von Workloads vor API-Aufrufen genau zu berechnen.

1AufrufeKI-DevToolsKostenlosDatenschutzOffline nutzbarLarge Language Model (LLM)ClaudeGPTGemini

Kernfunktionen

Die gesamte Verarbeitung läuft vollständig in Ihrem Browser ab. Weder eingefügter Text, noch hochgeladene Dokumente oder Bildinhalte verlassen zu irgendeinem Zeitpunkt Ihr lokales Gerät. Lediglich öffentliche Metadaten zu Modellen können remote aktualisiert werden, um Preisinformationen auf dem aktuellen Stand zu halten.

Unterstützte Eingabetypen sind Klartext, Codedateien (JavaScript, TypeScript, Python, Go, Rust, Java, C/C++, HTML, CSS, XML, YAML, TOML, SQL, Shell), Datendateien (CSV, JSON), textbasierte PDF-Dateien, DOCX-Dateien und Rasterbildformate (PNG, JPEG, WebP, GIF). Die maximale Dateigröße pro Upload beträgt 12 MB. Gescannte PDFs werden automatisch abgelehnt, um irreführende zu niedrige Token-Ergebnisse zu vermeiden.

Das Tool unterstützt 35 aktuelle Modelle von 9 großen LLM-Anbietern: OpenAI, Anthropic, Google, DeepSeek, Qwen, Moonshot Kimi, xAI Grok, Z.ai GLM und Meta. Es zeigt für jedes Modell die Anzahl der Eingangs-Tokens, den Status zur Eignung im Kontextfenster und die geschätzten Eingangskosten an.

Methodik der Berechnung

OpenAI-Token-Zählungen nutzen die exakte lokale o200k_base BPE-Tokenisierung für 100 % Genauigkeit. Token-Zählungen für Claude, Gemini und DeepSeek verwenden deterministische, an die Anbieter angepasste UTF-8-Token-Projektionen. Die Ergebnisse werden explizit als projiziert statt als exakt gekennzeichnet. Berechnungen von Bild-Tokens folgen den von jedem Anbieter veröffentlichten Regeln für visuelle Tokens, einschließlich Parametern zu Patches, Kacheln und Detailkapazität. Das Tool erstellt niemals eine erfundene Schätzung für Modelle, für die keine öffentlich dokumentierten Regeln zu Bild-Tokens vorliegen.

Preisdaten werden aus dem öffentlichen Register von Models.dev aktualisiert. Für den Fall ohne Netzwerkverbindung steht eine offline gebündelte Ausweichversion zur Verfügung. Alle aufgeführten Tarife enthalten separate Positionen für Standard-Eingangs-Tokens, vergünstigte zwischengespeicherte Eingangs-Tokens und Ausgangs-Tokens pro Million Einheiten.

Unterstützte Arbeitsabläufe

Planung der Aufnahme von Wissensdatenbanken

Laden Sie eine textbasierte PDF hoch, kombinieren Sie diese mit Prompt-Anweisungen und vergleichen Sie die Eignung der gesamten Nutzlast für das Kontextfenster sowie die Eingangskosten über alle Anbieter hinweg, bevor Sie den vollständigen Dokumentensatz für RAG-Systeme verarbeiten.

Budgetierung von Vision-Anfragen

Kombinieren Sie ein Bild mit zugehörigem Prompt-Text und berechnen Sie anschließend den gesamten Token-Bedarf sowie die geschätzten Kosten für multimodale Anfragen über alle unterstützten Vision-Modelle hinweg.

Schätzung der Überprüfung von Code-Repositories

Fügen Sie mehrere Code-, Konfigurations- und Dokumentationsdateien als eine einzelne Workload hinzu, um Modelle zu finden, die über ausreichende Kapazität im Kontextfenster verfügen, um den vollständigen Auszug des Codebases in einer einzigen Anfrage zu verarbeiten.

Vergleich von stapelweiser Datenverarbeitung

Kombinieren Sie strukturierte CSV-Daten mit Verarbeitungsanweisungen, um die Kosten pro Anfrage für wiederkehrende stapelweise Verarbeitung von Daten über alle Anbieter hinweg zu vergleichen. Wählen Sie so die kostengünstigste Option, die Ihren Anforderungen an den Durchsatz entspricht.

Einschränkungen

Gescannte nicht-textbasierte PDFs werden nicht unterstützt. Sie erfordern eine externe OCR, um lesbaren Text vor der Zählung zu extrahieren. Das Tool gibt Schätzungen für nicht zu OpenAI gehörende Text-Token-Zählungen und Bild-Token-Werte zurück. Diese können geringfügig von den Zählungen abweichen, die direkt von den APIs der Anbieter zurückgegeben werden. Grund dafür sind interne Verarbeitungsabläufe der Anbieter und nicht dokumentierte System-Tokens. Die endgültige Abrechnung jedes LLM-Anbieters bleibt die maßgebliche Quelle für die tatsächlichen Kosten.

Kommentare

Kommentare

Noch keine Kommentare. Sei der Erste, der seine Gedanken teilt!