Token Calculator

Token Calculator - Calculateur de jetons local, axé sur la confidentialité, pour compter les jetons dans des textes, fichiers et images pour tous les principaux fournisseurs de modèles LLM

Lancé aujourd'hui

TokenCalculator.dev est un outil de comptage de jetons hébergé dans le navigateur, axé sur la confidentialité, qui exécute l'intégralité des calculs localement sur votre appareil : aucun contenu utilisateur n'est téléversé vers des serveurs externes. Il prend en charge les invites textuelles, les fichiers de code, les documents PDF, DOCX et les formats d'image courants, et affiche en temps réel les comptages de jetons ainsi que les coûts d'API estimés pour plus de 35 modèles issus de 9 fournisseurs populaires de LLM. Il est conçu pour les développeurs IA, les planificateurs de workflows LLM et les équipes qui comparent les tarifs de différents services d'IA générative afin d'estimer précisément les coûts de charge de travail avant d'effectuer des appels d'API.

1VuesDevTools IAGratuitRespect de la Vie PrivéeUtilisable Hors LigneGrand Modèle de Langage (LLM)ClaudeGPTGemini

Fonctionnalités principales

Tous les traitements s'exécutent entièrement dans votre navigateur. Aucun texte collé, document téléversé ou contenu d'image ne quitte votre appareil local à aucun moment. Seuls les métadonnées publiques des modèles peuvent être actualisées à distance pour les mises à jour de tarifs.

Les types d'entrées pris en charge incluent le texte brut, les fichiers de code (JavaScript, TypeScript, Python, Go, Rust, Java, C/C++, HTML, CSS, XML, YAML, TOML, SQL, shell), les fichiers de données (CSV, JSON), les PDF à base de texte, les DOCX, et les formats d'image matricielle (PNG, JPEG, WebP, GIF). La taille maximale de fichier par téléversement est de 12 Mo. Les PDF numérisés sont automatiquement refusés pour éviter de renvoyer des résultats de comptage de jetons faibles et trompeurs.

L'outil prend en charge 35 modèles actuels issus de 9 grands fournisseurs de LLM : OpenAI, Anthropic, Google, DeepSeek, Qwen, Moonshot Kimi, xAI Grok, Z.ai GLM et Meta. Il affiche le nombre de jetons d'entrée, le statut d'adéquation à la fenêtre de contexte, et le coût d'entrée estimé pour chaque modèle.

Méthodologie de calcul

Les comptages de jetons OpenAI utilisent la tokenisation BPE o200k_base locale exacte pour une précision de 100 %. Les comptages de jetons Claude, Gemini et DeepSeek utilisent des projections de jetons UTF-8 déterministes étalonnées par le fournisseur, et les résultats sont explicitement étiquetés comme projetés et non exacts. Les calculs de jetons d'image respectent les règles de jetons visuels publiées par chaque fournisseur, y compris les paramètres de patch, de tuile et de capacité de détail. L'outil ne génère jamais d'estimation fabriquée pour un modèle qui n'a pas de règles de jetons d'image documentées publiquement.

Les données de tarifs sont actualisées depuis le registre public Models.dev, avec une solution de secours intégrée hors ligne disponible en cas d'absence de connexion réseau. Tous les tarifs indiqués comportent des lignes distinctes pour les jetons d'entrée standard, les jetons d'entrée mis en cache à tarif réduit et les jetons de sortie par million d'unités.

Workflows pris en charge

Planification d'ingestion de base de connaissances

Téléversez un PDF à base de texte, associez-le à des instructions d'invite, et comparez l'adéquation du contexte de la charge utile totale et le coût d'entrée sur tous les fournisseurs avant de traiter l'ensemble des documents pour des systèmes RAG.

Budgétisation de requêtes de vision

Associez une image à un texte d'invite complémentaire, puis calculez l'empreinte totale de jetons et le coût estimé pour des requêtes multimodales sur tous les modèles de vision pris en charge.

Estimation de révision de dépôts de code

Ajoutez plusieurs fichiers de code, de configuration et de documentation comme une seule charge de travail pour trouver les modèles dont la capacité de fenêtre de contexte est suffisante pour traiter l'extrait complet de la base de code dans une seule requête.

Comparaison de traitement par lots de données

Associez des données CSV structurées à des instructions de traitement pour comparer le coût par requête sur tous les fournisseurs pour des charges de travail de traitement par lots récurrentes, afin de sélectionner l'option la plus économique qui correspond à vos exigences de débit.

Limitations

Les PDF non textuels numérisés ne sont pas pris en charge et nécessitent une OCR externe pour extraire le texte lisible avant le comptage. L'outil renvoie des estimations pour les comptages de jetons de texte des fournisseurs autres que OpenAI et pour les valeurs de jetons d'image, qui peuvent présenter de légères différences avec les comptages renvoyés directement par les API des fournisseurs, en raison des couches de traitement internes des fournisseurs et des jetons système cachés. La facturation finale émise par chaque fournisseur de LLM reste la source faisant autorité pour les coûts réels.

Commentaires

Commentaires

Pas encore de commentaires. Soyez le premier à partager vos impressions !