Estimateur de tokens
Collez du texte. Vous obtenez une estimation du nombre de tokens, la part de fenêtre de contexte occupée et ce que coûterait son embedding.
| Modèle | Part du contexte |
|---|
Comment l'estimation fonctionne
Les modèles récents utilisent le byte-pair encoding, qui découpe le texte en morceaux de sous-mots. Les mots anglais courants valent un token ; les mots rares, la ponctuation et le code chargé d'espaces coûtent plus. Sans envoyer un mégaoctet de vocabulaire dans votre navigateur, l'approche pratique est une heuristique calibrée : compter les mots, la ponctuation et les suites d'espaces, puis ajuster selon le type de contenu.
Comptez sur une marge d'environ 10 % pour de la prose anglaise, et
plus large pour le code et les autres langues. S'il vous faut l'exactitude, lancez le
tokenizer du modèle lui-même — tiktoken pour OpenAI, ou le tokenizer
livré avec le modèle sur Hugging Face.
Rien de ce que vous collez ne quitte votre navigateur. Il n'y a aucune requête, aucune journalisation, aucun serveur — le calcul se fait sur cette page.
Pourquoi le nombre de tokens compte pour la mémoire
Chaque fait que votre assistant récupère coûte du contexte, et le contexte est fini. Un système de mémoire qui renvoie douze notes complètes quand une suffirait ne vous a pas aidé — il a dépensé votre fenêtre et en a chassé la conversation elle-même.
C'est pourquoi Varven sépare trouver quelle mémoire de lire ce qu'elle dit : une recherche brève renvoie sujets et identifiants pour une fraction des tokens, et vous ne récupérez que le corps dont vous avez besoin. Voir comment Varven fonctionne.
Questions fréquentes
Combien de tokens fait un mot ?
La prose anglaise tourne autour de 1,3 token par mot, soit à peu près quatre caractères par token. Le code monte plus haut, parce que les identifiants, les crochets et l'indentation se fragmentent davantage.
Pourquoi les modèles annoncent-ils des comptes différents ?
Chaque famille de modèles a son propre vocabulaire. Le même paragraphe peut varier de 10 à 20 % entre les tokenizers GPT, Claude et Llama. Les estimations données ici visent ce milieu.
Les espaces comptent-ils ?
Oui. L'indentation et les lignes vides sont de vrais tokens, ce qui explique qu'un JSON minifié coûte moins cher qu'un JSON formaté au même contenu.