Estimador de tokens
Pega un texto. Obtienes una estimación de tokens, la parte de la ventana de contexto que ocupa y lo que costaría su embedding.
| Modelo | Parte del contexto |
|---|
Cómo funciona la estimación
Los modelos actuales usan byte-pair encoding, que parte el texto en trozos de subpalabra. Las palabras comunes en inglés son un token; las raras, la puntuación y el código cargado de espacios cuestan más. Sin enviar un megabyte de vocabulario a tu navegador, lo práctico es una heurística calibrada: contar palabras, signos de puntuación y rachas de espacios, y luego ajustar por tipo de contenido.
Espera un margen de alrededor del 10% para prosa en inglés, y
mayor para código y otros idiomas. Si necesitas exactitud, usa el tokenizador del
propio modelo — tiktoken para OpenAI, o el que viene con
el modelo en Hugging Face.
Nada de lo que pegues sale de tu navegador. No hay petición, ni registro, ni servidor de por medio — la aritmética ocurre en esta página.
Por qué los tokens importan para la memoria
Cada dato que recupera tu asistente cuesta contexto, y el contexto es finito. Un sistema de memoria que devuelve doce notas enteras cuando bastaba con una no te ha ayudado — se ha gastado tu ventana y ha empujado fuera la conversación de verdad.
Por eso Varven separa encontrar qué memoria de leer lo que dice: una búsqueda breve devuelve asuntos e ids por una fracción de los tokens, y tú recuperas solo el cuerpo que necesitas. Mira cómo funciona Varven.
Preguntas frecuentes
¿Cuántos tokens es una palabra?
La prosa en inglés promedia unos 1.3 tokens por palabra, o aproximadamente cuatro caracteres por token. El código sale más caro porque los identificadores, los corchetes y la indentación se fragmentan en más piezas.
¿Por qué distintos modelos dan recuentos distintos?
Cada familia de modelos tiene su propio vocabulario. El mismo párrafo puede variar un 10–20% entre los tokenizadores de GPT, Claude y Llama. Las estimaciones de aquí se ajustan a ese punto medio.
¿Cuentan los espacios en blanco?
Sí. La indentación y las líneas en blanco son tokens reales, y por eso el JSON minificado sale más barato que el JSON con formato y el mismo contenido.