Tokens

 

¶ ¿Por qué hay un límite de tokens?

Existe un límite para la cantidad de texto que MonAI puede procesar en una consigna. Ese límite se expresa en tokens.

 

¶ ¿Qué es exactamente un token?

Un token es un carácter o secuencia de caracteres que representa una unidad única de significado. Una palabra puede equivaler a 1 token, o puede ser de 2 o más.
Tree = 1 token
House = 1 token
Treehouse = 2 tokens
Navigate = 2 token
Circumnavigate = 4 tokens

Es difícil predecir cuántos tokens utilizará una consigna en particular, incluso para el contador de tokens. El contador puede tener errores en su estimación.

 

¶ ¿Cuál es el límite de tokens para MonAI?

El límite actual es de 150 tokens.

 

¶ ¿Por qué existen los tokens?

Stable Diffusion cambia las palabras (que no entiende) en tokens (que sí entiende) y luego en números. Genera arte basado en esos números.

 

¶ ¿Por qué algunos embeddings tienen tantos tokens?

Un embedding es en realidad un modelo de IA entrenado a partir de imágenes. Algunos tienen menos tokens y otros tienen más, dependiendo de cómo se creó el embedding. MonAI actualmente cuenta con una selección de embeddings negativos y más información sobre ellos QUÍ.