¿Qué es el tamaño del contexto del chat?
El tamaño del contexto del chat determina cuánta información se envía a la IA cada vez que un visitante hace una pregunta. El contexto contiene las instrucciones de rol de tu chatbot (el prompt), la conversación mantenida hasta el momento y los fragmentos más relevantes de los datos de entrenamiento obtenidos de tu base de conocimiento. Un token es un pequeño fragmento de texto que la IA lee - la cantidad varía según el idioma y el modelo, por lo que los tokens no equivalen exactamente a caracteres o palabras.
Ventajas de un contexto más amplio:
- Más espacio para instrucciones de rol detalladas sin limitar tu base de conocimiento
- Mejor comprensión de conversaciones más largas
- Capacidad para responder preguntas complejas consultando más datos de entrenamiento a la vez
- Cuando la memoria del chat está activada, más espacio para resúmenes y perfiles de clientes de conversaciones anteriores
Cómo cambiar el tamaño del contexto
Selecciona tu chatbot, haz clic en la pestaña Settings (Configuración) y luego selecciona Model & Advanced (Modelo y avanzado) en la barra lateral izquierda.
Busca el menú desplegable Context size (Tamaño del contexto) y elige tu opción preferida:
- 8000 tokens (default) - 1x créditos de mensaje
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
Las opciones de 16K y 32K están disponibles como funciones premium - solo aparecen en la lista si tu plan incluye un contexto de chat más amplio.
Espera a que aparezca Saved (Guardado) y luego prueba una nueva conversación en Overview (Resumen) con una pregunta que requiera varios datos relacionados. Un contexto más amplio no aumenta tu límite de almacenamiento de entrenamiento ni garantiza una mejor respuesta; compara los resultados antes de mantener un mayor coste en créditos.
Cómo se comparte la ventana de contexto
El contexto es un presupuesto compartido. En cada mensaje, se divide entre:
- Tu prompt - instrucciones de rol predefinidas generadas o las instrucciones que redactaste en Custom Role Definition (Definición de rol personalizado)
- Instrucciones del sistema - una pequeña parte que ChatLab añade para que el bot funcione correctamente
- Herramientas - si tu bot utiliza AI Actions o integraciones, sus instrucciones ocupan una parte
- Memoria de la conversación - la conversación reciente, más los resúmenes y perfiles de cliente cuando la memoria del chat está activada
- Resto para tu base de conocimiento - todo lo que queda se utiliza para los datos de entrenamiento que coincidan con la pregunta del visitante
La clave es: cuanto más espacio ocupen tus instrucciones, menos conocimiento podrá utilizar la IA para responder. Aumentar el tamaño del contexto amplía el presupuesto total, de modo que tanto tus instrucciones como tu conocimiento disponen de más espacio.
El medidor de uso del contexto
Cuando defines un rol personalizado, ChatLab te muestra en tiempo real cuánto contexto consumen tus instrucciones. Selecciona tu chatbot y ve a Settings > Role & Behavior (Rol y comportamiento), luego cambia a la pestaña Custom Role Definition. El medidor aparece justo debajo del editor de instrucciones.
La barra de color es una miniatura de toda tu ventana de contexto: cada segmento representa una de las partes mencionadas anteriormente, y el segmento verde de la derecha es lo que queda para tu base de conocimiento. Junto a la barra verás el recuento de tokens de tu prompt en comparación con una referencia recomendada (por ejemplo, "~788 / 2.400 tokens · 8k") y una valoración:
- Optimal (Óptimo) - tu prompt encaja cómodamente; queda mucho espacio para el conocimiento.
- Getting large (Comienza a ser grande) - el prompt empieza a ocupar demasiado contexto; considera recortarlo.
- Too large (Demasiado grande) - el prompt supera la referencia recomendada o deja muy poco espacio para el conocimiento; la calidad de las respuestas puede disminuir.
Haz clic en la barra para desplegar el desglose completo:
El panel desplegado muestra el recuento aproximado de tokens de cada parte y un menú desplegable Chat context size, lo que te permite aumentar el tamaño del contexto directamente allí sin tener que ir a Model & Advanced. La distribución exacta varía en cada conversación - el panel es una estimación, no una medición exacta.
Alrededor del editor se muestran dos límites que funcionan de forma distinta:
- Límite de caracteres - un límite estricto indicado por el contador del editor, que puede depender de la suscripción del propietario del bot; el editor no aceptará un prompt más largo.
- Referencia de tokens (el medidor) - una recomendación flexible; superarla no impide guardar, pero deja menos espacio para tu base de conocimiento y la memoria de la conversación.
Si el medidor se vuelve rojo, sugiere dos soluciones: aumentar el tamaño del contexto del chat (en ese caso, los mensajes costarán más créditos - 16K es 2x, 32K es 4x, consulta créditos de mensaje) o trasladar los escenarios paso a paso fuera del prompt hacia las etapas de Conversation Flow, como se explica a continuación.
Tamaño del contexto y Conversation Flow
Conversation Flow te permite dividir el comportamiento de tu bot en etapas, cada una con sus propias instrucciones. Cuando el flujo está activado, las instrucciones de la etapa activa se añaden al prompt - por lo que comparten el mismo presupuesto de contexto. Si las instrucciones de la etapa son largas y se suman a un rol personalizado extenso, quedará menos espacio para tu base de conocimiento con el mismo tamaño de contexto.
El tamaño del contexto también controla la longitud máxima que pueden tener las instrucciones de cada etapa:
- Contexto de 8.000 tokens - hasta 1.000 caracteres por etapa
- Contexto de 16.000 o 32.000 tokens - hasta 6.000 caracteres por etapa
Por lo tanto, aumentar el tamaño del contexto logra dos cosas a la vez: incrementa el límite de instrucciones por etapa y recupera espacio para el conocimiento. Lo contrario también funciona: si el prompt de tu rol personalizado es demasiado extenso, mover los escenarios paso a paso a las etapas del flujo mantiene el rol principal breve, ya que las instrucciones de cada etapa solo se cargan mientras la conversación se encuentra en esa fase concreta.
Coste en créditos según el tamaño del contexto
El tamaño de contexto predeterminado es de 8.000 tokens. Aumentarlo multiplica la cantidad de créditos de mensaje que consume cada respuesta:
- 8.000 tokens - 1x créditos de mensaje (predeterminado)
- 16.000 tokens - 2x créditos de mensaje por mensaje
- 32.000 tokens - 4x créditos de mensaje por mensaje
Este multiplicador se acumula con el coste en créditos del modelo de IA que selecciones - un contexto más amplio hace que cada respuesta de ese modelo sea proporcionalmente más costosa.