¿Qué es una ventana de contexto en IA? Guía práctica

Puntos clave

• Una ventana de contexto limita la cantidad de información con la que un modelo de IA puede trabajar durante una respuesta.
• Se mide en tokens, no en páginas ni mensajes, y normalmente necesita espacio tanto para la entrada como para la salida.
• Una ventana más grande ayuda con las tareas largas, pero la información relevante y las instrucciones claras siguen importando más que el mero volumen.

Una ventana de contexto es la cantidad máxima de información que un modelo de IA puede procesar como contexto al generar una respuesta. Piensa en ella como un espacio de trabajo temporal que contiene instrucciones, tu pregunta, el historial de conversación relevante y cualquier material proporcionado; normalmente, también necesita espacio para la respuesta.

Cómo funciona

Un modelo de lenguaje de gran tamaño, o LLM, genera respuestas utilizando la información disponible en su contexto actual. En un chatbot, ese contexto puede incluir más que los mensajes que puedes ver.

Puede contener:

• Instrucciones del sistema que guían el comportamiento del asistente.
• Tu último mensaje y el historial de conversación incluido.
• Texto extraído de archivos subidos.
• Información recuperada de una búsqueda o una biblioteca de documentos.
• Resultados devueltos por herramientas conectadas.

El contexto se mide en tokens

Los modelos procesan el texto como tokens: fragmentos que pueden representar una palabra, parte de una palabra, signos de puntuación u otra secuencia de caracteres.

No existe una conversión fiable de un token a una palabra. La cantidad de tokens varía según el idioma, el formato, el código y el tokenizador del modelo. Las imágenes, el audio y otras entradas admitidas también pueden consumir capacidad, dependiendo del modelo.

En muchos modelos, la entrada y la salida generada comparten un límite total de contexto. También puede haber una longitud máxima de salida independiente.

Por ejemplo, imagina un modelo con una ventana hipotética de 32.000 tokens. Si las instrucciones, el historial de conversación y los documentos utilizan 28.000 tokens, quedan aproximadamente 4.000 para la generación en una configuración con un límite compartido. Eso no garantiza una respuesta de 4.000 tokens: pueden aplicarse otros límites.

¿Qué ocurre cuando se llena la ventana?

El resultado depende de la aplicación. Puede rechazar una solicitud demasiado grande, eliminar mensajes antiguos, resumir la conversación anterior o seleccionar solo ciertos pasajes de los documentos.

Por eso un chatbot puede parecer que «olvida» algo que dijiste antes. Es posible que ese detalle ya no esté incluido en el contexto enviado al modelo.

El contexto no es lo mismo que el entrenamiento ni la memoria persistente. El entrenamiento determina las capacidades aprendidas del modelo. El contexto proporciona información para la respuesta actual. La función de memoria de un producto, si está disponible, es un mecanismo independiente que puede incorporar información seleccionada a conversaciones posteriores.

Ejemplos del mundo real

Revisar un documento largo

Supongamos que le pides a ChatGPT que resuma un informe subido y compare sus recomendaciones con una descripción del proyecto.

La tarea funciona mejor cuando el modelo tiene acceso al material relevante. Según el producto y el tamaño del archivo, la aplicación puede incluir directamente el texto extraído o recuperar pasajes seleccionados en lugar de incorporar todo el documento al contexto.

Si se pasa por alto un apéndice importante, pregunta específicamente por él e identifica la sección. Subir un archivo no garantiza que todos sus detalles influyan en cada respuesta.

Responder preguntas de clientes

Un chatbot de atención al cliente creado con Chatbase puede utilizar contenido de sitios web y documentos para responder preguntas sobre una empresa.

Un enfoque habitual para los asistentes basados en documentos es la generación aumentada por recuperación, o RAG. En lugar de enviar toda la biblioteca de conocimientos con cada pregunta, el sistema recupera pasajes relevantes y los incluye en el contexto del modelo.

Esto permite utilizar grandes colecciones sin que todas las páginas tengan que caber a la vez. Sin embargo, la respuesta puede seguir siendo incompleta si la recuperación selecciona el material equivocado.

Trabajar en un proyecto extenso

Imagina un chatbot que ayuda a redactar una propuesta a lo largo de muchos mensajes. Al principio, especificas el público, las restricciones presupuestarias y el tono preferido. Más adelante, pides una versión final revisada.

Si esos requisitos originales ya no están presentes, la respuesta puede desviarse. Una descripción breve y actualizada del proyecto puede ser más útil que confiar en que una conversación larga conserve todas las instrucciones.

Ventajas y límites

Una ventana de contexto más grande puede ayudar a un LLM a:

• Comparar varios documentos en una sola tarea.
• Seguir una conversación más larga.
• Revisar más código junto con la documentación de apoyo.
• Utilizar instrucciones detalladas junto con el material de referencia.

Pero una ventana más grande no produce automáticamente una respuesta mejor.

En primer lugar, la capacidad no equivale a una atención fiable. Un modelo puede pasar por alto un detalle incluso cuando cabe en la ventana, especialmente si el material es repetitivo, contiene distracciones o es contradictorio.

En segundo lugar, más contexto puede aumentar el tiempo de procesamiento, los requisitos de cómputo y los costes de uso, según el modelo y el servicio. Llenar la ventana innecesariamente puede hacer que una tarea sencilla sea menos eficiente.

En tercer lugar, la capacidad de contexto y la longitud de la respuesta son límites distintos. Un modelo que acepta un documento largo puede tener, aun así, una longitud máxima de respuesta mucho menor.

Por último, una ventana grande no garantiza la exactitud de los datos ni el acceso automático a información actualizada. El asistente sigue necesitando fuentes adecuadas, y las afirmaciones importantes deben contrastarse con ellas.

Cómo empezar

1. Comprueba los límites del modelo y de la aplicación

Consulta la ventana de contexto y la longitud máxima de salida del modelo específico que utilizas. Los límites pueden variar entre versiones del modelo y configuraciones de la aplicación.

Si ejecutas modelos localmente con Ollama, comprueba tanto la longitud de contexto admitida por el modelo como los ajustes que has configurado. Los contextos más grandes pueden requerir más memoria; el máximo anunciado quizá no sea viable en tu equipo.

2. Proporciona una descripción breve de la tarea

Indica el objetivo, el público, las restricciones y el resultado deseado antes de añadir material de contexto.

Por ejemplo:

Compara estos dos documentos de políticas. Céntrate en las diferencias en los requisitos de elegibilidad y los plazos. Cita la sección relevante para cada hallazgo. Si falta algún detalle, indícalo.

Establecer prioridades claras ayuda al modelo a utilizar eficazmente su espacio de trabajo disponible.

3. Divide los trabajos grandes en etapas

Para un informe largo, resume primero las secciones individuales y luego combina los resúmenes. Conserva las referencias a las secciones originales para poder verificar los detalles importantes.

Recuerda que los resúmenes descartan información. Vuelve al texto original cuando la precisión sea importante.

4. Utiliza la recuperación para colecciones grandes

Si estás creando un asistente que trabaja con muchos documentos, considera utilizar la recuperación en lugar de incluirlo todo en cada solicitud.

Los frameworks de desarrollo como LlamaIndex y LangChain pueden ayudar a conectar datos y organizar flujos de trabajo con LLM. La recuperación sigue requiriendo una configuración y una evaluación cuidadosas.

5. Reitera los requisitos esenciales

Durante las conversaciones largas, vuelve a indicar las restricciones fundamentales o inicia un nuevo chat con una descripción actualizada. Pide al asistente que enumere los supuestos con los que está trabajando antes de dar una respuesta final importante.

Preguntas frecuentes

¿Una ventana de contexto es lo mismo que la memoria de la IA?

No. Una ventana de contexto es la información disponible para la respuesta actual. La memoria persistente, cuando se admite, es una función independiente del producto que puede proporcionar información seleccionada entre conversaciones.

¿Una ventana de contexto más grande hace que un chatbot sea más inteligente?

No por sí sola. Permite al chatbot trabajar con más material a la vez, pero la capacidad de razonamiento, la calidad de las fuentes, la recuperación y el seguimiento de instrucciones también influyen en los resultados.

¿Cómo puedo saber si mi prompt es demasiado largo?

Utiliza el tokenizador del modelo o el contador de tokens de tu aplicación cuando estén disponibles. Deja espacio para las instrucciones y la salida. Si alcanzas un límite, elimina las repeticiones, acota la tarea o divide el material en secciones más pequeñas.