¿Qué es el ajuste fino de un modelo de IA? Guía práctica

Puntos clave

• El ajuste fino adapta un modelo de IA existente mediante entrenamiento adicional con ejemplos seleccionados.
• Puede mejorar el rendimiento en una tarea, el tono y la coherencia de las respuestas, pero no garantiza la exactitud de los datos.
• Empieza con instrucciones y evaluaciones. Recurre al ajuste fino solo cuando tengas una necesidad clara, datos adecuados y una forma de medir la mejora.

El ajuste fino de un modelo de IA consiste en tomar un modelo que ya se ha entrenado y actualizar sus parámetros aprendidos con datos adicionales y específicos. En lugar de crear una IA desde cero, adaptas sus capacidades existentes a una tarea, un estilo o un ámbito temático concreto.

Cómo funciona

Un modelo de IA aprende primero patrones generales durante el preentrenamiento. En el caso de un gran modelo de lenguaje, o LLM, esto suele implicar aprender de grandes colecciones de texto para reconocer patrones del lenguaje y generar respuestas.

El ajuste fino es una etapa de entrenamiento posterior. Utiliza un conjunto de datos más específico para influir en el comportamiento del modelo.

Piensa en el preentrenamiento como una formación general y en el ajuste fino como una práctica específica para un puesto de trabajo. Un modelo con capacidades amplias puede comprender ya las conversaciones de atención al cliente; el ajuste fino puede ayudarle a seguir una estructura de respuesta concreta o a clasificar las solicitudes de soporte con mayor fiabilidad.

Un enfoque habitual es el ajuste fino supervisado, en el que los ejemplos de entrenamiento vinculan una entrada con una salida deseada. Por ejemplo:

• Entrada: Un mensaje de un cliente que describe una entrega dañada.
• Salida deseada: Una respuesta estructurada que contenga la categoría del problema, el nivel de urgencia y una confirmación de recepción adecuada.

Durante el entrenamiento, el sistema compara las predicciones del modelo con las respuestas objetivo y ajusta sus parámetros para reducir los errores. A lo largo de muchos ejemplos, esto modifica la probabilidad de que el modelo genere determinadas respuestas.

Hay distintas formas de realizar esos ajustes:

• El ajuste fino completo actualiza todos o la mayoría de los parámetros del modelo. Por lo general, requiere más recursos de cómputo y memoria.
• El ajuste fino eficiente en parámetros, que incluye métodos como LoRA, entrena un conjunto más pequeño de parámetros añadidos o seleccionados. Esto puede reducir los recursos necesarios.

Ninguno de estos métodos consiste simplemente en adjuntar un documento a un chatbot. El ajuste fino modifica el comportamiento aprendido; proporcionar documentos en el momento de responder modifica la información disponible para una respuesta concreta.

Ejemplos del mundo real

Clasificación de solicitudes de atención al cliente

Un equipo de soporte podría ajustar un modelo con mensajes correctamente etiquetados para que clasifique las nuevas solicitudes en categorías como facturación, acceso a la cuenta o problemas de entrega.

Esta es una tarea específica con un resultado medible: con qué frecuencia coincide la categoría predicha con la correcta.

Redacción empresarial coherente

Una empresa podría utilizar ejemplos aprobados para enseñar a un modelo su tono, terminología y estructura de respuesta preferidos.

El objetivo no es memorizar mensajes antiguos, sino aplicar los mismos patrones de redacción a nuevas solicitudes. La revisión humana sigue siendo importante, especialmente en las comunicaciones delicadas.

Extracción de información estructurada

Un desarrollador podría ajustar un LLM para transformar texto libre en un esquema uniforme, por ejemplo, extrayendo nombres de productos, defectos comunicados y acciones solicitadas de las notas de servicio.

El ajuste fino puede mejorar la coherencia, pero las aplicaciones deben seguir validando las salidas. Cuando estén disponibles, los controles de salida estructurada pueden resolver el problema de formato sin entrenamiento adicional.

Generación de imágenes especializada

El ajuste fino no se limita a los modelos de lenguaje. Los modelos de imágenes también pueden adaptarse mediante imágenes seleccionadas para orientar un estilo visual o un tema.

Leonardo.ai ofrece funciones de generación de imágenes y entrenamiento de modelos personalizados. Antes de utilizar cualquier imagen de entrenamiento, comprueba que tienes los derechos y permisos necesarios.

Ventajas y limitaciones

El ajuste fino resulta especialmente útil cuando necesitas que un modelo realice una tarea repetible de forma coherente.

Entre las posibles ventajas se incluyen:

• Mejor rendimiento en la tarea: Los ejemplos elegidos con cuidado pueden mejorar los resultados en un flujo de trabajo definido.
• Comportamiento más coherente: El modelo puede seguir con mayor fiabilidad tu tono, tus etiquetas o tu estructura de respuesta preferidos.
• Instrucciones más breves: Algunas indicaciones repetidas pueden convertirse en comportamiento aprendido, en lugar de incluirse como instrucciones extensas en cada solicitud.

Estas ventajas no son automáticas. Los ejemplos deficientes pueden enseñar malos hábitos, y un conjunto de datos demasiado limitado puede provocar sobreajuste: el modelo funciona bien con ejemplos conocidos, pero tiene dificultades con los nuevos. El entrenamiento también puede debilitar capacidades ajenas a la tarea objetivo.

El ajuste fino no resuelve de forma fiable las alucinaciones. Un modelo puede seguir generando respuestas seguras pero incorrectas, incluso después de entrenarse con material relevante.

Tampoco suele ser la mejor forma de proporcionar datos que cambian con frecuencia. Para políticas vigentes, detalles de productos o documentos internos, la generación aumentada por recuperación, o RAG, suele ser una opción más adecuada. RAG recupera información relevante y se la proporciona al modelo cuando responde.

Por último, considera el coste total: preparar los datos, ejecutar el entrenamiento, evaluar los resultados, alojar el modelo y mantenerlo. Los datos de entrenamiento sensibles generan riesgos para la privacidad, incluida su posible memorización, así que elimina la información personal o confidencial innecesaria.

Cómo empezar

1. Define un objetivo medible

Elige un resultado concreto, como «clasificar los mensajes de soporte con mayor precisión» o «reducir los campos que faltan en los registros extraídos».

Decide qué significa tener éxito antes de entrenar. Mide el rendimiento del modelo existente para contar con una referencia inicial.

2. Prueba primero enfoques más sencillos

Prueba instrucciones claras, unos pocos ejemplos buenos en el prompt y las restricciones de salida disponibles. Si el problema es la falta de conocimientos, prueba la recuperación de información.

LangChain es un entorno de desarrollo de software para crear aplicaciones con LLM. Puede ayudar a organizar los flujos de trabajo de las aplicaciones, incluidos los enfoques basados en recuperación; no sustituye por sí mismo al entrenamiento de modelos.

3. Prepara ejemplos de alta calidad

Utiliza ejemplos que reflejen solicitudes reales y las respuestas que realmente deseas. Elimina los duplicados, corrige las etiquetas incoherentes e incluye casos difíciles, no solo fáciles.

Divide los datos en conjuntos de entrenamiento, validación y prueba. Mantén juntos los ejemplos estrechamente relacionados para evitar puntuaciones engañosas debidas a la presencia de ejemplos casi idénticos en distintos conjuntos.

4. Elige un modelo y un enfoque de entrenamiento

Comprueba la licencia del modelo, los idiomas que admite, su idoneidad para la tarea y sus requisitos de cómputo.

Los modelos de pesos abiertos de Mistral AI pueden ser candidatos, según el modelo concreto y sus condiciones. «Pesos abiertos» no significa que todos los modelos tengan los mismos permisos o requisitos de hardware.

Para un principiante, un servicio gestionado de ajuste fino puede reducir el trabajo de infraestructura. En cambio, un desarrollador con experiencia en aprendizaje automático podría utilizar un entorno de entrenamiento compatible y métodos eficientes en parámetros.

5. Haz un seguimiento, evalúa y despliega con cuidado

Weights & Biases permite hacer un seguimiento de las ejecuciones de entrenamiento y las métricas, lo que facilita la comparación de experimentos.

Evalúa el modelo ajustado con ejemplos que no haya visto, compáralo con tu referencia inicial y revisa los fallos. Incluye comprobaciones de privacidad y seguridad.

El despliegue es un paso independiente. vLLM es un motor de inferencia y puesta en servicio para LLM compatibles, no una herramienta de ajuste fino. Tras el despliegue, supervisa los resultados y conserva una opción para volver a la versión anterior.

Preguntas frecuentes

¿En qué se diferencia el ajuste fino del uso de prompts?

El uso de prompts proporciona instrucciones o ejemplos al realizar una solicitud; no actualiza los parámetros aprendidos del modelo. El ajuste fino actualiza los parámetros mediante entrenamiento, por lo que la adaptación se mantiene entre solicitudes cuando se utiliza ese modelo ajustado.

¿Cuántos datos necesitas para el ajuste fino?

No existe un mínimo universal que garantice el éxito. Los requisitos dependen de la tarea, el modelo, la calidad de los datos y la mejora deseada. Empieza con un conjunto de datos revisado cuidadosamente, evalúa con ejemplos separados y añade datos donde las pruebas revelen carencias.

¿Deberías utilizar ajuste fino o RAG?

Utiliza el ajuste fino principalmente para mejorar el comportamiento, el estilo o el rendimiento en una tarea. Utiliza RAG principalmente para proporcionar información relevante, especialmente cuando cambie o requiera referencias a las fuentes. Algunas aplicaciones se benefician de ambos, pero prueba primero el enfoque más sencillo.