Cómo ejecutar modelos de IA localmente en tu ordenador

Puntos clave

• Empieza con un modelo de lenguaje pequeño y un programa de ejecución local. No necesitas crear primero una aplicación de IA.
• Elige el modelo según la memoria disponible. Los modelos más pequeños y cuantizados suelen ser el punto de partida más sencillo.
• La inferencia local puede mantener las instrucciones en tu ordenador, pero aun así debes revisar los servicios conectados, los complementos y los registros.

Ejecutar IA localmente significa que tu ordenador genera las respuestas en lugar de enviar cada instrucción a un modelo alojado en un servidor. Esto te da más control sobre tus datos y te permite trabajar sin conexión a internet después de la configuración.

Esta guía se centra en ejecutar un modelo de lenguaje de gran tamaño, o LLM, para tareas como redactar, resumir y programar. Los modelos de imagen, audio y vídeo tienen requisitos de software y hardware diferentes.

Qué necesitas

• Un ordenador compatible: Windows, macOS o Linux, según el programa de ejecución que elijas.
• Memoria disponible: Un ordenador con 8 GB de RAM puede ejecutar un modelo pequeño y cuantizado con un contexto limitado. Unos 16 GB te dan más margen, pero ninguna de estas cantidades garantiza que quepan todos los modelos.
• Almacenamiento libre: Reserva varios gigabytes para un modelo pequeño, además de espacio para el programa de ejecución y las descargas adicionales. Comprueba el tamaño real de la descarga.
• Acceso a internet para la configuración: Normalmente tendrás que descargar primero el software y los pesos del modelo.
• Un programa de ejecución local de modelos: Software que carga el modelo y proporciona una interfaz de chat o una API.

Una GPU dedicada resulta útil, pero no es obligatoria. La inferencia solo con CPU puede funcionar, aunque las respuestas pueden ser lentas. La memoria de la GPU, la RAM del sistema y la memoria unificada de Apple afectan de forma diferente a la carga del modelo, así que consulta las recomendaciones de hardware de tu programa de ejecución.

Paso a paso

1. Elige una tarea para probar

Empieza con algo concreto: reescribir un correo electrónico, explicar una función o resumir un fragmento breve.

Prepara dos o tres instrucciones de ejemplo cuyas respuestas puedas evaluar. Evita usar documentos confidenciales durante la configuración inicial.

Esto te proporciona una referencia útil. Un modelo que redacta párrafos con fluidez puede seguir teniendo dificultades con tu lenguaje de programación, las preguntas sobre hechos o el formato de tus documentos.

2. Instala un programa de ejecución local

Como punto de partida basado en la línea de comandos, este tutorial utiliza Ollama. Descárgalo de su fuente oficial y sigue las instrucciones de instalación para tu sistema operativo.

Tras la instalación, abre una terminal y comprueba:

```bash

ollama --version

```

Si no se encuentra el comando, reinicia la terminal y confirma que la instalación se haya completado. Algunas configuraciones también requieren iniciar la aplicación o el servicio en segundo plano.

Si prefieres una interfaz gráfica, elige en su lugar un programa de escritorio compatible con modelos locales. Confirma que realiza la inferencia en tu equipo y no se limita a conectarse a un servicio en la nube.

3. Elige un modelo pequeño con permisos adecuados

Elige un modelo que tu programa de ejecución admita explícitamente. Empieza con uno pequeño en lugar de descargar el más grande que encuentres.

Qwen (Alibaba) es una familia de modelos con variantes descargables para programación y tareas generales. Para este tutorial, utiliza el modelo Qwen2.5 3B disponible a través de Ollama.

Antes de descargar cualquier modelo, comprueba:

• Tamaño: Las cantidades de parámetros, como 3B o 7B, ayudan a describir la escala, pero no equivalen directamente a los requisitos de memoria.
• Cuantización: Los pesos de precisión reducida suelen consumir menos memoria, aunque pueden implicar una pérdida de calidad.
• Licencia: Comprueba la variante exacta, especialmente para uso comercial o redistribución.
• Formato: Los archivos del modelo deben ser compatibles con tu programa de ejecución.

«Código abierto» y «pesos abiertos» no son términos intercambiables. Que los pesos se puedan descargar no implica necesariamente que se incluyan una licencia sin restricciones, el código de entrenamiento o los datos de entrenamiento.

4. Descarga y ejecuta el modelo

En la terminal, introduce:

```bash

ollama pull qwen2.5:3b

ollama run qwen2.5:3b

```

El primer comando descarga el modelo. El segundo abre una sesión interactiva.

Prueba una instrucción sencilla:

```text

Rewrite this message in a polite, concise tone:

I need your feedback today or the project will be delayed.

```

La primera respuesta puede tardar más mientras se carga el modelo. Utiliza `/bye` para salir de la sesión interactiva.

Si la descarga o la carga falla, comprueba el mensaje de error, el almacenamiento disponible, la memoria y si el servicio del programa de ejecución está activo.

5. Ajusta la velocidad y el uso de memoria

Observa el uso de memoria del sistema mientras se genera una respuesta.

Si el ordenador deja de responder o empieza a usar intensivamente la memoria de intercambio, prueba un modelo más pequeño, cierra otras aplicaciones o reduce la longitud del contexto. El contexto es el texto que el modelo procesa de una vez, incluidas las instrucciones, el historial de conversación y los documentos proporcionados.

Un contexto más largo suele requerir más memoria. Que un modelo anuncie una ventana de contexto amplia no significa que tu ordenador pueda utilizarla por completo sin problemas.

Si dispones de una GPU compatible, comprueba si tu programa de ejecución la está utilizando realmente. La aceleración depende del hardware, el sistema operativo y la compatibilidad del software.

6. Comprueba la privacidad y la calidad de las respuestas

Una vez descargado el modelo, desconecta internet y repite una instrucción básica. Esto ayuda a confirmar que el proceso de inferencia funciona sin conexión, aunque no constituye una auditoría de privacidad completa.

Comprueba también:

• Si la interfaz guarda el historial de chat.
• Si la telemetría, los complementos o las integraciones envían datos a otros destinos.
• Si el procesamiento de documentos utiliza servicios locales o alojados en servidores.
• Si la API del modelo está restringida a tu propio equipo.

Compara los resultados con tus instrucciones de prueba. Verifica los datos importantes y revisa el código generado antes de ejecutarlo. Los modelos locales pueden generar alucinaciones igual que los modelos alojados en servidores.

7. Conecta aplicaciones solo cuando sea necesario

Una vez que funcione el chat básico, puedes conectar una aplicación compatible a la API local de tu programa de ejecución.

Para un desarrollador, esto permite crear utilidades de programación, asistentes de documentos o flujos de trabajo repetibles. Mantén el punto de conexión vinculado a localhost, salvo que necesites deliberadamente acceso por red y hayas añadido las protecciones adecuadas.

Para la búsqueda de documentos, recuerda que importa todo el proceso. Un modelo de chat local combinado con un servicio de embeddings alojado en un servidor sigue enviando el contenido de los documentos fuera de tu ordenador.

Errores comunes

• Elegir un modelo demasiado grande: Empieza con uno pequeño y aumenta el tamaño si la calidad no es suficiente y la memoria lo permite.
• Suponer que lo local es automáticamente privado: Revisa los registros, las integraciones, la exposición a la red y los servicios en la nube utilizados como alternativa.
• Omitir las comprobaciones de licencia: Los permisos pueden variar entre las variantes de una misma familia de modelos.
• Instalar inmediatamente frameworks innecesarios: Consigue que un modelo responda antes de añadir agentes, bases de datos o recuperación de documentos.
• Confiar en los comandos generados: Revisa los comandos de shell y el código, especialmente cualquier elemento que elimine archivos o cambie permisos.

Herramientas útiles

Estas herramientas añaden capacidades para crear aplicaciones; no sustituyen al programa de ejecución local de modelos.

• [LangChain](/tools/langchain): Un framework para desarrolladores destinado a crear aplicaciones con LLM. Útil cuando necesitas código personalizado que conecte modelos, recuperación de información y otros componentes.
• [Dify](/tools/dify): Una plataforma de código abierto con un editor visual para aplicaciones con LLM y flujos de trabajo con agentes. Comprueba la compatibilidad con el proveedor de modelos locales que hayas elegido.
• [Flowise](/tools/flowise): Una opción de código abierto con funciones de arrastrar y soltar para crear chatbots y flujos de agentes.
• [Langfuse](/tools/langfuse): Una plataforma de código abierto para rastrear, evaluar y supervisar aplicaciones con LLM. Revisa dónde se almacenan las trazas, ya que pueden contener instrucciones y respuestas.

Preguntas frecuentes

¿Necesito una GPU potente?

No. Los modelos pequeños y cuantizados pueden ejecutarse en una CPU. Una GPU compatible puede mejorar la velocidad, pero la memoria disponible suele determinar qué modelos puedes cargar sin problemas.

¿Puedo ejecutar un LLM local sin acceso a internet?

Normalmente sí, después de descargar el programa de ejecución, el modelo y las dependencias necesarias. Funciones como la búsqueda web, las integraciones alojadas en servidores y la descarga de modelos adicionales siguen requiriendo conexión.

¿Es gratis ejecutar localmente un modelo de código abierto?

Puede evitar los cargos por solicitud de la inferencia local, pero el hardware, la electricidad y el software opcional siguen teniendo costes. Comprueba tanto las condiciones del programa de ejecución como la licencia del modelo concreto antes de utilizarlo con fines empresariales.