Cómo ejecutar un modelo de IA localmente en tu ordenador

Puntos clave

• Puedes ejecutar un LLM local en tu ordenador sin enviar cada instrucción a un servicio en la nube.
• Empieza con un modelo pequeño y una interfaz de escritorio o una herramienta sencilla de línea de comandos.
• Comprueba los requisitos de hardware, las licencias de los modelos y la configuración de red antes de trabajar con información sensible.

Ejecutar IA localmente significa que tu ordenador realiza el procesamiento en lugar de un servidor remoto. En esta guía, configurarás un modelo de lenguaje de gran tamaño, o LLM, que puede responder preguntas, reformular textos y ayudarte con tareas cotidianas.

No necesitas entrenar un modelo ni ser desarrollador. El método más sencillo consiste en instalar una herramienta para ejecutar modelos, descargar un modelo existente y empezar a conversar. Tu hardware determina el tamaño del modelo que puedes utilizar con fluidez.

Qué necesitas

• Un ordenador compatible: Comprueba los requisitos actuales de Windows, macOS o Linux de la herramienta de ejecución que elijas.
• Memoria suficiente: Como orientación inicial, un equipo con 8 GB puede ejecutar un modelo pequeño y comprimido; 16 GB te dan más margen. Los requisitos reales dependen del modelo, la longitud del contexto y las demás aplicaciones en ejecución.
• Espacio de almacenamiento libre: Las descargas de modelos pueden ocupar varios gigabytes. Deja espacio adicional para la aplicación y futuras descargas.
• Internet para la configuración: Normalmente necesitarás una conexión para instalar el software y descargar los archivos del modelo. Una vez descargados, los modelos locales compatibles pueden funcionar sin conexión.
• Una herramienta de ejecución de modelos: Elige una aplicación de escritorio con interfaz gráfica o una herramienta de línea de comandos.

Una tarjeta gráfica dedicada puede mejorar la velocidad, pero no siempre es necesaria. Algunas configuraciones utilizan la CPU, mientras que otras emplean GPU compatibles o aceleración mediante Apple silicon.

Paso a paso

1. Elige una tarea pequeña y útil

Empieza con algo fácil de evaluar: reformular un correo electrónico, explicar un concepto o resumir un fragmento breve.

Evita que tu primera prueba sea una enorme colección de documentos o un agente autónomo. Eso añade complejidad antes de saber si tu ordenador ejecuta el modelo con fluidez.

Por ejemplo, prueba: «Reescribe este párrafo en un inglés sencillo sin cambiar su significado».

2. Elige tu herramienta de ejecución de modelos

Si quieres una interfaz visual, utiliza LM Studio. Te permite descubrir, descargar y ejecutar modelos locales desde una aplicación de escritorio. Es un buen punto de partida si prefieres botones y menús.

Si prefieres trabajar desde la terminal, utiliza Ollama. Ofrece una forma sencilla de descargar y ejecutar modelos compatibles mediante comandos.

Elige una para tu primera configuración. No necesitas ambas y ninguna requiere que entrenes un modelo.

3. Instala la aplicación

Descarga el instalador correspondiente a tu sistema operativo y procesador, y sigue sus instrucciones de instalación. Utiliza la distribución oficial de la herramienta en lugar de un instalador reempaquetado de procedencia desconocida.

Con LM Studio, abre la aplicación después de instalarla y busca su sección de descubrimiento de modelos.

Con Ollama, completa los pasos de configuración específicos de tu plataforma, abre una terminal y comprueba que el comando está disponible:

```bash

ollama --version

```

Si no se encuentra el comando, vuelve a abrir la terminal y comprueba que la instalación se haya completado correctamente.

4. Descarga un modelo pequeño y compatible

Empieza con un modelo de entre 1.000 y 4.000 millones de parámetros aproximadamente. El número de parámetros es un indicador del tamaño del modelo, no una garantía de su calidad ni de su consumo de memoria.

En LM Studio, utiliza su interfaz de descubrimiento para elegir un modelo compatible con los entornos de ejecución que admite. Comprueba el tamaño de la descarga y las recomendaciones de hardware antes de descargarlo.

Es posible que veas etiquetas como 4 bits o Q4. Indican cuantización: una forma de reducir los requisitos de memoria, a veces a costa de cierta pérdida de calidad.

Como ejemplo con Ollama, ejecuta:

```bash

ollama run llama3.2:3b

```

Esto descarga el modelo si es necesario e inicia una sesión de chat.

Lee la licencia del modelo, especialmente si lo vas a utilizar con fines laborales o comerciales. «Pesos abiertos» significa que los pesos del modelo están disponibles bajo unas condiciones específicas; no implica automáticamente un uso sin restricciones. Del mismo modo, un modelo local no es necesariamente de código abierto.

5. Haz una breve conversación de prueba

En LM Studio, carga el modelo que has descargado y abre un chat. En Ollama, escribe tu instrucción en la sesión iniciada con el comando anterior.

Prueba una tarea acotada:

Reescribe este mensaje con un tono amable y profesional. Usa menos de 60 palabras y no añadas datos: «El informe se ha retrasado. Lo enviaré mañana».

Comprueba si el modelo sigue las instrucciones, conserva el significado y responde a una velocidad aceptable.

Los modelos locales también pueden inventar datos. Verifica las respuestas importantes tal como lo harías con un asistente en la nube.

6. Ajusta la velocidad y el uso de memoria

Si el modelo funciona lentamente o no se carga:

• Cierra las aplicaciones que consuman mucha memoria.
• Cambia a un modelo más pequeño.
• Elige una versión cuantizada que consuma menos memoria.
• Reduce la longitud del contexto si tu herramienta de ejecución ofrece ese ajuste.
• Comprueba si está activada la aceleración por hardware compatible.

La longitud del contexto es la cantidad de texto que el modelo puede tener en cuenta a la vez. Las conversaciones más largas y los documentos más grandes pueden aumentar el consumo de memoria. Empieza con los valores predeterminados en lugar de poner todos los ajustes al máximo.

Cambia un solo ajuste cada vez para identificar cuál ayuda.

7. Comprueba el funcionamiento sin conexión y la privacidad

Después de descargar el modelo y ejecutarlo correctamente, desconéctate de internet y repite la prueba. Esto ayuda a confirmar que tu flujo de trabajo básico de chat funciona localmente.

Sin embargo, «local» no es una garantía absoluta de privacidad. Revisa los ajustes de la aplicación relativos a funciones en la nube, telemetría, complementos, almacenamiento de chats y acceso a la red. El funcionamiento sin conexión no demuestra que una aplicación nunca se comunique al volver a conectarse.

Mantén cualquier servidor local de modelos restringido a tu propio equipo, a menos que sepas cómo protegerlo. Evita exponer a internet un punto de acceso sin autenticación.

Para trabajos confidenciales, comprueba también las políticas de tu lugar de trabajo, el cifrado del dispositivo y las copias de seguridad.

Errores habituales

• Descargar primero el modelo más grande: Los modelos más grandes requieren más recursos y pueden resultar tan lentos que sean inutilizables. Empieza con uno pequeño.
• Confundir almacenamiento con memoria: Que un modelo quepa en el disco no significa que quepa con holgura en la RAM o en la memoria de la GPU.
• Suponer que local significa preciso: El procesamiento privado no elimina las alucinaciones ni los razonamientos deficientes.
• Ignorar las restricciones de la licencia: Comprueba las condiciones del modelo concreto, no solo la licencia de la herramienta de ejecución.
• Añadir integraciones demasiado pronto: Las búsquedas web, las API externas y los complementos pueden enviar información fuera de tu ordenador.

Herramientas útiles

LM Studio es la recomendación más sencilla para principiantes que quieran explorar modelos y conversar mediante una interfaz de escritorio.

Ollama es adecuado para quienes se sientan cómodos usando unos pocos comandos de terminal o tengan previsto conectar un modelo local a otra aplicación.

Una vez que el chat básico funcione, Dify y Flowise pueden ayudarte a crear aplicaciones y flujos de trabajo con LLM. Son complementos opcionales y más avanzados. Ejecutarlos localmente no hace que todos los modelos o servicios conectados sean también locales.

Si te interesa la generación local de imágenes en lugar del chat de texto, explora Stable Diffusion (Stability AI). Utiliza modelos y flujos de trabajo diferentes, así que trátalo como una configuración independiente.

Preguntas frecuentes

¿Necesito una tarjeta gráfica cara?

No. Los modelos pequeños pueden ejecutarse en algunos ordenadores que solo utilizan la CPU, aunque las respuestas pueden ser más lentas. Empieza con el hardware que ya tienes y un modelo pequeño antes de plantearte una mejora.

¿Puedo utilizar un LLM local sin acceso a internet?

Por lo general, sí, una vez descargados la herramienta de ejecución y el modelo. Las funciones que dependen de servicios remotos, como las búsquedas web o las API en la nube, seguirán necesitando conexión.

¿Ejecutar un modelo de código abierto es completamente gratis?

Puede evitar los cargos de la nube por cada consulta, pero sigues consumiendo electricidad, almacenamiento y recursos de hardware. Las funciones del software y las licencias de los modelos varían. Comprueba tanto las condiciones de la herramienta de ejecución como la licencia del modelo antes de dar por hecho que puedes usarlo sin restricciones.