Archivo de IAFicha 03Inferencia y experimentos
Chat IA Local GGUF
LLM cuantizado GGUF sobre llama.cpp — 5 GB VRAM
- Estado documentado
- Demo GPU pendiente de hosting
App de chat local optimizada para GPUs con ~5 GB VRAM. Usa modelos GGUF cuantizados (Qwen2.5-7B, LLaMA 3.1 8B, Gemma 2 9B, DeepSeek-R1) vía llama-cpp-python con aceleración CUDA.
- Acceso al código
- Repositorio público
- Ejecución
- GPU Local (5 GB VRAM mínimo, RTX 2060+)
Qué resuelve
Solución de LLM local diseñada para hardware accesible. Corre Qwen2.5-7B-Instruct en Q4_K_M (~4.6 GB VRAM) en una RTX 2060 con tokens de alta calidad. Soporta multi-GPU vía tensor_split, cambio dinámico de modelo desde la UI sin reiniciar el servidor, y múltiples puertos para distintos modelos simultáneos. Backend FastAPI + UI web incluida.
Capacidades documentadas
- Inferencia LLM cuantizada GGUF (Q4_K_M)
- Aceleración GPU NVIDIA con CUDA
- Soporte multi-GPU con tensor_split
- Cambio dinámico de modelo sin reiniciar
- Múltiples instancias en distintos puertos
- UI web de chat incluida
- Fallback CPU automático
Cómo funciona
Server FastAPI con llama-cpp-python como motor de inferencia GGUF, con gestión de modelos y API REST.
Síntesis editorial del proyecto · no representa un despliegue en vivo
Desplaza horizontalmente para leer todo el diagrama
Para ponerlo en marcha
Entorno requerido
RTX 2060+ | 5 GB VRAM mínimo | CUDA + cuDNN | Linux / WSL2
Tecnologías
- Python 3.10+
- llama-cpp-python
- FastAPI
- CUDA / cuDNN
- Qwen2.5-7B GGUF
- LLaMA 3.1 8B GGUF
- Gemma 2 9B GGUF
- DeepSeek-R1 GGUF