Ejecutar modelos sin censura en un servidor Kaggle gratuito de 32 GB

La promesa es simple y práctica: en lugar de comprar una tarjeta gráfica más grande, tomas prestado un notebook Kaggle gratuito que combina dos aceleradores T4 en 32 GB de memoria y ejecutas cualquier modelo sin censura en línea, luego apuntas tu agente favorito hacia él como si fuera un servidor local.

El video abre con una frustración familiar de dos episodios anteriores sobre modelos sin restricciones; a los espectadores les encantaron las ideas, pero la mayoría de las máquinas se quedaban sin VRAM, la instalación fallaba y la demo nunca arrancaba porque los portátiles de consumo rara vez superan los 12 GB.

Kaggle proporciona ese margen faltante de forma gratuita: elegir GPU T4 x2 te da dos tarjetas T4 que suman 32 GB, una cuota semanal de 30 horas que se reinicia cada semana, y un requisito estricto de verificar tu número de teléfono antes de que cualquier acelerador esté disponible, de lo contrario te quedas solo con CPU.

Después de la verificación el flujo es sencillo: pulsa Create para abrir un nuevo notebook, abre Settings y configura Accelerator en GPU T4 x2, y compartes la misma cuota de 30 horas ya sea que elijas P100 o T4 x2, con T4 x2 ofreciendo más memoria y mejor rendimiento de precisión mixta para modelos grandes, un límite que se siente más predecible que el tope de sesión de 12 horas en Colab gratuito.

El notebook no parece un servidor clásico; es una pila de celdas de código que solo se ejecutan si antepones un signo de exclamación al comando, ejecutas cada celda individualmente con el botón Play, y agregas o quitas celdas con el control de más, alternando entre Code y Markdown según sea necesario.

La configuración comienza con pequeñas herramientas del sistema como zstd, curl y wget instaladas silenciosamente vía apt, luego el script de instalación oficial de Ollama descargado con curl y canalizado a sh, y como los notebooks de Kaggle carecen de systemd debes iniciar el demonio en segundo plano con una llamada de subprocess o el servicio se bloqueará.

Una vez instalado ejecutas ollama serve y cuando el registro imprime Ollama started el servicio escucha en el puerto 11434 en la dirección local, que sigue siendo invisible para cualquier harness externo, por lo que se requiere un túnel público antes de que un agente pueda alcanzarlo.

El descubrimiento de modelos ocurre en Hugging Face: filtra por Text Generation y la aplicación Ollama, escribe uncensored en el cuadro de búsqueda y aparecerán las variantes abiertas más descargadas, permitiéndote comparar las versiones cuantizadas Q4_K_M y Q6_K y ver una marca verde cuando el archivo elegido cabe en el presupuesto de 32 GB, con algunos modelos ofreciendo una versión optimizada para 16 GB de VRAM.

Para obtener el modelo ejecutas ollama pull con un prefijo de exclamación dentro del notebook; el progreso se imprime línea por línea, el sistema intenta ejecutar el modelo una vez que termina la descarga, y puedes detener ese intento de inmediato porque la inferencia final ocurrirá a través del túnel, no dentro del notebook.

Para exponer el servicio local instalas el binario de túnel de Cloudflare, lo descomprimes y lo lanzas apuntando a localhost en el puerto de Ollama, lo que genera una URL pública que puedes abrir en un navegador para confirmar que Ollama está funcionando, y si la comprobación falla, volver a ejecutar la misma celda generalmente lo soluciona.

El último tramo es la conexión de Hermes Agent: elige Custom Endpoint en el menú de modelos e ingresa su número, pega la URL pública con /v1 añadido como Base URL, escribe ollama como clave API, selecciona el modelo descargado, y si la primera llamada expira reintenta una vez después de que el servicio se caliente y responda la prueba who are you notablemente más rápido que la demo de nube de pago, con la lista completa de comandos compartida como TXT en el Discord del creador.