Exécuter des modèles non censurés sur un serveur Kaggle gratuit de 32 Go

La promesse est simple et pratique : au lieu d'acheter une carte graphique plus puissante, vous empruntez un notebook Kaggle gratuit qui combine deux accélérateurs T4 en 32 Go de mémoire et exécutez n'importe quel modèle non censuré en ligne, puis pointez votre agent préféré vers celui-ci comme s'il s'agissait d'un serveur local.

La vidéo s'ouvre sur une frustration familière issue de deux épisodes précédents sur les modèles sans restrictions ; les spectateurs ont adoré les idées, mais la plupart des machines manquaient de VRAM, l'installation échouait et la démo ne démarrait jamais car les ordinateurs portables grand public dépassent rarement 12 Go.

Kaggle fournit cette marge manquante gratuitement : choisir GPU T4 x2 vous donne deux cartes T4 totalisant 32 Go, un quota hebdomadaire de 30 heures qui se réinitialise chaque semaine, et une exigence stricte de vérifier votre numéro de téléphone avant qu'un accélérateur ne devienne disponible, sinon vous restez sur CPU uniquement.

Après vérification, le processus est simple : cliquez sur Create pour ouvrir un nouveau notebook, ouvrez Settings et réglez Accelerator sur GPU T4 x2, et vous partagez le même quota de 30 heures que vous choisissiez P100 ou T4 x2, ce dernier offrant plus de mémoire et un meilleur débit en précision mixte pour les grands modèles, une limite qui semble plus prévisible que le plafond de session de 12 heures sur Colab gratuit.

Le notebook ne ressemble pas à un serveur classique ; c'est une pile de cellules de code qui ne s'exécutent que si vous préfixez la commande d'un point d'exclamation, vous exécutez chaque cellule individuellement avec le bouton Play, et vous ajoutez ou supprimez des cellules avec le contrôle plus, en basculant entre Code et Markdown selon les besoins.

L'installation commence par de petits outils système tels que zstd, curl et wget installés discrètement via apt, puis le script d'installation officiel d'Ollama récupéré avec curl et redirigé vers sh, et comme les notebooks Kaggle n'ont pas systemd, vous devez démarrer le démon en arrière-plan avec un appel subprocess sinon le service bloquera.

Une fois installé, vous exécutez ollama serve et lorsque le journal affiche Ollama started, le service écoute sur le port 11434 sur l'adresse locale, qui reste invisible pour tout harnais externe, donc un tunnel public est nécessaire avant qu'un agent puisse y accéder.

La découverte de modèles se fait sur Hugging Face : filtrez par Text Generation et l'application Ollama, tapez uncensored dans la barre de recherche et les variantes ouvertes les plus téléchargées apparaissent, vous permettant de comparer les versions quantifiées Q4_K_M et Q6_K et de voir une coche verte lorsque le fichier choisi tient dans le budget de 32 Go, certains modèles offrant une version optimisée pour 16 Go de VRAM.

Pour récupérer le modèle, vous exécutez ollama pull avec un préfixe point d'exclamation dans le notebook ; la progression s'affiche ligne par ligne, le système tente d'exécuter le modèle une fois le téléchargement terminé, et vous pouvez arrêter immédiatement cette tentative car l'inférence finale se fera via le tunnel, pas dans le notebook.

Pour exposer le service local, vous installez le binaire de tunnel Cloudflare, le décompressez et le lancez pointé vers localhost sur le port Ollama, ce qui génère une URL publique que vous pouvez ouvrir dans un navigateur pour confirmer qu'Ollama fonctionne, et si la vérification échoue, réexécuter la même cellule corrige généralement le problème.

La dernière étape est la connexion à Hermes Agent : choisissez Custom Endpoint dans le menu des modèles et entrez son numéro, collez l'URL publique avec /v1 ajouté comme Base URL, tapez ollama comme clé API, sélectionnez le modèle récupéré, et si le premier appel expire, réessayez une fois après que le service se soit réchauffé et réponde au test who are you nettement plus vite que la démo cloud payante, avec la liste complète des commandes partagée en TXT sur le Discord du créateur.