IA à quatre modalités dans la poche : examen d'EmbeddingGemma 2

Imaginez un instant : poser une seule phrase et retrouver le bon fichier parmi des milliers de photos, de mémos vocaux et de documents. Sans rien téléverser vers des services en nuage, sans abonnement payant, avec un moteur de recherche sémantique qui continue de fonctionner dans un avion en mode hors ligne. Telle est la promesse d' EmbeddingGemma 2 , le modèle d'embedding à quatre modalités que Google DeepMind a présenté le 6 octobre 2026. Textes, fichiers de programmation, images, extraits vidéo et enregistrements audio atterrissent dans un espace numérique commun de 768 nombres, où les mots et les images parlent enfin la même langue. La fiche officielle du modèle décrit cet espace unifié comme le socle de toute la conception.

Le plus réjouissant reste l'économie d'échelle. Le modèle complet pèse 740 millions de paramètres, mais les tâches purement textuelles retombent sur un cœur de 270 millions ; le module visuel ajoute 170 millions et le module audio 300 millions, tous deux strictement optionnels. Le blog de Google indique que les poids textuels en 4 bits occupent environ 191 Mo de mémoire vive sur un Pixel 11 Pro, contre 567 Mo pour la version complète à quatre modalités. Avec plus de 20 millions de téléchargements pour la génération précédente, cet argument de légèreté dépasse le simple discours commercial. La licence Apache 2.0 complète le tableau : vous pouvez embarquer le modèle dans des applications commerciales et en garder les revenus.

Téléchargement et installation : deux portes, un objectif

L'installation passe par deux portes, et l'animateur les montre toutes les deux. La première mène à la page officielle des poids sur Hugging Face ; la seconde à un fichier unique au format GGUF préparé par l'équipe Unsloth. La quantification en 4 bits ramène le téléchargement près d'un demi-gigaoctet, tandis que les précisions supérieures demandent environ le double de la taille affichée. L'animateur rapatrie le fichier dans un sous-dossier de modèles avec une seule commande HF, un soulagement sur les connexions lentes. La répartition des paramètres sur la fiche du modèle éclaire ce choix : les tâches purement textuelles ne téléchargent jamais les modules visuel et audio.

Une fois les poids en place, Ollama entre en scène. L'animateur rédige un petit modelfile qui pointe vers le fichier GGUF téléchargé, avec un gabarit de conversation standard qui indique au modèle où commence et où finit la requête. Une seule commande enregistre le modèle dans le répertoire Ollama, et le côté Python est prêt. La bibliothèque Ollama propose aussi des étiquettes prêtes à l'emploi : de l'étiquette 270m à 378 Mo jusqu'à l'étiquette complète 740m à 1,3 Go. Les curieux comme les équipes de production entrent par la même porte.

La conception interne ressemble à une cuisine modulaire : seuls les feux nécessaires s'allument. Les textes et la syntaxe de programmation tournent sur le cœur à 270 millions de paramètres ; les images réveillent un module visuel supplémentaire, tandis que les enregistrements vocaux rejoignent un processeur sonore dédié. Même le mouvement des courts extraits vidéo se lit sous le même toit, et chaque modalité devient un tableau standard de 768 nombres. Une fenêtre de contexte de 8K jetons laisse passer plusieurs minutes d'audio ou de vidéo en une fois ; en langage vidéo, le modèle avale environ huit mille mots par tour.

Compression MRL : rétrécir sans presque rien perdre

L'idée la plus élégante reste la compression en couches nommée Matryoshka Representation Learning . Le modèle émet d'abord des tableaux de 768 nombres à pleine largeur, que vous pouvez ensuite tronquer à 512, 256 ou même 128 nombres. Le guide du développeur rapporte qu'à 256 nombres, la qualité textuelle et programmatique reste presque intacte, tandis que l'image, la vidéo et la parole conservent environ 95 pour cent de l'original. Le guide Unsloth ajoute deux subtilités critiques : les tableaux exigent une normalisation après troncature, et la précision FP16 doit rester au placard car ce modèle y risque des embeddings corrompus, alors que BF16 ou FP32 demeurent des valeurs sûres. Inverser l'ordre corrompt les résultats en silence.

Deux petites étiquettes accomplissent un gros travail côté requête. Les questions de recherche portent une étiquette de requête et les documents archivés une étiquette de document, si bien que le modèle sait toujours si un texte pose la question ou propose la réponse. La similarité se mesure par similarité cosinus : plus deux tableaux de nombres se tiennent proches dans l'espace mathématique, plus leurs contenus comptent pour liés. L'animateur étiquette les fichiers Python comme modalité de programmation et les fichiers audio comme voix parlée, réunissant le tout dans un seul dictionnaire. Des essais indépendants de recherche sémantique dans le navigateur confirment le même principe : quand le modèle d'embedding tourne côté client, la confidentialité tient et les factures serveur restent bornées.

Le jour de la démonstration apporte le bulletin. La requête sur l'enregistrement vocal hisse le fichier parlé en tête à tous les niveaux de compression ; la question sur la fonction Python de la technique MRL désigne le bon fichier ; la requête photo aux tons orange et cyan attrape l'image d'exemple à près de 90 pour cent. L'archive à pleine largeur occupe 30 Mo, tandis que la descente à 256 nombres récupère jusqu'à 83 pour cent de cet espace avec une précision à peine entamée. L'animateur désigne 512 nombres comme le point idéal : un tiers du stockage conserve 98 pour cent de la précision. Ces chiffres viennent d'une petite archive domestique, mais la tendance suit les documents officiels.

Budget mémoire et usages quotidiens

Les budgets mémoire suivent la tâche. La version textuelle en 4 bits reste près de 200 Mo et promet les analyses de programmation et de documents les plus rapides. L'ajout des modules visuel et sonore-vidéo creuse l'appétit ; la version complète non quantifiée en 16 bits monte à 1,5 Go de mémoire vive sur les petites machines, avec la précision maximale. Le conseil de l'animateur reste franc : ne chargez jamais plus que votre tâche. Retrouver de vieux souvenirs en phrases simples, balayer des dossiers photo sans rien téléverser, sauter à la minute exacte dans de longs enregistrements de discussion et traquer les erreurs de logique dans des fichiers de programmation brillent parmi les usages du quotidien. Un vocabulaire partagé avec Gemma 4 laisse le modèle croiser ses grands frères dans des applications plus vastes.

La règle de clôture tient en trois lignes. D'abord nommez la tâche : restez à 270 millions de paramètres quand le texte suffit, grandissez par paliers quand la vision et l'audio s'invitent. Puis commencez à 512 nombres ; un tiers du stockage avec 98 pour cent de précision sert la plupart des archives familiales et des petites équipes. Enfin ne sautez ni les étiquettes ni l'ordre : les étiquettes de requête et de document sont la boussole, la normalisation après troncature la ceinture de sécurité. Cette combinaison bâtit une archive de modèle local privée, sans facture de nuage et avec des fichiers qui ne quittent jamais votre système. La compréhension de plus de 100 langues laisse la porte ouverte aux collections multilingues.