L'expérience de suivi du sommeil de Karpathy : deux mois, quatre appareils, un seul gagnant ?

Tout a commencé avec une vidéo regardée deux mois plus tôt : Bryan Johnson expliquant comment il avait réparé son sommeil, et Karpathy décidant ce jour-là d'améliorer le sien. Mais il fallait d'abord le mesurer, car on ne peut gérer que ce que l'on mesure. À l'époque, il n'avait qu'une Apple Watch associée à AutoSleep ; un Oura qu'il avait autrefois apprécié dormait dans un tiroir, et un nouveau 8Sleep Pod 4 Ultra était en commande. La question était simple : lequel des quatre candidats est réellement fiable ? Il a lancé un projet de comparaison de deux mois et publié les résultats le 24 mars 2025.

Les quatre candidats pouvaient difficilement être plus différents. Whoop est un bracelet sans écran, l'Apple Watch a été testée via une application tierce (AutoSleep), Oura est une bague portée au doigt, et 8Sleep est le lit lui-même. Ce dernier promet suivi et contrôle de la température, mais ne peut mesurer le pouls directement, puisqu'il se trouve sous le corps et non sur lui. La course opposait donc trois objets portables et un non-portable.

La méthode était simple et obstinée : chaque matin pendant soixante jours, il a noté les chiffres juste après le réveil. Sommeil léger, paradoxal et profond plus temps passé éveillé ; fréquence cardiaque au repos et variabilité de la fréquence cardiaque ; le score de sommeil de chaque application. Puis il a confronté ces chiffres à ce qu'il ressentait ce matin-là. Le tableur brut est public, donc chacun peut refaire les calculs.

Après deux mois, le verdict était intuitivement clair : Oura et Whoop sont en première catégorie, leurs scores correspondant pour l'essentiel aux sensations matinales. 8Sleep s'est retrouvé au milieu, simplement correct. Le duo Apple Watch plus AutoSleep a déçu ; ses scores oscillaient presque au hasard et suivaient à peine les sensations du matin.

Les histogrammes de scores affinent le tableau. AutoSleep et 8Sleep sont généreux, collés au plafond de 100 ; Whoop distribue aussi régulièrement des 100. Oura est avare : son pic sur deux mois a été de 92, la distribution ressemble à une courbe en cloche et l'étendue est large. Karpathy y voit une vertu, car un score collé au plafond ne laisse aucune marge de progression.

Il a aussi mesuré à quel point les appareils se rejoignaient. Whoop et Oura dominent le classement à 0,65. Oura avec 8Sleep arrive à 0,59, Oura avec AutoSleep à 0,47, 8Sleep avec AutoSleep à 0,42, Whoop avec 8Sleep à 0,38. En bas du classement : Whoop et AutoSleep, à 0,14, soit pratiquement aucune relation. Si l'on considère Whoop comme bon, AutoSleep ressemble à un générateur de bruit.

Pour la fréquence cardiaque, le tableau s'inverse. Oura, Whoop et AutoSleep concordent étroitement sur le pouls nocturne, avec des corrélations entre 0,88 et 0,95. 8Sleep, étant un matelas, est naturellement le maillon le plus faible, mais reste étonnamment proche. Le lien entre pouls au repos et score de sommeil est ténu : une légère pente de 0,13 côté Whoop, rien côté Oura. Un pouls plus bas n'achète pas de façon fiable un score plus élevé.

L'entraînement a aussi été consigné : environ une demi-heure de cardio doux par jour, plus des intervalles intenses de quatre minutes deux fois par semaine. Sur soixante jours, le pouls au repos s'est amélioré d'un peu moins de 3 bpm. C'est le côté charmant de l'expérience : les chiffres reflètent non seulement les appareils, mais la réponse du corps à l'entraînement.

L'auteur de la vidéo, Aladdin Persson, objecte, et de manière éclairée : il a lui-même construit une application pour le même besoin. Corréler avec la sensation du matin n'est pas un étalon scientifique, argue-t-il ; la bonne question est l'équivalent objectif de chaque stade de sommeil. Pire encore, l'Apple Watch a couru avec une application tierce médiocre plutôt qu'avec son propre logiciel. Enterrer la montre parce que le suivi natif ne fournit pas de score est injuste, puisque dériver un score du graphique brut est un travail facile ; ce qui mérite l'attention, c'est la tendance et la cohérence des chiffres bruts.

Entre en scène Rob ter Horst, connu sous le nom de Quantified Scientist. Docteur en analyse de données biologiques, il teste les objets connectés contre des références de laboratoire (EEG nocturne crânien, ZMax, Dreem 2, polysomnographie). Sa conclusion va contre celle de Karpathy : Whoop n'est pas si bon, l'Apple Watch est bien meilleure. Les capteurs d'Apple figurent parmi les meilleurs du marché selon lui ; le problème vient de l'application qui interprète la montre, pas de la montre. Son résumé : Oura mène en sommeil, Whoop en sport, l'Apple Watch est solide sur les deux.

La conclusion plaide pour la mesure au quotidien : l'auteur a relié la dégradation de sa variabilité et de son pouls au repos à des allergies au pollen et a agi en conséquence, et il lit les retours de l'entraînement dans les chiffres. Il trouve le mouvement Don't Die de Bryan Johnson un peu extrême mais intéressant. Lui-même a porté Whoop et Apple Watch ensemble pendant cinq mois, puis a offert le Whoop et est resté avec l'Apple Watch. La phrase que je retiens : mesurer fonctionne, à condition de savoir ce que l'on mesure et avec quoi.