Evaluando Agent Skills en Nemotron Labs: cómo SkillEvaluator puntuó 300 skills

La sesión 'Ask the Experts: Evaluating Agent Skills | Nemotron Labs' en NVIDIA Developer parte de una pregunta: ¿basta con pasar un link a la documentación a un agente de IA, o necesita un paquete de conocimiento estructurado para la tarea? La respuesta viene del terreno. Aun con modelos capaces y librerías NVIDIA bien escritas, los agentes pierden turnos buscando la herramienta correcta, queman tokens en callejones sin salida y tropiezan en pasos especializados. Como en una cocina: dejar el libro de recetas sobre la encimera no es lo mismo que entregar fichas paso a paso para cada plato.

Un Agent Skill es ese paquete de fichas. Definición simple: un paquete estructurado que un asistente de código con IA puede descubrir para un dominio, con reglas de enrutamiento, referencias y guardrails para usar el flujo correcto sin pegar contexto cada vez. En el ejemplo Speech NIM de NVIDIA el paquete trae SKILL.md (frases disparadoras, reglas, guardrails), una carpeta references/ con guías condensadas, skill-card.md y una carpeta evals/. SKILL.md funciona como superficie de enrutamiento — el asistente carga solo la referencia necesaria para la tarea, manteniendo el contexto ligero. La instalación es breve en cualquier asistente compatible con agentskills.io — Claude Code, Codex o Cursor — vía 'npx skills add nvidia/skills' o un plugin.

SkillEvaluator: cómo funciona la capa de medición

La herramienta central es SkillEvaluator, una capa de medición open-source que pregunta: ¿un skill mejora realmente el rendimiento del agente? Verifica en tres niveles. Tier 1 estático: validación de esquema y frontmatter, scoring de calidad, escaneos de seguridad para prompt injection y exfiltración, detección de secretos y PII, checks de licencia y lint de scripts. Tier 2 distinctiveness: similitud de embeddings detecta instrucciones duplicadas dentro de un skill y solapamientos en el catálogo — si dos skills enseñan el mismo trabajo, el catálogo se infla. Tier 3 evaluación en vivo: el agente ejecuta la misma tarea con y sin el skill y se mide el delta.

La parte en vivo corre en sandboxes aislados vía Harbor, un runner de evaluación open-source. El protocolo es experimental: mismo prompt, mismo modelo, mismas entradas y mismos criterios; la única variable es si el skill está instalado. Cada caso corre en modo pareado y el bucle se repite en dos harnesses. La diferencia se reporta como Skill Lift — en puntos, no en porcentaje. Cuando Correctness pasa de 46 a 87, lees +41 puntos. Convierte una sensación de 'este skill se lee bien' en un número, como cronometrar a dos corredores por el mismo laberinto con idénticas reglas.

El dataset es la palanca. 'skillevaluator create-eval-dataset ./my-skill --full' crea evals/evals.json. Cada caso lleva ID, prompt y salida esperada; con --full aparecen cuatro tipos: explicit, implicit, contextual y negative (trampas donde el skill debe permanecer descargado). Luego 'skillevaluator tier3 evaluate ./my-skill --agents codex --env-mode docker' construye el bundle Harbor, ejecuta cada caso dos veces y califica ambos. Un buen set de evaluación es el multiplicador — si las expectativas son difusas, la medición seguirá difusa.

Boletín para 300 skills: qué dicen los números

Las cifras de la snapshot del 12 de agosto de 2026 (benchmarks.json en commit 738d79e) están macro-promediadas para que cada par skill-harness pese igual. Las baselines sin skill rondan 39-46: Correctness (respuesta final correcta) 46, Discoverability (skill correcto cargado en el momento correcto) 42, Effectiveness (objetivo alcanzado y workflow esperado seguido) 39, Efficiency (sin pasos o llamadas desperdiciadas) 43, y la excepción Security (sin ops inseguras ni fugas) 97. Cuatro dimensiones muestran margen; ahí se vuelve visible la contribución del skill.

Repite las mismas tareas con skills verificados y el cuadro cambia. Scores con skill: Correctness 87 (+41), Discoverability 82 (+40), Effectiveness 78 (+39), Efficiency 78 (+35) y Security 98 (+1). Lift promedio +31 puntos en todas las dimensiones, +39 sin Security. Para Discoverability y Efficiency nótese que se puntúan contra el propio skill — el lift significa que el skill fue encontrado y bien usado cuando estaba presente; ese comportamiento no existe sin skill, de ahí baselines en 42-43 en lugar de cero. Como muestra el gráfico, el lift culmina en Correctness y Discoverability — la ganancia neta es respuesta correcta y enrutamiento correcto.

Las diferencias entre harnesses son instructivas. Claude Code aporta +34 en todas las dimensiones (+42 sin Security), Codex +29 (+36 sin Security) — unos 5 puntos de brecha, esperable por distintos system prompts y tool-calling. La varianza más llamativa es por producto: el lift oscila aprox. de +2 a +46 según el producto. Dominio y diseño de evaluación pesan más que el harness. En breve, no leas el gráfico como 'el harness decide'; qué producto NVIDIA y qué tarea mides escribe la historia.

Tokens y tiempo se siguen por separado y no hay victoria automática. Dos ejemplos single-attempt lo ilustran: jetson-optimize-memory recortó tokens de 617.306 a 142.540 (-76,9 %) y tiempo de 474,9 s a 220,0 s (-53,7 %), mientras cuopt-install aumentó tokens de 25.227 a 55.582 (+120,3 %) y tiempo de 34,0 s a 41,1 s (+20,8 %). El primer skill ataja al agente, el segundo añade contexto y pasos que inflan el coste. Los scores de Efficiency pueden subir mientras el coste en tokens sube, así que SkillEvaluator reporta ambos — recordatorio de que la eficiencia de tokens merece su propia pasada de optimización.

La integración del ecosistema es el puente práctico al cierre. OpenClaw pilota runs Tier 3 para organizaciones oficiales en ClawHub y muestra resultados con/sin skill en una pestaña Evals, para inspeccionar la señal antes de instalar. Del lado de Nous Research, Hermes Agent añade un escaneo opcional SkillSpector al flujo de instalación: PII, Unicode smuggling, lint de scripts, licencia y seguridad se reportan a nivel archivo-línea antes de instalar, unos 1,4-1,5 s por skill y 29 tests pasando. NVIDIA ofrece plugins para Claude Code, Codex y Cursor, y el mismo catálogo de 300+ skills está disponible vía Skills.sh, ClawHub y Hermes Hub. Mensaje consistente: un skill verificado es un descriptor de capacidad firmado — qué hace, cuándo llamarlo, cómo llamarlo — empaquetado y medido.