Un Quadro de 19 dólares como motor de texto: IA seria sin la tarjeta insignia

El contraste entre tarjetas costosas y tarjetas baratas es el punto de partida. A un lado, una etiqueta de 7 000 dólares por la insignia actual; al otro, un Quadro K4000 de la era Kepler hallado de segunda mano por menos de veinte dólares. TechPowerUp describe esta tarjeta con 768 núcleos CUDA y 3 GB de memoria. Quedar fuera de las bibliotecas actuales no la deja sin valor, porque la comparación impacta: esta tarjeta pequeña supera los sistemas Cray que el autor programó en su juventud. Wikipedia recuerda que la línea Cray T3E cruzó 1 teraflop en una aplicación real en 1998. Del lado de Nvidia, la RTX 5090 con 32 GB de memoria y un diseño Blackwell marca la cima, pero el autor sostiene que la carrera del modelo listo no es el único camino.

Vectorfall es la plataforma construida para poner estas tarjetas baratas a trabajar. El autor escribió en C una pila de software ajustada a mano y la fijó a versiones anteriores. Probar tanto software en poco tiempo fue posible para una sola persona gracias a una ayuda de IA que acelera las tareas ingratas, como cazar fugas de memoria en programas C. Conocer a fondo el equipo de destino sigue siendo la parte humana, y allí queda la diversión. Ningún modelo listo fue esperado; un camino nuevo fue abierto dentro de los límites de la tarjeta.

El motor de texto: búsqueda en milisegundos y rastreo de fuentes

La colección del motor de texto reúne unas 200 000 palabras tomadas de los libros del autor. Tras la carga, casi cada operación corre en el procesador gráfico, mientras un veterano sistema de doble Xeon apenas hospeda el conjunto. Las respuestas de búsqueda llegan en milisegundos porque el texto está repartido entre los núcleos de la tarjeta. Un nombre como el del general Jack Shanahan puede buscarse y rastrearse: la frase exacta se muestra donde figura. Cada hallazgo remite a su fuente precisa, lo que distingue la obra de una práctica de modelo de caja negra.

El enfoque de Markov actúa como una tabla que cuenta transiciones de palabras: la frecuencia con que la palabra B sigue a la palabra A se registra en toda la colección. De allí sale un grafo de enlaces donde puede examinarse el vecindario de cada término. En modo de generación, una frase de entrada se continúa desde esta tabla, y cada palabra remite al lugar de su primera aparición. ScienceInsights describe tales cadenas como miradas solo al estado presente para prever el paso siguiente, la misma idea tras las sugerencias de palabras en el teclado del teléfono. La cantidad de palabras previas consultadas y la longitud del texto pueden ajustarse.

La generación guiada por tema empuja el texto hacia un asunto elegido. Los grupos de inserciones entran en juego: cuando se elige un asunto de combate, el texto favorece los pasajes que alimentan ese grupo. Cada intento devuelve un texto distinto, pero todos se reúnen en torno al mismo asunto. El autor presenta entonces la noción de inserciones para explicar el mecanismo. La cercanía de sentido se suma así a los simples conteos de transición en la formación del texto.

Espacio de inserciones, analogías y modelo pequeño

El estudio de inserciones coloca cerca unas de otras las palabras que coaparecen. Proyectada de muchas dimensiones a dos, la disposición forma una nube de colores: las plataformas autónomas se juntan a un lado, las figuras de la IA generativa al otro. Las preguntas de analogía se resuelven en el mismo espacio: el vínculo que une la hiperguerra con la guerra se busca entre otros pares de palabras. Los trabajos reseñados en arXiv tienen tales analogías lineales por una prueba clásica de la calidad de las inserciones. Con una colección pequeña, algunas relaciones quedan débiles, pero los lazos de sentido entre las palabras empiezan a asomar.

El modelo de lengua Vectorfall es un modelo pequeño tallado para presupuestos de cálculo ajustados. Completa el texto desde el saber de las inserciones y produce 129 tokens por segundo en esta tarjeta minúscula. Los primeros intentos pueden empezar bien y caer en el sinsentido, pero de las series repetidas también salen pasajes coherentes. La vista bajo el texto muestra qué párrafos alimentaron cada pasaje; nada se copia de un solo lugar. Elegir el buen pasaje entre los intentos y ordenar los resultados fortalece el modelo con retroalimentación humana. Los tokens se producen en los núcleos de la tarjeta mientras las luces de actividad se encienden.

Los instrumentos de análisis corren en la misma tarjeta: la curva de Zipf, las nubes de palabras y el informe de vocabulario salen de ella. GeeksforGeeks resume así la regla de Zipf: en una colección, la palabra líder aparece cerca del doble que la segunda. El autor mide su propia colección con esta regla. La extracción de años, correos y enlaces está incluida: cada fecha y cada dirección del texto se lista una por una. Los nombres que coaparecen a menudo se aprenden como una sola noción, como en el caso Cambridge Analytica.

Cada capacidad de la plataforma también se ofrece como servicio. Mediante el protocolo de contexto de modelo, montajes externos de IA y aplicaciones de agentes pueden llamar la fuerza de esta tarjeta. Anthropic impulsó este estándar abierto, que busca suprimir la tarea de un conector a medida para cada pareja. La fuerza de inserción, búsqueda y generación de una tarjeta barata se une así a conjuntos mayores. En el ejemplo del autor, aplicaciones de agentes emplean directamente las funciones listas de la tarjeta.

Todo este segmento defiende una sola noción: un trabajo de IA instructivo y útil puede construirse sin sumarse a la carrera de las tarjetas costosas. La transparencia lleva la delantera: los valores de inserción, las probabilidades y la fuente de cada palabra quedan visibles. En una vista de modelo de caja negra, esos rastros quedan ocultos. Los próximos segmentos de la serie presentarán otras aplicaciones de la plataforma. Dar a las tarjetas veteranas una segunda vida me parece también una inspiración para la investigación en solitario.