Lo que medimos, y lo que resultó ser falso.

Dos documentos están archivados con un DOI, publicados con licencia CC BY 4.0 y vinculados a un ORCID. Puedes citarlos. El DOI seguirá siendo válido dentro de diez años, pase lo que pase con este sitio.

Whitepaper técnico, DOI 10.5281/zenodo.21728283Kit de auditoría del benchmark, DOI 10.5281/zenodo.21727140ORCID 0009-0009-1087-3917

77,1 % en LongMemEval-M, variante full-haystack, en 48 preguntas que el motor nunca había visto, con el juez oficial de LongMemEval. En esta variante, cada pregunta queda enterrada entre unas 480 sesiones de relleno. La mayoría de las cifras publicadas salen de una versión reducida.

El protocolo se publicó antes de la ejecución. Cada pregunta recibió dos respuestas, y solo cuenta si las dos son correctas. En las 48 preguntas usadas para ajustar el motor, el juez estricto da 85,4 %. En septiembre, una auditoría externa encontró un veredicto falso en nuestro resultado de agosto: una fe de erratas lo corrigió a 72,9 %, y volvimos a correr todo el benchmark. El lector, el motor y los jueces cambiaron entre estas ejecuciones, así que las cifras no forman una progresión.

Estas cifras solo se comparan con resultados obtenidos en el mismo benchmark, con el mismo juez.

Audita la puntuación tú mismoEl expediente completo

Prerregistramos los protocolos antes de las pruebas decisivas. Así nadie puede ajustar la hipótesis después de ver el resultado. Cada brazo se compara con brazos de control, algunos absurdos a propósito. Si un control aleatorio reproduce un efecto, ese efecto se descarta.

Las comparaciones estadísticas usan una prueba de permutación con semilla fija. Cuando un modelo de lenguaje puntúa una respuesta, primero medimos su ruido y lo publicamos. Una diferencia menor que ese ruido se informa como ruido.

Durante meses, el fundador pensó que una estructura matemática concreta mejoraría un motor de memoria. Era su idea favorita. La probamos en varias tareas independientes, de todas las formas posibles, incluida la que él consideraba la buena.

No aportaba ninguna señal. Controles aleatorios reproducían cada uno de sus efectos aparentes. Un análisis estructural de los datos no encontró nada que la justificara. Abandonamos la hipótesis.

Al llevar esta prueba hasta el final, encontramos el diseño que se entregó: una consolidación que añade a la memoria en lugar de reemplazarla. Conserva el registro en bruto y añade por encima, sin resumir.

Las referencias están en el whitepaper, sección 12: la idea del «sistema operativo» para los LLM, el benchmark utilizado, las arquitecturas publicadas más cercanas y los trabajos sobre evaluaciones reproducibles.

Whitepaper, §12 Related Work