Ce qu’on a mesuré, et ce qui s’est révélé faux.

Deux documents sont archivés avec un DOI, publiés en CC BY 4.0 et rattachés à un ORCID. Vous pouvez les citer. Le DOI restera valable dans dix ans, quoi qu’il arrive à ce site.

Whitepaper technique, DOI 10.5281/zenodo.21728283Kit d’audit du benchmark, DOI 10.5281/zenodo.21727140ORCID 0009-0009-1087-3917

77,1 % sur LongMemEval-M, variante full-haystack, sur 48 questions que le moteur n’avait jamais vues, avec le juge officiel de LongMemEval. Dans cette variante, chaque question est noyée dans environ 480 sessions parasites. La plupart des chiffres publiés viennent d’une version réduite.

Le protocole a été publié avant le run. Chaque question a reçu deux réponses, et elle ne compte que si les deux sont justes. Sur les 48 questions qui ont servi à régler le moteur, le juge strict donne 85,4 %. En septembre, un audit extérieur a trouvé un verdict faux dans notre résultat d’août : un erratum l’a corrigé à 72,9 %, puis nous avons relancé tout le benchmark. Le lecteur, le moteur et les juges ont changé entre ces runs, donc ces chiffres ne forment pas une progression.

Ces chiffres se comparent uniquement à des résultats obtenus sur le même benchmark, avec le même juge.

Auditez le score vous-mêmeLe dossier complet

Nous préenregistrons les protocoles avant les tests décisifs. Personne ne peut donc ajuster l’hypothèse après avoir vu le résultat. Chaque bras est comparé à des bras de contrôle, dont certains volontairement absurdes. Si un contrôle aléatoire reproduit un effet, cet effet est écarté.

Les comparaisons statistiques passent par un test de permutation à graine fixée. Quand un modèle de langage note une réponse, nous mesurons d’abord son bruit et nous le publions. Un écart plus petit que ce bruit est rapporté comme du bruit.

Pendant des mois, le fondateur a pensé qu’une structure mathématique particulière améliorerait un moteur de mémoire. C’était son idée préférée. Nous l’avons testée sur plusieurs tâches indépendantes, sous toutes les formes possibles, y compris celle qu’il jugeait la bonne.

Elle n’apportait aucun signal. Des contrôles aléatoires reproduisaient chacun de ses effets apparents. Une analyse structurelle des données n’a rien trouvé qui la justifie. Nous avons abandonné l’hypothèse.

En menant ce test jusqu’au bout, nous avons trouvé la conception qui a été livrée : une consolidation qui ajoute à la mémoire au lieu de la remplacer. Elle garde la trace brute et ajoute par-dessus, sans résumer.

Les références sont dans le whitepaper, section 12 : l’idée du « système d’exploitation » pour les LLM, le benchmark utilisé, les architectures publiées les plus proches, et les travaux sur les évaluations reproductibles.

Whitepaper, §12 Related Work