Ce qu’on a mesuré, et ce qui s’est révélé faux.

Travaux déposés

Deux artefacts sont archivés sous identifiant permanent, publiés en CC BY 4.0 et rattachés à un ORCID. On peut les citer, pas seulement les lier. Un tiers pourra les désigner dans dix ans, quoi qu’il advienne de ce site.

Whitepaper technique, DOI 10.5281/zenodo.21728284Kit d’audit du benchmark, DOI 10.5281/zenodo.21727140ORCID 0009-0009-1087-3917

Le chiffre, et ce qu’il n’affirme pas

77,1 % sur LongMemEval-M, variante full-haystack, au juge strict. Ce réglage enterre chaque question sous environ 480 sessions distractrices, au lieu de la tranche réduite dont sortent la plupart des chiffres publiés.

C’est un vrai run de 48 questions, rejoué une deuxième fois et concordant verdict par verdict, et le gain qui le porte a été confirmé sur un jeu de questions tenu à l’écart. Les mêmes réponses obtiennent 81,3 % sous le juge plus souple. Le plancher publié de juillet, 72,9 %, reste archivé avec sa composition, sous son propre DOI. Deux juges sont deux instruments : aucun de ces chiffres n’est la progression d’un autre.

Cela ne dit rien des systèmes évalués sur d’autres benchmarks. Comparer un chiffre d’ici à un chiffre d’ailleurs n’aurait aucun sens, dans un sens comme dans l’autre.

Auditez le score vous-mêmeLe dossier complet

Comment on mesure

Les protocoles sont pré-enregistrés avant les runs décisifs, pour qu’une hypothèse ne puisse pas être ajustée discrètement une fois le résultat connu. Chaque bras est comparé à des bras de contrôle, y compris volontairement dénués de sens. Un effet qu’un contrôle aléatoire reproduit n’est pas un effet.

Quand la comparaison est statistique, c’est un test de permutation à graine fixée, pas une différence jugée à l’œil. Quand un modèle de langage juge une réponse, on mesure le plancher de bruit et on l’annonce. Un écart plus petit que ce plancher est rapporté comme du bruit.

Ce qu’on a eu faux

Le fondateur a tenu pendant des mois qu’une structure mathématique particulière porterait du signal dans un moteur de mémoire. C’était l’idée à laquelle il tenait le plus. On l’a mesurée sur plusieurs tâches indépendantes, dans toutes les formulations qu’on a pu lui construire, y compris la version qu’il considérait comme la bonne.

Elle ne portait aucun signal, nulle part. Des contrôles aléatoires reproduisaient chacun des effets qu’elle semblait avoir. Une sonde structurelle n’a rien trouvé dans les données sur quoi elle aurait pu s’accrocher. L’hypothèse a été abandonnée.

Cet échec est la chose la plus utile de cette page. C’est en le menant correctement qu’est apparue la conception qui, elle, a été livrée : une consolidation qui augmente la mémoire au lieu de la remplacer. Elle garde la trace brute et y ajoute, plutôt que de résumer par-dessus.

Ce sur quoi ça s’appuie

La lignée est exposée avec ses références dans le whitepaper, section 12. On y trouve le cadrage « système d’exploitation », le benchmark auquel on se soumet, les architectures publiées les plus proches, et les travaux qui défendent qu’une boucle d’évaluation doit être rejouable plutôt que crue. Un seul endroit canonique vaut mieux que deux qui divergent.

Whitepaper, §12 Related Work