Peut-on recalculer vos chiffres ?

Oui. Les runs sont publiés question par question, avec un script verify.js. Il refait le calcul exact du benchmark : moyenne par conversation, puis par catégorie, puis sur les dix, et un tau de Kendall là où le benchmark en demande un. Une moyenne simple donnerait un autre chiffre. Nous avons cassé les données trois fois pour vérifier que le script détecte l’erreur.

Qu’est-ce qu’on audite exactement ?

La notation. Les questions et les réponses de référence appartiennent à LongMemEval et à BEAM, tous deux sous licence MIT. Le moteur qui a produit les réponses est fermé.

Sur quelle machine ça tourne, et où part notre corpus ?

Sur la vôtre. Mnemosyne OS est une application de bureau. La recherche et la vectorisation tournent en local, et un GPU les accélère s’il y en a un. Vos dossiers sont lus sur place et jamais modifiés. Avec un modèle local, vos documents et vos questions restent sur la machine. Avec un modèle cloud, la question et les extraits utiles partent chez ce fournisseur, sous votre clé ou votre projet Vertex.

Est-ce que c’est open source ?

Open core. Le SDK, le serveur MCP et les paquets npm sont sous licence MIT, lisibles par tous. Le moteur de mémoire est fermé : c’est ce que nous vendons. L’accès au cœur en ligne de commande se discute dans un partenariat.

Notre labo n’est pas un labo de mémoire. Est-ce que ça nous concerne ?

Oui, c’est justement l’offre. Nous cherchons des labos de médecine, de biologie, de chimie, ou de toute discipline avec un gros corpus, pour construire avec eux un moteur dédié. Vous apportez l’expertise et le corpus, nous apportons le moteur. Tout commence par une conversation sur votre façon de travailler.

Dossier 02 · Laboratoires de recherche

Un moteur de mémoire mesuré, pour les laboratoires de recherche

Notre moteur de mémoire est mesuré sur deux benchmarks publics, avec les journaux publiés. Chaque question a son verdict. Nos échecs comptent autant que nos scores.

Vous travaillez sur la mémoire à long terme, la recherche d’information ou l’interaction humain-IA ? Vous voulez évaluer, répliquer ou collaborer ? Écrivez-nous.

Télécharger Mnemosyne OS Voir l’application

Windows, macOS et Linux.

Protéger vos recherches

100 % local pour les travaux non publiés, hybride pour le reste

100 % local

Tout sur la machine

Le modèle tourne dans l’application (Qwen, Gemma, Phi au format GGUF). Débranchez le câble réseau : la recherche et les réponses continuent.

Hybride

Recherche locale, réponse dans le cloud

La recherche tourne sur la machine. Un modèle cloud rédige la réponse, avec votre clé ou votre projet Vertex. La question et les passages retrouvés partent chez ce fournisseur.

Votre serveur

Le modèle de votre labo

Votre service informatique fait déjà tourner un modèle ? Branchez-le : tout serveur compatible avec l’API OpenAI, à une adresse que vous indiquez dans les réglages. La question et les passages vont à cette machine.

Modèles compatibles

Vertex AI
Gemini
OpenAI
Anthropic
Mistral
DeepSeek
MiniMax
Qwen (local)
Votre serveur

Un labo peut travailler entièrement hors ligne sur un corpus sensible, et en hybride sur les articles publics. Téléchargez Mnemosyne OS pour l’essayer sur votre corpus. Pour un déploiement sur le serveur du labo, parlons-en.

Télécharger Mnemosyne OS → Parlons-en →

Travailler en équipe de recherche

Partager un corpus dans le labo, sans serveur Bêta

Chaque poste du labo fait tourner Mnemosyne OS. Sur le même réseau, ils se connectent directement, sans serveur au milieu.

Vous prêtez un coffre en lecture à un collègue, ou vous partagez un corpus avec l’équipe : chacun y écrit et garde sa propre copie. Les postes peuvent aussi s’envoyer des messages.

Une suppression ne se propage jamais. Si deux versions d’un fichier divergent, les deux sont gardées. Entre deux sites, l’application installe Tailscale et vous guide.

Le réseau reste coupé tant que quelqu’un ne l’active pas, poste par poste.

Fig. · Quatre postes du labo, un corpus partagé

Ce qui est mesuré

LongMemEval-M

77,1 %

48 questions jamais vues, en full-haystack, juge officiel. Chaque réponse est publiée, les ratés avec.
BEAM · 100K

61,7 %

400 questions sur dix capacités, notées par le juge officiel du benchmark.
BEAM · 10M

49,2 %

200 questions sur un corpus 76 fois plus gros. Même juge, même pipeline, aucun réglage entre les deux.
La pente

20 % de perte

Pour un corpus 76 fois plus gros. Dans l’article BEAM, les baselines RAG perdent 22 à 29 % sur le même saut. La paire de chiffres compte plus qu’un score seul.

Ces chiffres lus à côté de ceux de la catégorie →

Offre de collaboration

Un moteur de mémoire pour votre discipline : médecine, biologie, chimie

L’offre

Nous construisons avec des laboratoires un moteur de mémoire dédié à leur domaine : médecine, biologie, chimie, toute discipline avec un gros corpus. Vous apportez l’expertise et le corpus, nous apportons le moteur. C’est une collaboration, pas un produit tout fait.

Ce que nous voulons construire

Un outil qui surveille les nouvelles publications sur vos sujets, sur arXiv et ailleurs, et les ajoute à votre mémoire. La nuit, il cherche les liens entre votre corpus et les travaux de vos pairs, sur votre machine.

Le point de départ

Une conversation : comment vous travaillez, ce qui vous ralentit, ce qui vous prend vos semaines. Les premiers chercheurs qui testent décident de la forme de l’outil.

Notre méthode

Protocoles préenregistrés avant les tests décisifs, bras de contrôle, tests de permutation à graine fixée. L’hypothèse préférée du fondateur a été réfutée, et la réfutation est publiée.

Programme de recherche interne : préenregistrement à l’aveugle · bras de contrôle · la falsification fait partie de la méthode

Questions

Ce qu’un labo nous demande en premier

Peut-on recalculer vos chiffres ?: Oui. Les runs sont publiés question par question, avec un script verify.js. Il refait le calcul exact du benchmark : moyenne par conversation, puis par catégorie, puis sur les dix, et un tau de Kendall là où le benchmark en demande un. Une moyenne simple donnerait un autre chiffre. Nous avons cassé les données trois fois pour vérifier que le script détecte l’erreur.
Qu’est-ce qu’on audite exactement ?: La notation. Les questions et les réponses de référence appartiennent à LongMemEval et à BEAM, tous deux sous licence MIT. Le moteur qui a produit les réponses est fermé.
Sur quelle machine ça tourne, et où part notre corpus ?: Sur la vôtre. Mnemosyne OS est une application de bureau. La recherche et la vectorisation tournent en local, et un GPU les accélère s’il y en a un. Vos dossiers sont lus sur place et jamais modifiés. Avec un modèle local, vos documents et vos questions restent sur la machine. Avec un modèle cloud, la question et les extraits utiles partent chez ce fournisseur, sous votre clé ou votre projet Vertex.
Est-ce que c’est open source ?: Open core. Le SDK, le serveur MCP et les paquets npm sont sous licence MIT, lisibles par tous. Le moteur de mémoire est fermé : c’est ce que nous vendons. L’accès au cœur en ligne de commande se discute dans un partenariat.
Notre labo n’est pas un labo de mémoire. Est-ce que ça nous concerne ?: Oui, c’est justement l’offre. Nous cherchons des labos de médecine, de biologie, de chimie, ou de toute discipline avec un gros corpus, pour construire avec eux un moteur dédié. Vous apportez l’expertise et le corpus, nous apportons le moteur. Tout commence par une conversation sur votre façon de travailler.

Citer ces travaux Whitepaper technique, DOI 10.5281/zenodo.21728283 Kit d’audit du benchmark, DOI 10.5281/zenodo.21727140 ORCID 0009-0009-1087-3917 Registres BEAM, les deux runs question par question

← Retour au routeur d’audiences