Je m'y suis mis début 2026. C'est devenu un outil de travail quotidien, et un labo à la maison. Trois cartes, des modèles servis en local, et tout ce que je mesure finit publié.
Rien ne part dans le cloud ici. Les poids sont sur mes disques, les modèles tournent sur mes cartes, et le client sur le portable parle directement au serveur, sans proxy de traduction entre les deux.
Ce qui m'intéresse, c'est pas le modèle du mois. C'est ce qu'il fait vraiment quand on le mesure. Une bonne partie de ce que je publie, ce sont des résultats négatifs : des pistes essayées, chiffrées, abandonnées.
Trois postes à la maison, montés au fil des mesures. Aucun n'est dédié, ils servent aussi à jouer.
en service
C'est elle qui porte le parc. Dix profils de modèles se partagent le même port, un seul chargé à la fois : charger l'un décharge les autres. Elle fait aussi tourner ComfyUI et un exécutant d'intégration continue.
en ligne depuis le 11 septembre 2026
Elle sert Qwen3.8-27B avec sa fenêtre complète de 262 144 tokens, ce qui tient de justesse sur 16 Go. Aucun réglage de la 5090 ne se recopie ici : agrandir la fenêtre coûte cher là-bas et ne coûte rien ici, la spéculation rend 25 % là-bas et divise le débit par 4,5 ici.
en service
Elle a essayé de servir un modèle de vision, la mesure a dit non : 8 Go ne suffisent pas et aucun drapeau ne rattrape un jeu d'instructions absent. Depuis le 7 septembre 2026, elle calcule des vecteurs, et c'est un travail à sa taille.
llama.cpp en natif sous Windows, pas vLLM, pas de conteneur. Sur la 4080 SUPER c'est un fork, BeeLlama : les binaires officiels ne compilent l'attention rapide que pour deux formats de cache, et la fenêtre complète du 27B déborde avec ceux-là. Depuis fin septembre 2026, la 5090 sert aussi Strata, un moteur à part qui ne fait tourner qu'un modèle.
code et raisonnement, vision
Le modèle servi par défaut. Fenêtre de 393 216 tokens, aiguille retrouvée à 378 540 tokens, trois fois sur trois.
agentique, vision, OCR
Le seul qui lit une image sans déformer. Sur un relevé bancaire volontairement dur, corps 11, faible contraste, rotation et flou, aucune erreur de valeur sur 15 lignes.
raisonnement et code
En NVFP4 sur la 5090, dans un format plus compressé sur la 4080 SUPER. Une variante non alignée dort à côté, pour les fois où la version alignée refuse une tâche légitime.
le gros, sur Strata
125 milliards de paramètres, 24 576 experts. Strata garde tous les experts en RAM, loge les plus appelés en mémoire vidéo et fait calculer les autres par le processeur en même temps que la carte. Le 3 octobre 2026, sur mon fork, 682 930 tokens lus en 157,8 secondes, aiguille retrouvée.
second avis rapide
12,4 Go de mémoire vidéo, un tiers des autres, et il résout plus de problèmes de calcul que le 27B. Il sait nettement moins de choses.
vecteurs, sur la 5090
Sorties de 768 dimensions.
vecteurs, sur la 5700 XT
Sorties de 1024 dimensions. Les deux embedders veulent des réglages opposés, et recopier la ligne de lancement de l'un vers l'autre rend des vecteurs faux sans la moindre erreur.
Un chiffre sans protocole ne vaut rien. Les deux campagnes ci-dessous ont leur protocole écrit, leur code versionné, et leurs ratés consignés au même endroit.
10/09/2026
500 questions à choix multiple, 60 problèmes de calcul, température 0, graine 42, le même jour et le même protocole pour tout le monde.
Tout a été remesuré parce que le programme qui avait produit les chiffres d'avant avait disparu de la machine, versionné nulle part. Deux nombres obtenus par deux méthodes inconnues ne se comparent pas. Les scores antérieurs sont morts, le banc vit maintenant dans le dépôt.
11/09/2026
Le questionnaire public traîne depuis des années : un modèle entraîné dessus peut le réciter au lieu de le résoudre, et aucun score ne sait faire la différence. J'ai donc écrit un jeu neuf, sept familles, gardé hors dépôt parce que le publier le tuerait. Chaque épreuve a été résolue une seconde fois par un relecteur qui ne voyait que l'énoncé, jamais la réponse attendue. Cinq ont été retirées, trop ambiguës. Une famille part d'énigmes très diffusées dont un détail a été changé : on connaît d'avance la réponse que sort un modèle qui récite, et la sortir est une signature.
Deux modèles annoncent 88 % sur le questionnaire public et y sont indistinguables. Sur les questions neuves ils tombent à 72,8 et 68,1, et là ils se départagent. Aucune récitation détectée. Avec 95 épreuves, 14 seulement séparaient deux modèles ; avec 235, elles sont 133. Un jeu peut être irréprochable et presque muet, et seule une campagne le dit.
Passer le 27B de Q5 en NVFP4 fait monter la génération de 95,3 à 123,4 tokens par seconde et tombe la mémoire vidéo de 31 462 à 26 453 Mo. Le plafond, c'est la bande passante mémoire : moins d'octets à relire par token. Corollaire qui dérange : monter en précision coûte de la vitesse.
Un mode de spéculation donnait 176,52 tokens par seconde sur banc synthétique, contre 121,70 pour celui en service. Sur une charge réelle, il met 358,1 secondes contre 188,6, presque le double. Le banc mentait parce que son texte était un paragraphe répété, et deviner la suite d'un texte qui se répète, c'est facile. Une épreuve doit ressembler à l'usage, sinon elle mesure l'épreuve.
Strata devine les tokens suivants à partir d'une liste de 40 525 tokens. Sur huit articles de Wikipédia en français, 23,8 % des tokens n'y sont pas. J'y ai ajouté les 6 062 qui couvrent 99 % de ces articles, et il en reste 0,55 % hors liste. Sur 12 prompts français, les brouillons acceptés passent de 0,516 à 0,638 et le débit de 141,0 à 157,5 tokens par seconde, pour 12 Mio de mémoire vidéo. La première mesure, sur 4 prompts, donnait +3,5 % : elle était dans le bruit. Sur du code, l'écart reste dans le bruit.
Ma base de connaissances, lue et écrite par les agents. Elle part du socle open source de Philippe Desplats, que j'ai forké et qui vit sa vie depuis. Le 21 août 2026, elle a avalé trois systèmes de mémoire qui s'ignoraient, dont une base de 271 fiches.
Une flotte d'agents qui tournent sur mes postes, avec une mémoire partagée, un bus de messages et des coffres pour leurs secrets. Les connecteurs sont à moi : un pour la recherche, un pour les coffres, un pour le mail, celui-là repris d'un projet de Jonathan Bradshaw.
Un script maison pour envoyer une tâche à un modèle d'une autre famille quand je veux un second avis adversarial. Il force la collecte refusée et la rétention zéro dans chaque requête, ce qui restreint le routage aux fournisseurs qui ne gardent rien et n'entraînent rien dessus. Le garde-fou se lève à la main, jamais tout seul. Un prompt envoyé reste un prompt sorti du poste.
Elles sortent de la 5090, sous ComfyUI avec Flux.2 Dev. 30 étapes, environ 34 secondes par image avec l'agrandissement.
Copilote, jamais pilote. Elle écrit, elle cherche, elle résume, et je relis. Sur les blogs, les articles passent sous des contrôles qui refusent ce qui n'est pas sourcé. Sur le code, rien ne part sans que je l'aie lu.
Chez un client, on commence petit, sur une douleur réelle, en lecture seule, puis on empile les couches. L'agent ne modifie, n'envoie ni ne supprime rien sans validation. Les données sensibles sont masquées avant de partir vers un modèle, et chaque action est journalisée.
Un modèle qui se trompe ne le dit jamais.
Tout est public : scripts de pilotage, protocoles, tableaux de mesures, et les résultats négatifs avec. La moitié des commentaires existent pour éviter au suivant de retester ce qui ne rapporte rien.
Les trois stations, en sous-modules.
github.com/gputier/LLMMon fork de Strata, et ce que l'amont en a repris.
github.com/gputier/StrataGPLa 5090. Chaque réglage porte le chiffre qui le justifie et, quand il y en a une, l'hypothèse qu'il a démentie.
github.com/gputier/llm-station-cudaLa 5700 XT, ce qu'il a fallu pour servir un modèle de vision sur 8 Go, et la mesure qui a mis fin à la tentative.
github.com/gputier/llm-station-vulkanCe que la même machine fait aujourd'hui, et pourquoi ce travail-là lui va.
github.com/gputier/llm-station-embedder