Architecture¶
C'est le cœur de ce rapport, et la réponse à la question « comment ont-ils fait pour avoir 10 M de tokens ? ».
La difficulté¶
Pokee n'a rien publié. Il n'existe ni papier, ni poids, ni fichier de configuration, ni schéma. Le seul élément architectural communiqué tient en quatre mots : « non-decoder-only architecture ».
On ne peut donc pas lire l'architecture. Mais on peut faire mieux que spéculer : on peut la contraindre.
La méthode¶
Pokee a publié trois nombres :
| Nombre | Valeur |
|---|---|
| Fenêtre de contexte | 10 000 000 tokens |
| Matériel | 1 GPU (RTX 4090 → B200) |
| Préfill | 137 200 tokens/s sur B200 à 10 M |
Ces nombres décrivent un système physique. Ils obéissent à des égalités comptables : un cache clé-valeur occupe un nombre d'octets calculable, une attention consomme un nombre d'opérations calculable, un GPU délivre un nombre d'opérations par seconde borné. Aucun secret industriel ne suspend ces contraintes.
En les appliquant, on n'obtient pas l'architecture d'Isaac, mais l'ensemble des architectures compatibles avec les chiffres annoncés. Cet ensemble se révèle beaucoup plus petit qu'on ne l'imagine.
Ce que cette méthode peut et ne peut pas
Elle peut : éliminer des familles entières d'architectures, et identifier ce qui est nécessairement vrai du modèle.
Elle ne peut pas : nommer le mécanisme exact, ni distinguer entre deux solutions également compatibles. Les hypothèses du chapitre 04 restent des hypothèses, et sont signalées comme telles.
Ce que vous allez apprendre¶
- Ce que Pokee révèle réellement — l'inventaire exhaustif des indices disponibles, et ce que signifie « non purement décodeur ».
- L'arithmétique de la mémoire — pourquoi le facteur 5 annoncé est très loin de suffire, et pourquoi 10 M sur une RTX 4090 est presque certainement faux.
- L'arithmétique du calcul — pourquoi le débit annoncé interdit à la fois l'attention globale et un modèle dense de 28 G.
- Les hypothèses plausibles — ce qui reste debout, et comment on pourrait le vérifier.
Toutes les valeurs numériques de cette partie sont recalculées par le script documenté en Annexes · Vérification arithmétique.