Tableau des spécifications¶

Toutes les valeurs numériques du rapport, en un endroit.

Légende des sources : config = config.json · carte = carte de modèle · dépôt = observé · calcul = script joint · Qwen = mesure du constructeur.

Identité¶

Champ	Valeur	Source
Nom	Qwen3.8-27B	`dépôt`
Dépôt	`Qwen/Qwen3.8-27B`	`dépôt`
Variante officielle	`Qwen/Qwen3.8-27B-FP8`	`dépôt`
Éditeur	Qwen Team, Alibaba Group	`carte`
Annoncé le	3 août 2026	officiel
Publié le	14 août 2026	`dépôt`
Classe	`Qwen3_5ForConditionalGeneration`	`config`
Type	`qwen3_5`	`config`
Licence	Apache 2.0	`dépôt`
Version de `transformers`	5.8.0.dev0	`config`

Paramètres¶

Champ	Valeur	Source
Total	27 728 906 736 (27,729 G)	`calcul`
Étiquette Hugging Face	28B	`dépôt`
Actifs par jeton	100 % (modèle dense)	`config`
Modèle de langage	26,896 G	`calcul`
Encodeur visuel	0,461 G	`calcul`
Couche MTP	0,372 G	`calcul`
Réseaux denses	17,113 G (61,7 %)	`calcul`
Couches DeltaNet	5,562 G (20,1 %)	`calcul`
Attention complète	1,678 G (6,1 %)	`calcul`
Embeddings + tête	2,543 G (9,2 %)	`calcul`

Structure¶

Champ	Valeur	Source
Couches	64	`config`
dont attention linéaire	48	`calcul`
dont attention complète	16	`calcul`
Intervalle d'attention complète	4	`config`
Dimension cachée	5 120	`config`
Dimension du réseau dense	17 408	`config`
Mixture-of-Experts	aucun	`config`
Vocabulaire	248 320	`config`
Embeddings liés	non	`config`
Couches MTP	1	`config`
Embeddings MTP dédiés	non	`config`
Activation	SiLU	`config`
\(\varepsilon\) de RMSNorm	1e-06	`config`
Précision	bfloat16	`config`

Attention complète¶

Champ	Valeur	Source
Têtes de requête	24	`config`
Têtes clé-valeur	4	`config`
Ratio GQA	6:1	`calcul`
Dimension de tête	256	`config`
Porte de sortie	oui	`config`
Biais	non	`config`
Facteur RoPE partiel	0,25	`config`
Base RoPE	10 000 000	`config`
mRoPE entrelacé	oui	`config`
Sections mRoPE	[11, 11, 10]	`config`
Paramètres par couche	104 858 112	`calcul`
Total sur 16 couches	1,678 G	`calcul`

Attention linéaire (Gated DeltaNet)¶

Champ	Valeur	Source
Têtes de valeur	48	`config`
Têtes de clé	16	`config`
Dimension de tête (clé et valeur)	128	`config`
Dimension q/k totale	2 048	`calcul`
Dimension v totale	6 144	`calcul`
Noyau de convolution	4	`config`
Type de porte	swish	`config`
Précision de l'état	float32	`config`
Paramètres par couche	115 875 968	`calcul`
Total sur 48 couches	5,562 G	`calcul`

Encodeur visuel¶

Champ	Valeur	Source
Couches	27	`config`
Dimension cachée	1 152	`config`
Dimension intermédiaire	4 304	`config`
Têtes	16	`config`
Taille de carreau	16	`config`
Carreau temporel	2	`config`
Fusion spatiale	2 × 2	`config`
Embeddings de position	2 304	`config`
Dimension de sortie	5 120	`config`
Jeton image	248 056	`config`
Jeton vidéo	248 057	`config`
Paramètres	≈ 460,7 M	`calcul`
Coût d'une image 448 × 448	~196 jetons	`calcul`
Coût d'une seconde de vidéo (30 i/s)	~2 900 jetons	`calcul`

Contexte et mémoire¶

Champ	Valeur	Source
Contexte natif	262 144 jetons	`config`
Contexte étendu	1 000 000 jetons (YaRN)	`carte`
Cache KV par jeton	65 536 octets (64 KiO)	`calcul`
Cache à 32 768 jetons	2,15 Go	`calcul`
Cache à 262 144 jetons	17,18 Go	`calcul`
Cache à 1 000 000 jetons	65,54 Go	`calcul`
Cache si 64 couches complètes, à 262 144	68,72 Go	`calcul`
Économie de l'hybride	75 %	`calcul`
Cache sans GQA ni hybride, à 262 144	412,3 Go	`calcul`
État récurrent (constant)	0,159 Go	`calcul`

Le dépôt¶

Champ	Valeur	Source
Format	safetensors, BF16	`dépôt`
Fragments	18	`dépôt`
Taille totale	55,6 Go	`dépôt`
Taille recalculée BF16	55,46 Go	`calcul`
Modalités	texte, images, vidéo	`config`
Raisonnement désactivable	oui	`carte`

Matériel (une séquence, cache BF16, 90 % de VRAM utile)¶

Carte	4 bits (13,86 Go)	FP8 (27,73 Go)	BF16 (55,46 Go)
RTX 4090 / 5080 (24 Go)	115 610	ne charge pas	ne charge pas
RTX 5090 (32 Go)	225 473	13 918	ne charge pas
L40S / Pro 6000 (48 Go)	445 200	233 645	ne charge pas
H100 / H200 (80 Go)	884 653	673 098	249 987
Mac 128 Go unifiés	1 000 000	1 000 000	661 975

En jetons de contexte. Source : calcul.

Échantillonnage recommandé¶

Mode	`temperature`	`top_p`	`top_k`	Source
Raisonnement	1,0	0,95	20	`carte`
Instruction directe	0,7	0,80	20	`carte`

Paramètre	Valeurs	Source
`enable_thinking`	`True` / `False`	`carte`
`reasoning_effort`	`low`, `medium`, `xhigh`	`carte`
`preserve_thinking`	booléen	`carte`

Benchmarks — texte¶

Benchmark	Qwen3.8-27B	Qwen3.6-27B	Opus 4.6 Max	Source
Terminal Bench 2.1	73,0	63,4	78,2	`Qwen`
SWE-bench Pro	61,7	53,5	53,4	`Qwen`
NL2Repo-Bench	42,3	36,2	47,6	`Qwen`
DeepSWE 1.1	42,2	13,3	--	`Qwen`
QwenSWEBench	79,0	49,3	63,8	`Qwen`
CoWorkBench	70,7	61,0	68,2	`Qwen`
JobBench	33,4	21,8	--	`Qwen`
Agents' Last Exam (Pass@1)	20,4	10,6	--	`Qwen`
Agents' Last Exam (Score)	42,9	27,3	--	`Qwen`
IFBench	79,5	69,1	62,5	`Qwen`
GPQA Diamond	89,2	87,8	91,3	`Qwen`
HLE	30,8	24,0	40,0	`Qwen`
LiveCodeBench v6	90,3	83,9	88,8	`Qwen`

Benchmarks — vision-langage¶

Benchmark	Qwen3.8-27B	Qwen3.6-27B	Opus 4.6 Max	Source
OSWorld-Verified	84,3	63,9	72,7	`Qwen`
WebArena-Verified	64,8	48,8	--	`Qwen`
AndroidWorld	81,9	70,3	62,0	`Qwen`
RecreationBench	47,1	29,8	--	`Qwen`
ClawEval-MM (Pass@3)	57,4	42,6	52,5	`Qwen`
ClawEval-MM (moyenne)	56,9	50,4	54,7	`Qwen`
SWE-MM	38,6	25,7	27,1	`Qwen`
Vision2Web	62,9	45,0	--	`Qwen`
MathVision (sans CI)	90,0	85,1	65,5	`Qwen`
MathVision (avec CI)	94,6	--	--	`Qwen`
BabyVision (sans CI)	65,7	28,9	12,6	`Qwen`
BabyVision (avec CI)	85,6	--	--	`Qwen`
CharXiv (sans CI)	83,7	78,4	66,0	`Qwen`
CharXiv (avec CI)	90,2	--	--	`Qwen`
OmniDocBench 1.5	91,1	89,4	86,6	`Qwen`
RealWorldQA	85,9	84,1	73,9	`Qwen`
ERQA	65,5	62,5	40,8	`Qwen`

Tableaux complets avec toutes les colonnes : Le tableau officiel.