Aller au contenu

Kimi K3 : analyse complète

Comprendre, de zéro, le modèle d'IA en poids ouverts le plus capable de 2026 — et savoir le réimplémenter.

Ce que contient cette recherche

Une analyse exhaustive du rapport technique de Kimi K3 (Moonshot AI, arXiv 2607.24653, 27 juillet 2026), accompagnée d'un cours complet sur le fonctionnement des grands modèles de langage pour qui part de zéro.
Objectif Comprendre chaque phrase du rapport, et pouvoir réimplémenter l'architecture
Public Débutant complet en IA, mais à l'aise avec les mathématiques de lycée et un peu de programmation
Prérequis Aucun. La partie Fondations construit tout le vocabulaire
Volume 9 parties, 60 chapitres
Temps de lecture 15 à 25 heures pour l'intégralité · 2 h pour le parcours express
Difficulté Progressive : ★☆☆ (Fondations) → ★★★★ (Infrastructure)
Créé le 29 juillet 2026
Dernière révision 29 juillet 2026

Kimi K3 en une phrase

Un modèle Mixture-of-Experts de 2,78 billions de paramètres dont 104 milliards sont actifs par jeton, nativement multimodal, avec une fenêtre de contexte de 1 048 576 jetons, publié en poids ouverts — le premier modèle de la classe des 3 billions dont les poids sont téléchargeables.

Par où commencer

Trois parcours possibles

Le chapitre Parcours de lecture détaille cinq itinéraires selon votre niveau et votre objectif. En résumé :

Vous êtes… Commencez par
Débutant complet Fondations, dans l'ordre
Familier des LLM Résumé exécutif puis Architecture
Pressé Résumé exécutif seul — 20 minutes
Vous voulez l'implémenter Reproduire
Vous voulez juger Analyse critique

Les neuf parties

Fondations — 13 chapitres

Le cours d'entrée. Tout ce qu'il faut savoir sur les LLM pour lire le rapport : jetons, embeddings, Transformer, attention linéaire, Mixture-of-Experts, entraînement, inférence, parallélismes, vision, agents.

Aucun prérequis · ~6 h · ★☆☆

Présentation — 4 chapitres

Moonshot AI et la série Kimi, les revendications du rapport et leur statut, la fiche technique complète, la licence et la disponibilité.

~1 h · ★☆☆

Architecture — 10 chapitres

Le cœur du wiki. Kimi Delta Attention, Gated MLA et NoPE, Attention Residuals, Stable LatentMoE, SiTU-GLU, Quantile Balancing, MoonViT-V2, Per-Head Muon — avec toutes les formules et leur explication complète.

~5 h · ★★★

Entraînement — 10 chapitres

Données, lois d'échelle, extension du contexte à 1 M, SFT et format XTML, apprentissage par renforcement, effort de raisonnement, distillation multi-professeurs, environnements RL, quantification.

~4 h · ★★★

Infrastructure — 10 chapitres

40 % du rapport. FlashKDA, KDA Context Parallelism, MoonEP, gestion mémoire, encodeur multimodal, infra RL à 1 M, sandboxes AgentENV, cache de préfixe hybride, noyaux d'inférence, ordonnancement de flotte.

~4 h · ★★★★

Évaluations — 7 chapitres

Tous les scores, en séparant strictement les mesures de Moonshot des évaluations indépendantes. Comprendre les benchmarks, résultats publics et internes, évaluations tierces, coût, cybersécurité, études de cas.

~3 h · ★★☆

Reproduire — 6 chapitres

Vérifié et testé. Ce qui est public et ce qui ne l'est pas, la reconstruction des 2,8 T de paramètres, l'implémentation de KDA, AttnRes et LatentMoE, un modèle jouet nano-K3, une feuille de route en six semaines.

~3 h · ★★★★

Analyse critique — 4 chapitres

Forces, limites et angles morts, niveau de preuve de chaque affirmation, questions ouvertes.

~2 h · ★★☆

Annexes — 6 pages

Glossaire de ~120 termes, notations mathématiques, chronologie, tableau complet des spécifications, 30 exercices corrigés, sources.

Référence

Ce que cette recherche apporte de plus que le rapport

Des vérifications indépendantes

Les affirmations chiffrées ont été recalculées et testées, pas recopiées. Un script en Python pur, sans dépendance, reproduit :

Vérification Résultat
Décompte des paramètres depuis config.json 2,779 T / 104,0 G — écart de 0,2 % avec le rapport
Identité de composition de KCP erreur \(6{,}94\times10^{-18}\)
Balayage préfixe KCP sur 4 rangs erreur \(1{,}39\times10^{-17}\)
Borne de SiTU-GLU max = 100,000 sur 200 000 tirages
Taille réelle du dépôt Hugging Face 1,56 To (et non « 594 Go » comme l'écrit la presse)

Une lecture critique

Chaque revendication est notée selon son niveau de preuve — vérifié, plausible, non vérifiable, ou contredit. Voir Affirmations à vérifier.

Y compris là où nos vérifications ne confirment pas le rapport.

Avertissements méthodologiques

Trois précautions de lecture

1. Le rapport technique n'est pas une publication évaluée par les pairs. C'est un document produit par l'entreprise qui a construit le modèle. Ses benchmarks ne sont pas des évaluations indépendantes.

2. L'affirmation phare — « 2,5× d'efficacité d'échelle » — n'est pas vérifiable. Elle repose sur une figure sans axes chiffrés, un jeu de validation non publié, et aucune ablation par composant. Elle est attribuée conjointement à l'architecture et aux données.

3. Les scores de codage mélangent les harnais. Comparer un score obtenu avec Claude Code à un score obtenu avec Codex n'est pas une comparaison de modèles. Voir Comprendre les benchmarks.

Sources principales

Source Nature
arXiv 2607.24653 Rapport technique — source primaire
huggingface.co/moonshotai/Kimi-K3 Poids, config.json, licence, carte de modèle
kimi.com/blog/kimi-k3 Billet officiel — tarifs, limitations
Artificial Analysis, Vals AI, LMArena Évaluations indépendantes
UK AI Security Institute + NIST CAISI Évaluation gouvernementale des capacités cyber

Liste complète et classée par fiabilité : Sources.

Commencer maintenant