Synthèse et lacunes de la recherche¶
Ce chapitre fait le point sur l'état de la recherche consacrée au développement par IA en octobre 2026 : ce qu'elle établit, ce qu'elle laisse ouvert, et la qualité de ses preuves.
Ce qui est établi¶
Les résultats suivants sont soutenus par plusieurs études indépendantes, de méthodes différentes :
| Résultat | Principales sources |
|---|---|
| L'effet sur la vitesse rétrécit avec le réalisme du contexte | Peng 2023, Cui, Maier 2026, He 2026, METR 2025 |
| Quand la qualité est mesurée après adoption, elle se dégrade (avertissements, complexité, duplication) | He 2026, Agarwal 2026, GitClear |
| Les modèles produisent du code vulnérable quand on leur tend un piège, et les développeurs assistés sont plus confiants | Pearce 2022, Perry 2023, Fu 2025 |
| Les tests faibles surestiment la correction, sur tous les bancs d'essai audités | EvalPlus, SWE-bench+, PatchDiff, UTBoost, audits 2026 |
| Les tests générés à partir du code figent son comportement réel | Konstantinou 2024 |
| Un modèle ne se corrige pas seul ; il se corrige avec un signal externe | Huang 2024, Kamoi 2024, Olausson 2024, Mathews 2024 |
| L'absence de revue est associée à plus de dette et de correctifs | Xia et Miller 2026, Bavota 2015 (humains) |
| La fiabilité chute vite avec la longueur des tâches | METR 2025-2026 |
Ce qui reste ouvert¶
1. La qualité dans les grandes études de productivité¶
Les deux expériences randomisées les plus grandes (Peng, Cui) n'ont pas mesuré la qualité. Les études qui la mesurent sont quasi expérimentales (différence de différences sur projets open source) ou viennent d'éditeurs. Il n'existe pas, à la connaissance de ce rapport, d'essai randomisé de grande taille mesurant à la fois vitesse et qualité du code produit en entreprise.
2. La précision des contrôleurs IA¶
Aucune étude industrielle ne publie la précision et le rappel d'un relecteur de code IA ; elles publient des taux de commentaires « résolus » (L'IA comme contrôleur). C'est le chiffre qui manque le plus pour concevoir un orchestrateur : sans lui, on ne sait pas combien de défauts le relecteur IA laisse passer.
3. La revue humaine des PR d'agents¶
On sait que les PR d'agents sont souvent fusionnées sans revue explicite et que l'absence de revue aggrave la dette. On ne sait pas mesurer l'efficacité de détection d'un relecteur humain face à du code d'agent, ni l'effet du biais d'automatisation sur cette revue. Ce rapport n'a trouvé aucune expérience qui injecte des suggestions délibérément fausses et mesure combien de développeurs les acceptent.
4. La surveillance en production¶
Aucune étude publiée n'évalue une carte de contrôle ou une règle de détection sur le flux de production d'un orchestrateur d'agents. Le postmortem d'Anthropic de 2025 décrit le problème ; les audits de bancs d'essai décrivent l'instrument ; personne n'a publié l'évaluation d'un dispositif de surveillance. C'est la raison pour laquelle les parties Orchestrateurs et Skills de ce rapport contiennent des propositions plutôt que des résultats.
5. Les skills¶
La recherche sur les skills d'agents se limite aux guides des éditeurs et aux méthodes communautaires (Tester un skill). Ce rapport n'a trouvé aucune étude comparative publiée sur la forme des descriptions, le déclenchement ou l'effet d'une bibliothèque de skills sur la qualité.
La qualité des preuves¶
Trois fragilités récurrentes
- Les études d'éditeurs dominent sur l'IA comme contrôleur (Google, Meta, Atlassian) et sur les grandes mesures de qualité (GitClear, CodeRabbit, Veracode, Faros). Elles ne sont pas fausses pour autant, mais leurs mesures sont choisies par ceux qui vendent l'outil.
- Les études de fouille de données sont fragiles. Le corpus AIDev a produit une soixantaine d'articles en un an ; Agarwal et al. montrent que certaines de leurs tendances s'inversent sous d'autres choix d'analyse défendables.
- Les modèles changent plus vite que les études. Beaucoup de résultats portent sur Codex, GPT-3.5 ou Copilot de 2022-2023. Les mécanismes (confiance excessive, tests faibles, absence d'auto-correction) se répliquent sur les modèles récents ; les chiffres ne se transposent pas.
Correspondance avec la recherche sur le développement humain¶
La partie Qualité du développement humain montre que presque tous les résultats ci-dessus ont un précédent humain :
| Résultat IA | Précédent humain |
|---|---|
| Les tests faibles surestiment la correction | La couverture prédit mal l'efficacité des tests (Inozemtseva et Holmes, 2014) |
| Les relecteurs IA produisent beaucoup de remarques inutiles | Les analyseurs statiques ignorés au-delà de 10 % de faux positifs (Google) |
| L'IA corrige bien ce qu'un outil lui signale pendant le run | Infer : 70 % de corrections au diff, presque 0 % en lot (Facebook) |
| L'absence de revue aggrave la dette | Les commits non relus introduisent deux fois plus de bugs (Bavota et Russo, 2015) |
| Les développeurs assistés sont trop confiants | Le biais d'automatisation (Parasuraman et Manzey, 2010) |
Une seule famille de résultats n'a pas de précédent humain : le contournement de la mesure par le producteur lui-même. C'est la vraie nouveauté du contrôle qualité des agents.
À retenir
- La recherche établit solidement les mécanismes : dégradation de la qualité mesurée, tests trop faibles, absence d'auto-correction, confiance excessive, fiabilité qui chute avec la longueur.
- Elle laisse ouverts les chiffres dont un orchestrateur a le plus besoin : précision des contrôleurs IA, efficacité de la revue humaine sur du code d'agent, évaluation d'un dispositif de surveillance en production.
- Presque tout a un précédent dans la recherche sur le développement humain — sauf la triche contre la mesure.