Productivité et facteurs humains¶
Le chapitre Ce que disent les données a présenté les études les plus citées (DORA, METR, GitClear). Ce chapitre élargit à l'ensemble de la recherche sur le développeur assisté par IA : les expériences contrôlées, les études quasi expérimentales sur des projets réels, la première méta-analyse, et ce que la recherche dit de la vérification, de la confiance et de l'apprentissage.
Les expériences contrôlées : un effet qui rétrécit avec le réalisme¶
En laboratoire : 55,8 % plus rapide¶
L'expérience de Peng, Kalliamvakou, Cihon et Demirer (2023, arXiv 2302.06590 ; auteurs de GitHub et Microsoft Research, plus un économiste du MIT) est la plus citée : 95 développeurs indépendants recrutés sur Upwork, une seule tâche (écrire un serveur HTTP en JavaScript). Avec Copilot, la tâche est réalisée 55,8 % plus vite (intervalle de confiance à 95 % : de 21 % à 89 %). Le taux de réussite, lui, ne change pas significativement. Les auteurs précisent que la qualité du code n'a pas été mesurée.
En entreprise : +26 % de tâches terminées¶
Cui et al. (Management Science, présentation Microsoft Research) ont mené trois expériences randomisées dans le fonctionnement normal de Microsoft, d'Accenture et d'une grande entreprise anonyme, sur 4 867 développeurs. Résultat agrégé : +26,08 % de tâches terminées (erreur standard 10,3 %). Les gains sont plus élevés chez les juniors (+27 à +39 %) que chez les seniors (+8 à +13 %), selon la présentation du MIT Sloan. Là encore, les chercheurs n'avaient pas accès au code : la qualité n'est pas mesurée.
Sur des projets réels : un gain qui disparaît, une dette qui reste¶
L'étude la plus instructive pour le contrôle qualité est celle de He, Miller, Agarwal, Kästner et Vasilescu (Carnegie Mellon, MSR 2026, arXiv 2511.04427). Elle compare 806 dépôts GitHub ayant adopté l'éditeur Cursor à 1 380 dépôts témoins appariés, par une méthode de différence de différences (on compare l'évolution des dépôts adoptants à celle des témoins, avant et après l'adoption). La qualité est mesurée par un serveur SonarQube.
| Mesure | Effet |
|---|---|
| Lignes ajoutées, 1er mois | +281 % |
| Lignes ajoutées, 2e mois | +48 % |
| Lignes ajoutées, ensuite | Plus d'effet |
| Avertissements d'analyse statique | +30 %, persistant |
| Complexité du code | +42 %, persistante |
Une analyse complémentaire suggère que la hausse des avertissements et de la complexité explique le ralentissement ultérieur. Une seconde étude de la même équipe sur les agents de code (Agarwal, He, Vasilescu, janvier 2026, arXiv 2601.13597) retrouve le même profil : gain de vitesse concentré au début, et seulement quand l'agent est le premier outil d'IA du projet ; avertissements (+18 %) et complexité (+39 %) en hausse persistante.
Lecture SPC
C'est la signature d'un changement de niveau sur deux caractéristiques à la fois : la vitesse subit un pic transitoire, la dette un décalage durable. Une carte de contrôle sur la vitesse seule montrerait un signal positif puis un retour à la normale ; il faut la carte de la dette pour voir que le processus a réellement changé.
Microsoft, 2026 : les agents en ligne de commande¶
Une étude Microsoft de juillet 2026 sur le déploiement de Claude Code et de GitHub Copilot CLI auprès de « dizaines de milliers » d'ingénieurs (Murphy-Hill, Butler, Savelieva, arXiv 2607.01418 ; étude de l'entreprise) trouve environ 24 % de PR fusionnées en plus, un effet qui persiste sur quatre mois. Le résumé ne précise ni la méthode contrefactuelle ni de mesure de qualité, et les auteurs notent eux-mêmes qu'une PR fusionnée n'est pas de la valeur livrée.
La méta-analyse¶
La première méta-analyse du domaine (Maier et al., mai 2026, arXiv 2605.04779) agrège 23 études et 27 tailles d'effet de 2019 à 2025 :
- productivité : g = 0,33 (intervalle de confiance de 0,09 à 0,58), un effet modéré, avec une forte hétérogénéité ; plus grand en expérience contrôlée qu'en contexte open source ou en entreprise ;
- apprentissage : g = 0,14, non significatif.
Le \(g\) de Hedges mesure l'écart entre groupes en nombre d'écarts-types ; 0,33 correspond à un effet généralement qualifié de « petit à moyen ».
La pente du réalisme
| Contexte | Effet sur la vitesse |
|---|---|
| Laboratoire, tâche unique (Peng, 2023) | +55,8 % |
| Expériences en entreprise (Cui) | +26 % de tâches |
| Méta-analyse (Maier, 2026) | g = 0,33, plus faible hors laboratoire |
| Projets open source réels (He, 2026) | Transitoire, disparaît après 2 mois |
| Développeurs expérimentés sur leurs dépôts (METR, 2025) | −19 % |
Et aucune des études qui trouvent les plus gros gains ne mesure la qualité ; celles qui la mesurent la trouvent dégradée.
Le coût caché : la vérification¶
Où passe le temps¶
Mozannar, Bansal, Fourney et Horvitz (Microsoft Research, CHI 2024, arXiv 2210.14306) ont fait annoter par 21 développeurs leurs propres sessions avec Copilot. L'état le plus fréquent est « réfléchir à / vérifier une suggestion », avec 22,4 % du temps ; les activités liées à Copilot occupent au total plus de la moitié de la session. Point important : après avoir accepté une suggestion, les développeurs reviennent la vérifier immédiatement dans 53,2 % des cas. Accepter n'est pas valider.
Cela affaiblit directement la métrique favorite des éditeurs, le taux d'acceptation des suggestions. Ziegler et al. (GitHub, 2022, arXiv 2205.06537) l'avaient retenue parce qu'elle était le meilleur prédicteur de la productivité perçue — pas de la qualité.
Le travail se déplace vers la supervision¶
Une étude longitudinale de 2026 (Vella et Blincoe, arXiv 2605.23135, 95 participants suivis à six mois d'intervalle) trouve que 84 % des développeurs perçoivent un gain de productivité aux deux vagues, mais que la part de ceux qui rapportent une dégradation de leur expérience (concentration, charge cognitive) passe de 14 % à 27 %. Les auteurs parlent d'un « paradoxe productivité-expérience » et d'un travail devenu « de supervision ».
L'enquête Stack Overflow 2026 (source) confirme la place de la vérification : avant d'utiliser une réponse d'IA, 76,5 % la font tourner localement, 53 % examinent tests et sécurité, et seulement 9,6 % l'utilisent telle quelle. Cette question n'est pas comparable aux éditions précédentes, et l'enquête est en ligne et auto-sélectionnée.
La confiance et le biais d'automatisation¶
Plus confiant, moins juste¶
Trois études convergent :
- Perry et al. (2023, voir Sécurité) : les développeurs aidés écrivent du code moins sûr et le croient plus sûr ;
- Kabir et al. (Purdue, CHI 2024, arXiv 2308.02312) : 52 % des réponses de ChatGPT à 517 questions de Stack Overflow contiennent une erreur, mais les participants préfèrent la réponse de ChatGPT dans 35 % des cas et ne voient pas l'erreur dans 39 % des cas — l'aisance du style fait la confiance (modèle de l'ère GPT-3.5 ; le mécanisme reste pertinent) ;
- Zhou et al. (2026, arXiv 2601.08045) : en observant 14 développeurs, 48,8 % de leurs actions présentent un biais cognitif, dont 56,4 % dans les interactions avec le LLM.
Une revue systématique de JetBrains Research sur 89 études (Sergeyuk et al., arXiv 2503.06195) relève le biais d'automatisation et la dépendance excessive, plus marqués chez les débutants.
Pourquoi c'est un problème de contrôle qualité
Le biais d'automatisation — accorder trop de crédit à la sortie d'un système automatique — touche directement le relecteur humain d'un orchestrateur. Une revue de PR d'agent faite par un humain confiant a une efficacité de détection inférieure à celle qu'on lui suppose. La partie Qualité du développement humain rassemble ce que la recherche sait de l'efficacité réelle d'un relecteur, sans IA.
L'apprentissage¶
L'essai randomisé d'Anthropic (Shen et Tamkin, janvier 2026, arXiv 2601.20245 ; laboratoire étudiant son propre produit) a fait apprendre une bibliothèque Python inconnue (Trio) à 52 ingénieurs, majoritairement juniors, avec ou sans assistant, puis les a interrogés sans IA :
- score au questionnaire : 50 % avec IA contre 67 % sans (d de Cohen 0,74, p = 0,01), l'écart le plus fort portant sur le débogage ;
- gain de temps : environ 2 minutes, non significatif.
Les participants qui déléguaient le plus obtenaient moins de 40 % ; ceux qui utilisaient l'IA pour poser des questions conceptuelles ou faire expliquer le code, 65 % ou plus. Les auteurs soulignent leurs limites : petit échantillon, mesure immédiate, assistant conversationnel plutôt qu'agent.
Lecture qualité
Le débogage est précisément la compétence que demande la supervision d'un agent. Si l'usage de l'IA réduit cette compétence chez les juniors — qui sont aussi ceux qui gagnent le plus en vitesse (Cui) — la capacité de contrôle de l'organisation baisse au moment où elle en a le plus besoin. C'est une cause commune au sens de Deming : elle tient au système, pas à un individu.
À retenir
- L'effet sur la vitesse rétrécit avec le réalisme : +56 % en laboratoire, +26 % en entreprise, transitoire sur projets réels, g = 0,33 en méta-analyse.
- Quand la qualité est mesurée, elle se dégrade durablement (avertissements +30 %, complexité +42 % après adoption de Cursor).
- La vérification est le coût dominant ; accepter une suggestion ne veut pas dire l'avoir validée.
- Les développeurs assistés sont plus confiants sans être plus justes, et l'apprentissage du débogage souffre.