Les PR d'agents et les tâches longues¶

Le chapitre L'usine sans ouvrier a montré que le taux de fusion des PR d'agents n'est pas une mesure de qualité. Ce chapitre rassemble ce que la recherche a mesuré à la place : les tests que les agents écrivent, ce qui arrive à leur code après la fusion, la façon dont les humains les relisent, et la fiabilité des agents quand les tâches s'allongent. L'essentiel de ces travaux a été présenté au défi de fouille de données de MSR 2026, qui a réuni une soixantaine d'articles sur le corpus AIDev (programme).

Avertissement méthodologique à lire d'abord

Agarwal, Miller, Kästner et Vasilescu (arXiv 2607.07980) montrent que des tendances établies sur ce corpus — les PR d'agents seraient moins relues, fusionnées plus vite, moins discutées — s'inversent sous d'autres choix d'analyse tout aussi défendables. Les chiffres qui suivent sont des mesures d'études uniques sur des données d'observation ; leur direction est plus fiable que leur valeur.

Les tests dans les PR d'agents¶

Dipongkor, Baral, Lam et Moran (arXiv 2607.18057, juillet 2026) ont mesuré la couverture de 4 882 PR d'agents :

les agents n'incluent des modifications de tests que dans 49,6 % des PR qui modifient du code testé ;
64,8 % des PR n'ont aucune ligne modifiée exécutée par un test existant ;
la gestion d'erreurs est la moins testée : 86 % (Java) et 81 % (Python) des constructions de gestion d'erreurs modifiées ne sont pas couvertes.

Haque, Ingale et Csallner (arXiv 2601.03556) trouvent que les PR d'agents avec tests deviennent plus fréquentes, sont plus grosses et plus lentes à aboutir, avec des taux de fusion similaires : les tests ne sont pas récompensés par la fusion.

Ce qui arrive au code après la fusion¶

Le devenir à six mois¶

Xia et Miller (arXiv 2607.09902, juillet 2026, 182 dépôts suivis de mai 2025 à mai 2026) comparent le code d'agents et le code humain après fusion :

le risque global de maintenance n'est pas significativement différent ;
le risque de maintenance corrective est 1,49 fois plus élevé (intervalle de confiance de 1,05 à 2,12) ; à 180 jours, 4,0 % du code d'agents a fait l'objet d'un correctif de bug, contre 2,7 % du code humain ;
par ligne modifiée, les alertes de sécurité de haute sévérité (Semgrep) sont 1,51 fois plus fréquentes ;
le facteur le plus fort est l'absence de revue : chaque hausse de 10 points du taux de PR fusionnées sans revue s'accompagne d'environ 6 % de charge de maintenance en plus.

Les retours en arrière¶

Oukay et al. (MSR 2026, programme) trouvent que 2,66 % des PR d'agents contiennent un revert, de 0,7 % (Codex) à 7,6 % (Copilot). Sur 500 reverts, les causes principales sont les effets de bord et la sur-ingénierie (22,3 %), l'incorrection fonctionnelle (22,1 %) et la qualité du code (17,7 %) : le problème tient autant à la gestion du périmètre qu'aux défauts au sens strict.

La sécurité¶

Sakib, Banik et Jadliwala (arXiv 2607.12428, 4 022 PR) trouvent qu'au moins une mauvaise pratique de sécurité figure dans 38,9 % des PR d'agents, à 82,3 % des problèmes d'intégrité de la chaîne d'approvisionnement (dépendances, configuration). Les identifiants codés en dur font 99,6 % des cas critiques — et 81,1 % d'entre eux ont échappé à la revue automatique et humaine. Les auteurs notent aussi que 67,6 % des vrais secrets divulgués avaient été introduits par des humains.

Comment les humains relisent le code d'agents¶

Peu, quand ils ne connaissent pas le code. Selon Gao et al. (arXiv 2601.13754, résumé lu via un moteur de recherche), plus de 67,5 % des PR co-écrites par IA viennent de contributeurs qui ne sont pas propriétaires du code, et environ 80 % de celles-ci sont fusionnées sans revue explicite.
Plus longuement, quand ils relisent. Zhong et al. (arXiv 2603.15911, 278 790 conversations de revue) mesurent 11,8 % de tours de revue en plus sur le code généré par IA.
Les agents relecteurs ne remplacent pas les humains. Chowdhury et al. (arXiv 2604.03196) trouvent que les PR relues uniquement par un agent de revue sont fusionnées à 45,2 %, contre 68,4 % pour celles relues par des humains ; 12 des 13 agents de revue étudiés ont une proportion moyenne de commentaires utiles inférieure à 60 %.
Les rejets ne sont pas expliqués. Nakashima et al. (arXiv 2602.04226) : 67,9 % des rejets de PR d'agents n'ont aucun retour explicite du relecteur.

L'expérience de METR : réussir les tests n'est pas être fusionnable¶

METR a fait relire par des mainteneurs les PR produites par Claude 3.7 Sonnet sur 18 tâches réelles (source) : 38 % des runs passaient les tests, mais aucune des 15 PR relues n'était fusionnable telle quelle. Parmi les runs qui passaient les tests, il manquait des tests dans tous les cas, de la documentation ou du formatage dans trois sur quatre, et la fonctionnalité centrale était défaillante dans un sur quatre. L'échantillon est minuscule et METR invite à retenir l'idée plutôt que les chiffres.

Lecture qualité

Ces travaux confirment, sur les agents, les deux résultats de l'échantillonnage : l'absence de revue est le meilleur prédicteur de dette (Xia et Miller), et une revue humaine faite par quelqu'un qui ne connaît pas le code n'a lieu, en pratique, qu'une fois sur cinq (Gao et al.). La revue humaine reste le contrôle le plus efficace mesuré — à condition d'avoir lieu.

La fiabilité quand les tâches s'allongent¶

L'horizon temporel de METR¶

METR mesure depuis 2025 l'horizon temporel des agents : la durée (en temps humain) des tâches qu'un agent réussit avec une probabilité donnée (Kwa et al., arXiv 2503.14499). Trois résultats intéressent le contrôle qualité :

l'horizon à 50 % double à un rythme rapide — environ tous les 7 mois sur 2019-2025, plus vite depuis 2023 selon la révision de janvier 2026 (source) ;
l'horizon à 80 % est 4 à 6 fois plus court que l'horizon à 50 % : en mai 2026, METR estime l'horizon public à environ 12 heures à 50 %, mais à environ 1 h 30 à 80 % (rapport) ;
un horizon à 99 % ne peut pas encore être estimé : il faudrait environ 300 tâches par tranche de durée (source).

Le même rapport de mai 2026 note qu'au moins 16 % des réussites sur les tâches de plus de 8 heures se sont révélées illégitimes à l'examen (contournement de la mesure).

Lecture SPC

Le passage de 50 % à 80 % de fiabilité divise la durée de tâche accessible par 4 à 6. Pour un orchestrateur qui vise une fiabilité de production (95 % et plus), la conséquence est directe : découper les tâches bien en dessous de l'horizon annoncé, et réserver les tâches longues à un mode supervisé. C'est la recommandation des petits lots de DORA, retrouvée par un autre chemin. Et plus la tâche est longue, plus il faut auditer les réussites autant que les échecs.

À retenir

Les agents n'écrivent des tests que dans la moitié des cas où ils le devraient, et deux tiers de leurs PR modifient du code qu'aucun test n'exécute.
Après fusion, leur code demande plus de correctifs (×1,5), et l'absence de revue est le facteur qui aggrave le plus la dette.
Les agents de revue ne remplacent pas la revue humaine ; la revue humaine est souvent absente quand le contributeur ne connaît pas le code.
La fiabilité chute vite avec la longueur : l'horizon à 80 % est 4 à 6 fois plus court que l'horizon à 50 %.