Échantillonnage et revue humaine¶
Dans un orchestrateur 100 % automatisé, la question « faut-il relire les PR des agents ? » reçoit le plus souvent une réponse binaire : tout relire (et l'automatisation ne fait gagner que l'écriture), ou ne rien relire (et la qualité repose entièrement sur la CI). L'industrie a résolu ce dilemme il y a soixante-quinze ans avec l'échantillonnage pour acceptation. Ce chapitre transpose la méthode.
Ce que disent les éditeurs : rien de chiffré¶
Aucun des principaux éditeurs d'agents de code consultés pour ce rapport (GitHub, OpenAI, Anthropic, Cognition pour Devin) ne publie de consigne chiffrée d'échantillonnage du type « relire X % des PR d'agents ». Ce qui existe :
- une revue obligatoire avant fusion, imposée techniquement par GitHub Copilot (l'agent ne peut pas approuver sa propre PR) et recommandée par la documentation de Claude Code ;
- la recommandation de lire les traces d'exécution, formulée par Anthropic dans son guide des évaluations d'agents (source) ;
- chez Hamel Husain, la consigne de relire soi-même au moins 30 traces, puis une centaine de traces variées, pour l'analyse d'erreurs (source).
Pourquoi « tout relire » ne marche pas¶
Tout relire semble la solution prudente. Les données suggèrent qu'elle se dégrade d'elle-même :
- dans l'étude de Faros AI (éditeur, plus de 10 000 développeurs), les équipes à forte adoption de l'IA voient le temps de revue des PR augmenter de 91 % et la taille moyenne des PR de 154 % (source) ;
- dans le corpus AIDev, le délai médian avant acceptation d'une PR de Codex est de 0,3 heure (contre 3,9 heures pour les humains, chiffres lus sur une figure et à reconfirmer) — ce qui pose la question de la profondeur de ces revues ;
- Peralta et al. trouvent 5,5 % de PR d'agents fusionnées sans aucune trace d'interaction (arXiv 2605.22534).
Une revue exhaustive et superficielle est la pire des combinaisons : elle coûte le prix de la revue complète et apporte la garantie d'un échantillonnage aléatoire mal conçu. La recherche sur la revue humaine le confirme : la détection baisse quand la revue est grosse, rapide ou longue — Fagan notait déjà en 1976 un déclin après deux heures d'inspection, et l'étude SmartBear chez Cisco place la limite vers 60 à 90 minutes et 200 à 400 lignes, avec des réserves de méthode (Inspection et revue). Un relecteur qui découvre le code ne produit qu'environ un tiers de commentaires utiles, et le biais d'automatisation ne se corrige pas par la formation (Facteurs humains).
Ce qu'apporte l'échantillonnage¶
Trois fonctions distinctes de la revue¶
Dans un orchestrateur, la revue humaine remplit trois fonctions, qu'il vaut mieux séparer :
| Fonction | Question | Ce qu'il faut |
|---|---|---|
| Barrière | Ce changement peut-il partir en production ? | Revue de toutes les PR à risque |
| Mesure | Quel est le taux de défauts réel du processus ? | Un échantillon aléatoire de toutes les PR |
| Étalonnage | Les contrôles automatiques (CI, juge LLM) voient-ils ce que voit un humain ? | Un échantillon où l'on compare le verdict humain et le verdict automatique |
Les deux dernières fonctions ne demandent pas de tout relire : elles demandent un échantillon tiré au hasard, faute de quoi le taux mesuré est biaisé par la façon dont les PR ont été choisies.
Ce que vaut un échantillon¶
Si \(n\) PR tirées au hasard sont relues et qu'aucun défaut n'est trouvé, le taux de défauts réel est, avec 95 % de confiance, inférieur à \(1 - 0{,}05^{1/n}\), soit environ \(3/n\) (la « règle de trois ») :
| PR relues sans défaut | Taux réel inférieur à |
|---|---|
| 10 | 26 % |
| 30 | 9,5 % |
| 100 | 3,0 % |
| 300 | 1,0 % |
Erreur fréquente : « on a relu 20 PR, tout allait bien »
Vingt PR sans défaut sont compatibles avec un taux de défauts réel de 14 %. Une revue par échantillon ne prouve un faible taux de défauts qu'avec plusieurs centaines de PR. C'est la même limite que celle des batteries d'évaluations (Mesurer un agent) : la statistique ne fait pas de cadeau aux petits échantillons.
Une proposition : la revue à sévérité variable¶
La proposition qui suit transpose les règles de basculement de l'échantillonnage pour acceptation (inspection normale, renforcée, réduite ; voir Autres familles de règles). Ses seuils sont des points de départ, pas des valeurs validées.
Toujours relu, quel que soit l'état¶
Certaines PR sortent du champ de l'échantillonnage parce que le coût d'un défaut y est trop élevé :
- code touchant l'authentification, les permissions, le paiement, les données personnelles ;
- migrations de schéma, suppressions de données ;
- modification de la CI, des tests ou des règles de fusion elles-mêmes ;
- toute PR portant un signal de contournement (Causes spéciales).
C'est la logique des caractéristiques critiques dans un plan de contrôle industriel : contrôle à 100 %, sans échantillonnage.
Les trois niveaux¶
| Niveau | Part des autres PR relues | Entrée | Sortie |
|---|---|---|---|
| Renforcé | Toutes | Démarrage ; nouveau type de tâche ; changement de modèle ou de skill ; alarme sur une carte | Après une série de PR relues sans défaut significatif (par exemple 30) |
| Normal | Une fraction tirée au hasard (par exemple 20 %) | Sortie du niveau renforcé | Retour au renforcé au premier défaut grave, ou à 2 défauts sur les 10 dernières relues |
| Réduit | Une petite fraction (par exemple 5 %) | Longue série sans défaut au niveau normal (par exemple 100 PR relues) et cartes de contrôle stables | Retour au normal au premier défaut |
Trois points rendent ce schéma cohérent avec le reste du rapport :
- Les changements connus remettent en renforcé. Un changement de modèle, de prompt ou de skill est une cause spéciale potentielle ; l'historique de l'ancienne configuration ne garantit rien pour la nouvelle.
- Les cartes de contrôle pilotent le niveau. Une alarme sur la carte p du taux de réussite fait passer le type de tâche concerné en renforcé : c'est l'articulation entre détection (SPC) et action (jidoka).
- L'échantillon relu alimente les mesures. Les défauts trouvés à la revue sont un taux mesuré, avec son incertitude ; les écarts entre le verdict humain et le verdict automatique servent à recalibrer le juge.
Limite importante
Ce schéma n'a pas, à la connaissance de ce rapport, été évalué sur des orchestrateurs réels. Il repose sur une analogie avec l'inspection de lots industriels, où les lots sont homogènes et les défauts bien définis. Une PR d'agent est plus hétérogène qu'un lot de pièces, et la notion de « défaut grave » doit être définie par chaque équipe avant de démarrer — sans quoi les règles de basculement n'ont rien à compter.
À retenir
- La revue humaine a trois fonctions : barrière, mesure, étalonnage. Seule la première exige de relire les PR à risque ; les deux autres exigent un échantillon aléatoire.
- Une revue sans défaut sur \(n\) PR borne le taux réel à environ \(3/n\) : 30 PR ne prouvent rien en dessous de 10 %.
- L'échantillonnage à sévérité variable — renforcé, normal, réduit — ajuste l'effort de revue à l'historique, et revient au renforcé à chaque changement connu ou alarme.