Production : alertes SLO et métriques DORA¶
En production, deux familles de pratiques jouent le rôle du contrôle statistique : les alertes sur objectifs de niveau de service (SLO), qui détectent un incident en cours, et les métriques DORA, qui suivent la performance de livraison d'une équipe dans la durée.
Les alertes à fenêtres multiples de Google¶
Le vocabulaire¶
Un SLO (Service Level Objective) fixe un taux de succès cible, par exemple 99,9 % des requêtes réussies sur 30 jours. Le budget d'erreur est le complément : 0,1 % des requêtes peuvent échouer. Le taux de consommation (burn rate) mesure la vitesse à laquelle on consomme ce budget : un taux de 1 l'épuise exactement en 30 jours, un taux de 14,4 l'épuise en environ 2 jours.
Les quatre critères d'une alerte¶
Le chapitre Alerting on SLOs du SRE Workbook de Google (source) évalue toute stratégie d'alerte selon quatre critères :
| Critère | Définition (Google) | Équivalent SPC |
|---|---|---|
| Précision | Part des événements détectés qui étaient significatifs | Inverse du taux de fausses alarmes, lié à l'ARL0 |
| Rappel | Part des événements significatifs détectés | Puissance de détection |
| Délai de détection | Temps avant notification | ARL1 |
| Délai de réarmement | Durée pendant laquelle l'alerte persiste après résolution | Pas d'équivalent direct |
La colonne de droite est l'interprétation de ce rapport, pas celle de Google. Mais la correspondance est exacte : les SRE de Google ont formalisé le même compromis que Shewhart, avec d'autres mots.
La solution recommandée¶
Pour un SLO à 99,9 %, le Workbook recommande :
| Fenêtre longue | Fenêtre courte | Taux de consommation | Budget consommé | Action |
|---|---|---|---|---|
| 1 h | 5 min | 14,4 | 2 % | Astreinte |
| 6 h | 30 min | 6 | 5 % | Astreinte |
| 3 jours | 6 h | 1 | 10 % | Ticket |
Une alerte se déclenche quand le seuil est dépassé à la fois sur la fenêtre longue et sur la fenêtre courte, la fenêtre courte valant 1/12 de la longue.
Lecture SPC des fenêtres multiples
- Chaque ligne du tableau est une limite de contrôle d'une sévérité différente : un dépassement fort et bref, un dépassement moyen et prolongé, un dépassement faible et durable. C'est l'architecture des règles 1, 2 et 4 de Western Electric — un point très loin, quelques points assez loin, beaucoup de points un peu loin.
- La fenêtre longue joue le rôle d'une règle de séquence : elle exige que le problème dure.
- La fenêtre courte, en condition ET, sert à réarmer vite : dès que l'incident est résolu, elle repasse sous le seuil et coupe l'alerte. Les règles de Western Electric n'ont pas d'équivalent, parce qu'en usine on arrête la ligne au lieu de laisser l'alerte s'éteindre seule.
Les métriques DORA¶
Ce qu'elles mesurent¶
Le programme de recherche DORA (DevOps Research and Assessment, aujourd'hui chez Google Cloud) suit depuis 2014 la performance de livraison logicielle (historique). Les métriques actuelles se répartissent en deux facteurs :
| Facteur | Métrique | Définition courte |
|---|---|---|
| Débit | Fréquence de déploiement | Combien de fois on livre |
| Débit | Délai de changement | Du commit à la production |
| Instabilité | Taux d'échec des changements | Part des déploiements qui causent un incident |
| Instabilité | Temps de rétablissement après échec | Renommé ainsi en 2023 |
| Instabilité | Taux de reprise (rework rate) | Ajouté en 2024 ; part des déploiements non planifiés faits pour corriger un incident |
Le taux de reprise deviendra central dans la partie Développement par IA : c'est la métrique qui mesure le plus directement « on a livré vite, puis il a fallu corriger ».
Ce que DORA dit lui-même des pièges¶
La page officielle des métriques (dora.dev) liste parmi les pièges courants :
- la loi de Goodhart : transformer une mesure en objectif invite à la manipuler ;
- se focaliser sur une seule métrique ;
- comparer des applications ou des équipes très différentes ;
- mettre les équipes en compétition plutôt que de suivre chaque équipe contre elle-même ;
- privilégier la mesure à l'action.
Erreur fréquente : les métriques DORA comme objectifs
La loi de Goodhart est la version sociale de ce que Deming appelait le sur-ajustement (voir Pièges). Une carte de contrôle sert à observer la voix du processus. Dès qu'on fixe une cible sur la même mesure, on récompense ceux qui déplacent la mesure plutôt que le processus — et, comme on le verra, les agents d'IA sont particulièrement doués pour cela (reward hacking).
DORA sous carte de contrôle¶
Rien n'empêche de tracer une carte XmR mensuelle du taux d'échec des changements d'une équipe. C'est même la lecture la plus fidèle de la recommandation de DORA (« suivre chaque équipe contre elle-même »). Deux précautions :
- le taux d'échec est une proportion : avec 20 déploiements par mois, son bruit d'échantillonnage est énorme, et une carte p (script §4) montrera des limites larges ;
- le délai de changement est une durée asymétrique : appliquer le traitement du chapitre sur les temps de cycle.