Personne ne veut d’un Report on Compliance non conforme. Ni le client, qui a des clients et un acquéreur qui attendent. Ni l’évaluateur, qui préférerait signer quelque chose dont tout le monde est content. Voici l’histoire de l’un d’eux, et de la raison pour laquelle c’était la bonne conclusion.
La situation
Une société internationale de paiement e-commerce validait depuis des années par questionnaire d’auto-évaluation. Son volume de transactions a franchi le seuil, et l’acquéreur a demandé un Report on Compliance. C’était le premier de la société.
L’analyse d’écart du printemps a relevé 151 constats. Ce n’est pas inhabituel pour une première évaluation complète d’un environnement cloud qui a grandi plus vite que sa documentation. Ce qui compte, c’est ce qu’il advient de la liste. À la fin de l’été, 54 constats étaient encore ouverts, et la société nous a écrit au sujet du rythme de la mission. Nous avons convenu d’un plan de clôture : un atelier de trois jours dans ses locaux pour traiter les points ouverts avec ceux qui en avaient la charge, puis une date butoir après laquelle plus aucune preuve ne serait examinée.
Les quatre derniers jours
La date butoir est arrivée et les envois continuaient. Dans les quatre jours précédents, nous avons reçu six versions du standard de sécurité réseau, cinq de l’inventaire des services approuvés et cinq du standard de durcissement.
La société croyait que davantage de documents fermeraient les écarts restants. Six des huit constats ouverts exigeaient de modifier une règle de pare-feu, de désactiver un service sur un système en production, ou de retirer un accès privilégié permanent. Nous l’avions écrit en juillet : plus de documents ne les fermeront pas. Un document rédigé dans les derniers jours peut montrer qu’un contrôle est défini. Il ne peut pas montrer que le contrôle a fonctionné pendant la période évaluée, parce qu’il n’existait pas pendant l’essentiel de celle-ci.
Deux exemples de ce qu’« un autre document » ne peut pas corriger. Un service en écoute sur un nœud de conteneurs, que l’inventaire des services approuvés de la société elle-même listait comme « non approuvé, doit être désactivé », a été déclaré clos parce que des règles réseau en bloquaient désormais le trafic. Bloquer le trafic ne désactive pas le service ; l’exigence porte sur les services qui tournent, et une autre exigence couvre le réseau. La détection des changements sur la plateforme de conteneurs était étayée par les modèles d’infrastructure-as-code qui la définissent. Les modèles décrivent l’état souhaité. L’exigence demande un mécanisme qui remarque quand l’état réel s’en écarte, et qui prévient quelqu’un.
Ce que nous avions mal jugé
Avant émission, nous avons passé le rapport par notre propre revue qualité. Elle a transformé sept de nos déterminations antérieures en « non en place ». Pour trois d’entre elles, la note honnête au client était que notre détermination initiale avait été faite trop vite, et que la corriger était notre responsabilité, pas la sienne.
Nous l’avons écrit parce que c’est vrai, et parce qu’un évaluateur qui ne sait pas dire « nous nous sommes trompés sur celle-ci » n’a aucune légitimité pour dire « vous vous trompez sur celle-là ». La revue qualité existe pour que le rapport signé soit juste, pas pour que les courriels précédents l’aient été.
Un évaluateur qui ne sait pas dire « nous nous sommes trompés sur celle-ci » n’a aucune légitimité pour dire « vous vous trompez sur celle-là ».
La conclusion
La position finale : quinze exigences non en place, un Report on Compliance non conforme avec un plan d’action, et plus aucun tour de preuves. La note qui l’accompagnait disait ce que nous pensions : c’est le point où une évaluation se conclut. Ce n’est pas un jugement sur les efforts de la société.
Quelques lignes de cet échange que nous assumons, et que tout client est en droit d’attendre de nous :
- Si vous n’avez pas ce qui est demandé, dites-le. Un écart déclaré est plus rapide pour nous deux qu’un fichier que nous devons ouvrir pour l’écarter.
- Un rapport conclu avec un plan clair est une meilleure fin pour nous deux qu’un tour de plus.
- Pour la prochaine tentative : corrigez d’abord, laissez chaque contrôle fonctionner assez longtemps pour laisser des preuves, soumettez une fois par exigence, et nommez un responsable par constat.
Ce qui s’est passé ensuite
La société a accepté la conclusion et a choisi de continuer avec nous. Elle est revenue avec un plan de remédiation complet, des jalons fixés et des objectifs de clôture clairs, que nous avons acceptés. Le travail est en cours, avec une échéance ferme. Une conclusion dure a mené à un meilleur plan, pas à une relation rompue.
Ce que l’on fait de travers
On croit que le travail de l’évaluateur est de trouver un moyen de signer. Notre travail est de décrire un périmètre que la société assume et de dire si, pendant la période évaluée, chaque exigence était en place. Quand elle ne l’était pas, le rapport honnête le dit, et le rapport utile dit ce qui changerait la donne.
On confond effort et preuve. La société a beaucoup travaillé, et c’est dans le dossier. Les exigences demandent ce qui a fonctionné, pas ce qui a été tenté.