Foire aux questions

[Processus]

[CMM-CMMI]

[SCAMPI]

[ISO15504]

La méthode d'évaluation SCAMPI

Qu'est-ce qu'un SCAMPI?

SCAMPI ("Standard CMMI Appraisal Method for Process Improvement" en anglais) est une méthode qui utilise le CMMI comme référence pour identifier les forces et faiblesses du processus logiciel et/ou système d'une entreprise ou d'un organisme. Cette méthode s'appuie sur une discipline d’équipe et des règles rigoureuses qui assurent l'objectivité des cotations des niveaux de maturité ou d’aptitude et des résultats de l'évaluation.
Les pratiques spécifiques et génériques du CMMI sont caractérisées lors de l’évaluation par le degré de leur mise en œuvre au sein de l’organisation. Ce degré (ou mesure) de mise en œuvre est déterminé par consensus par les membres d’équipe d’évaluation (l’équipe d’évaluation doit comporter au moins 4 personnes hautement qualifiées). Le SEI a développé cette méthode et gère un programme d'accréditation de chefs évaluateurs. Plusieurs SCAMPIs ont été réalisés à travers le monde depuis la publication de la méthode SCAMPI sur lesquelles le SEI diffuse périodiquement des statistiques.

La méthode SCAMPI ne s'applique-t-elle qu'aux grandes sociétés sous-traitantes de la Défense?

Le SEI publie les résultats d'évaluation (Maturity Profile) qui indiquent que la majorité des organisations qui utilisent SCAMPI et le CMMI ne sont pas dans le domaine de la Défense, mais sont des fournisseurs de services.

Évaluer le processus de son entreprise ou organisme à l'aide de la méthode SCAMPI permet-il de se situer par rapport au reste de l'industrie?

Absolument ! La rigueur de la méthode SCAMPI combinée à l'utilisation systématique d'un référentiel cohérent (le CMMI) permet en effet de comparer la maturité de son processus au reste de l'industrie, en utilisant les statistiques publiées par le SEI. La méthode SCAMPI permet de situer la maturité de son organisation ou la capacité de son processus sur une échelle définie dans le CMMI et de déterminer le degré d'atteinte d'objectifs bien précis. En confrontant ces données aux statistiques du SEI,on peut en déduire facilement sa position relative par rapport à l'ensemble des autres entreprises et organismes ayant aussi évalué leur processus à l'aide de la méthode SCAMPI.

Une évaluation SCAMPI confère-t-elle un statut officiel reconnu par un certificat de maturité?

Une évaluation menée selon la méthode SCAMPI se termine par la présentation des constats au Sponsor (Direction) qui a commandé l'évaluation, en présence de tous les participants. Les résultats appartiennent au Sponsor, qui est maître de leur diffusion ultérieure. Aucun certificat n'est remis à l'entreprise ou organisme évalué qui doit donc pouvoir justifier l’atteinte d’un certain niveau de maturité ou de capacité en présentant ses résultats d’évaluation SCAMPI.
Le SEI garantit la qualité des évaluateurs, par son processus d'accréditation. Bien qu'il reçoive des chefs évaluateurs accrédités les résultats de toutes les évaluations, le SEI refuse de fournir quelque information nominative que ce soit, n'utilisant les données que pour des fins d'analyse et la génération de statistiques périodiques.Cette position du SEI reflète une volonté de mettre l'accent non pas sur l'atteinte de résultats mais sur le mouvement CONTINU d'amélioration.
L’activité du SEI porte sur la définition, l'évolution et le soutien de modèles (SW-CMM et CMMI) et de méthodes (CBA IPI et SCAMPI), ainsi que sur l'accréditation et le contrôle qualité des instructeurs et évaluateurs. Le SEI n’est pas un organisme de certification.

Quelle démarche concrète doit-on faire pour vérifier si le processus d'une entreprise ou d'un organisme a bien atteint le niveau que celle-ci ou celui-ci prétend avoir atteint selon l'échelle du CMMI?

Il faut d'abord demander si une évaluation « formelle » SCAMPI a été menée. Actuellement, une organisation ne peut prétendre être à un niveau de maturité ou d’aptitude CMMI que si elle a mis en œuvre une évaluation SCAMPI de classe A, menée par un Chef évaluateur accrédité par le SEI. Sans un tel moyen, la vérification du niveau prétendu est pour le moins difficile (sans pour autant signifier que le niveau n'est pas atteint).
Si notre relation avec l'entreprise ou l'organisme nous permet de le faire, on demandera alors de consulter le rapport de l'évaluation formelle. On vérifiera en premier lieu si la personne qui a mené l'évaluation est un chef évaluateur accrédité; le site WEB du SEI affiche le répertoire des chefs accrédités et, si on a un doute, on peut demander directement au SEI. Rappelons que le SEI ne dévoilera aucune information nominative sur les entreprises ou les organismes, seulement sur les chefs évaluateurs. Un « responsable d’évaluation » non accrédité n'est pas nécessairement incompétent mais on n'a alors pas de moyen objectif de valider sa compétence en matière d'évaluation.
Une fois cette vérification faite, on examinera à quel moment l'évaluation a été faite et on demandera quels moyens ont été concrètement déployés depuis pour combler les lacunes identifiées. Un SCAMPI constitue un excellent portrait du processus mais ce portrait reflète la réalité à un moment bien précis. Par la suite, l’organisation évolue (vers le haut vers le bas …) dans l’échelle de maturité. Le simple maintien d’un niveau est déjà un défi.
Enfin, on analysera sur quelle entité précise, au sein de l'entreprise ou de l'organisme, a porté l'évaluation pour bien comprendre la portée du processus dont on dit qu'il est de niveau "n".

Quelle différence y a-t-il entre une évaluation de type SCAMPI et un audit?

Généralement, une évaluation de type SCAMPI est menée par une entité, pour elle-même, avec une équipe interne soutenue par une expertise externe, le tout en vue de faire le point sur son propre processus en vue de l'améliorer.
Un audit est mené par un expert (ou une équipe) indépendant qui évalue le statut d'un projet (ou ensemble de projets) et en rend compte au commanditaire qui lui a demandé de réaliser l’audit; l'audit peut porter sur un fournisseur de service.
Le même référentiel (CMMI) et la même méthode (SCAMPI) peuvent être utilisés pour un audit comme pour une évaluation.

Quelle importance doit-on accorder aux accréditations accordées par le SEI aux instructeurs CMMI et aux chefs évaluateurs SCAMPI?

Le processus d'accréditation défini et contrôlé par le SEI permet de maintenir un haut niveau de compétence dans la communauté des évaluateurs SCAMPI et des instructeurs CMMI. Les étapes pour obtenir l'accréditation, même pour un professionnel confirmé (plus de dix années d'expérience), ne sont pas faciles à franchir et prennent plusieurs mois d'effort intensif de la part des postulants qui sont triés sur le volet par le SEI sur la base de critères rigoureux.
Richard Basque, fondateur d'Alcyonix, est à la fois instructeur SW-CMM et CMMI ainsi que chef évaluateur accrédité par le SEI tant pour SCAMPI, CBA IPI que SCE. Denis St-Pierre est un instructeur CMMI certifié et un chef évaluateur SCAMPI. Daniel Henry est un chef évaluateur SCAMPI. En France, Antoine Nardèze est à la fois instructeur SW-CMM et CMMI ainsi que chef évaluateur accrédité par le SEI pour SCAMPI et CBA IPI.

Combien y a-t-il d'évaluateurs SCAMPI accrédités par le SEI? Quelles sont les exigences à rencontrer?

On compte seulement quelques centaines de chefs évaluateurs SCAMPI reconnus par le SEI à travers le monde.
Le SEI a établi des règles très claires et exigeantes pour accréditer des chefs évaluateurs. Elles fixent des règles d'acceptation des candidats et précisent un parcours rigoureux pour parvenir à l'accréditation officielle.
Le tout permet au SEI d'exercer un contrôle de qualité sur la sélection des candidats et rassure les clients éventuels quant à la compétence des évaluateurs.
Le SEI maintient un répertoire des chefs accrédités sur son site WEB.

Existe-t-il une documentation sur la méthode SCAMPI?

La définition de la méthode SCAMPI (MDD ou Method Definition Document) et autres documents relatifs à SCAMPI sont disponibles sur le site Web du SEI.

Où dois-je m'adresser si je suis intéressé à mener un SCAMPI dans mon entreprise ou organisme?

Vous pouvez contacter un évaluateur accrédité Alcyonix ou consulter le répertoire du SEI. Alcyonix offre ses services pour mener des SCAMPIs, en français ou en anglais, au plan international.