Évaluer le dispositif
Évaluation technique de m@gistère
Tous les problèmes rencontrés sur m@gistère doivent être remontés au service informatique du rectorat par voie hiérarchique : c'est le DAN[2] qui est destinataire des rapports d'anomalie. L'évaluation technique de m@gistère (et de BBB[3] le cas échéant) n'est pas du ressort du formateur. L'outil est géré au niveau académique et développé au niveau national, son évaluation est nationale. Un cahier de maintenance (numérique avec Opale) est prévu ; il vise à regrouper et à classer toutes les remarques concernant l'utilisation de m@gistère. Il sera transmis au DAN[2] en fin de formation.
Évaluation pédagogique
Les forums permettent de recenser des attentes particulières et de les traiter au cours des regroupement (en présentiel ou en salle de classe virtuelle[4]). L'utilisation conjointe du carnet de bord [pdf][5] de la formation permet aux apprenants d'exprimer leurs demandes en utilisant le même langage.
L'évaluation par sondage en fin de formation permet :
aux apprenants de se situer par rapport aux objectifs initiaux ;
au formateur de remonter des critères de satisfaction.
Cette dernière évaluation est présentée sous la forme d'un enregistrement de page web :
Évaluation institutionnelle
Plusieurs indicateurs permettent de mesurer la réussite de la formation :
la participation à la formation.
la proportion de cadres formés qui mettront en place des formations avant la fin de l'année scolaire ;
les sollicitations du formateur à la suite de la formation.
Pour vérifier l'atteinte des indicateurs :
la participation à la formation : plus de 70% des apprenants ayant suivi la formation en entier (présence au regroupement en présentiel, en salle de classe virtuelle[4] et réalisation des travaux et quiz en distanciel sur m@gistère)
la proportion de cadres formés qui mettront en place des formations avant la fin de l'année scolaire : plus de 25% des cadres formés qui réalisent au moins une formation m@gistère dans l'année scolaire ; les chiffres peuvent être obtenus auprès du DAN[2] qui a accès à l'intégralité du m@gistère académique et qui a une vue sur ce qui est proposé sur le m@gistère de l'ESEN[7] (certains cadres formés seront également formateurs auprès de l'ESEN[7]).
les sollicitations du formateur à la suite de la formation ; un travail devrait pouvoir être fait avec un statisticien du rectorat pour classer les échanges par courriels et sur les forums en fonction de critères de satisfaction :
une demande de précision d'information signifie que la formation est incomplète ou qu'elle ne correspond pas aux attentes ;
une demande de complément d'information signifie que l'apprenant souhaite en apprendre davantage pour aller plus loin.
l'ensemble des résultats statistiques recueillis devront également être vus en cumulant les différentes sessions de la même formation afin d'obtenir une analyse plus probante (sur un plus grand échantillon d'apprenants).
Complément : Évaluation économique du dispositif
Il sera vérifié l'adéquation des horaires prévus au livret du formateur [pdf][9] avec les temps réellement consacrés aux différentes tâches. Une colonne supplémentaire sera ajoutée au tableau «Répartition des temps dus au formateur» afin d'y placer les temps commentés. Les commentaires devront expliciter les causes d'une éventuelle différence entre la prévision et la conduite de la formation. Ainsi, par exemple, une différence de temps liée à une découverte des fonctionnalités de m@gistère ne pourra pas être corrigée dans les estimations futures mais il faudra reconsidérer le contenu de la formation des formateurs pour corriger ce point précis en amont, dans les pré-requis nécessaires au rôle de formateur.