Processus d’examen, de révision et de nouvelle proposition des outils de mesures ou d’évaluation

Examen des outils de mesure ou d’évaluation

Toutes les présentations sont d'abord examinées par le Secrétariat de l'INEE afin de vérifier qu'elles sont complètes et conformes aux conditions requises de présentation avant d'être envoyées aux examinateurs. Si des éléments d'information requis font défaut, le Secrétariat de l'INEE peut communiquer avec les développeurs pour leur demander de partager ces renseignements. Les dossiers incomplets ne seront pas examinés sans le renvoi, dans les délais, des documents demandés. Ensuite, l'INEE partage les propositions d’outils de mesures ou d’évaluations avec les membres du MLRG de l'INEE pour une évaluation par les pairs. Le MLRG de l'INEE est composé de travailleurs indépendants en évaluation qui donnent de leur temps deux fois par an pour soutenir un processus rigoureux d'évaluation par les pairs. Chaque outil est évalué par quatre examinateurs : deux experts psychométriques pour évaluer les propriétés psychométriques de la proposition d’évaluation et deux experts de terrain pour évaluer la facilité d'utilisation et l'adaptabilité du matériel de formation qui l'accompagnent dans d'autres contextes.

Les critères d'examen des mesures / des évaluations décrivent les trois catégories selon lesquelles la bibliothèque des évaluations de l’INEE classe les mesures proposées en fonction de la qualité et des types de preuves de validité et de fiabilité disponibles : la jeune pousse, le jeune arbre et l'arbre adulte. 

Ces notes seront effectuées en tenant compte de l'objectif ou des objectifs proposés pour lesquels la mesure a été élaborée et évaluée. La rubrique psychométrique de la bibliothèque des évaluations est un guide à l'intention des développeurs et des examinateurs pour déterminer les types de preuves psychométriques qui conviennent à diverses fins.

Le processus d'évaluation et/ou les examinateurs du MLRG veillent au respect de ces besoins lorsqu'ils et elles évaluent chaque proposition. Par exemple, un outil soumis à l'évaluation de programmes devrait démontrer des preuves suffisantes de validité et de fiabilité à cette fin. Dans les cas où une évaluation peut être envisagée à des fins différentes avec des notes plus élevées compte tenu des données probantes, les examinateurs et les coprésidents du MLRG peuvent proposer des options pour que les développeurs afin que l’outil soit accepté pour une note plus faible aux fins proposées (par exemple, le bourgeon pour un suivi national) ; ou pour une note plus élevée avec une raison différente (par exemple, le jeune arbre, aux fins de l'évaluation formative) et de fournir des retours et des recommandations pour répondre aux critères pour chaque objectif.

Communication de la décision de l’examen

À l’issue de l’examen par le MLRG, l’INEE regroupera et communiquera les retours et les décisions du MLRG sur l’acceptation, les notes et les objectifs adéquats des outils d’évaluations ou de mesures en fournissant les preuves aux développeurs.

Révision et reconsidération : mesures acceptées

Avant qu'une proposition d’évaluation ne soit entièrement acceptée pour publication, le développeur est censé répondre aux commentaires et/ou questions soulevés dans le cadre du processus d'évaluation par des pairs et un retour sera fait au développeur par l’INEE. Selon la nature du retour, le rapport d'examen exposera l'une ou l'autre des options suivantes ou les deux pour y donner suite :

1. Réviser les outils d’évaluations et de mesures à publier dans le cadre de l’outil de notation établi par le MLRG

La première section du rapport d'examen décrit les révisions minimales et obligatoires à effectuer avant que l’outil d’évaluation ou de mesure soit pleinement accepté à la publication par le ML de l'INEE. Si le développeur choisit de procéder aux révisions pour atteindre la note et les fins recommandées par les évaluateurs, il aura 14 jours pour répondre aux commentaires des évaluateurs. Ces commentaires peuvent consister en :

• des renseignements supplémentaires et explications sur l’outil d'évaluation ou de mesure et/ou l'étude et les données probantes déjà présentées dans les outils et le rapport de preuve présenté.
• des révisions du matériel de formation présenté afin de permettre une meilleure utilisation et une adaptation de la formation en vue d'une utilisation future.

L'INEE et les coprésidents du MLRG examineront les documents révisés et publieront la proposition d’évaluation si les révisions sont satisfaisantes.

2. Proposer à nouveau l’outil d’évaluation ou de mesure afin d’obtenir une note supérieure, ou en modifier l’objectif

Si le MLRG considère que l’outil d’évaluation ou de mesure et les données probantes sont susceptibles d'être acceptés avec une note plus élevée et/ou pourraient être utilisés à des fins différentes si des données probantes et/ou des renseignements supplémentaires sont fournis, le MLRG fera des recommandations et des retours aux développeurs. Ces recommandations peuvent inclure (sans s'y limiter) :

• des données probantes supplémentaires de la fiabilité ou de la validité de la proposition, ou des deux.
• un matériel de formation supplémentaire qui serait en adéquation avec des données probantes supplémentaires et à d'autres objectifs.

Si le développeur souhaite que son outil soit réévalué pour une note plus élevée, il peut choisir de le proposer à nouveau à la réévaluation pour la prochaine étape du processus d'examen. Bien que le développeur ne soit pas obligé de répondre aux commentaires dans cette section pour que sa proposition d’outil d’évaluations ou de mesures soit publiée avec la note obtenue initialement, le choix de le faire nécessitera un nouvel envoi pour une réévaluation dans le cadre d'un processus d'évaluation par des pairs. Les reconsidérations aux fins de réévaluation sont acceptées lors des appels à propositions ultérieurs.

Le développeur peut également opter pour la première option, à savoir, procéder à la révision de sa proposition d’outils d’évaluations ou de mesures pour la note et les objectifs recommandés par les examinateurs en vue de la publication de l'outil dans la bibliothèque des évaluations, puis décider de présenter à nouveau la proposition avec des preuves et du matériel de formation supplémentaires pour une réévaluation de la note et/ou pour des objectifs différents.