Questions fréquentes

La bibliothèque de l'évaluation met à la disposition des parties prenantes ce dont elles ont besoin pour collecter les données qui les aideront à renforcer l'éducation et la protection des enfants et des jeunes en situations d'urgence. Dans sa phase actuelle, la bibliothèque contient des outils utiles à la collecte de données sur la qualité de la prestation de services et des résultats du développement holistique des enfants au sein de programmes spécifiques d'éducation et d'intervention psychosociale. Ces outils comprennent des mesures et des informations sur leurs propriétés psychométriques, des supports de formation et d'orientation.

Pour les éducateurs des enfants et des jeunes en situations de crise, le manque de données et de faits pour les orienter dans leurs prises de décision est un défi qui ne date pas d'hier. Cette lacune concerne les données et les faits relatifs à l'apprentissage des enfants, quelles compétences les enfants ont ou non maîtrisées, le besoin de soutiens spécifiques en matière d'éducation et de santé mentale, et si les programmes fonctionnent pour tous les bénéficiaires concernés. 

Sans ces connaissances, les chercheurs, les praticiens et les donateurs s'appuient souvent sur leur intuition et leur instinct plutôt que sur des faits lorsqu'ils prennent des décisions quant à la conception et le financement des programmes visant à aider les enfants affectés par les conflits et les crises. La bibliothèque facilitera pour les éducateurs des enfants la collecte et l'interprétation des données utiles aux décisions relatives à la conception, aux politiques et au financement.

A chaque étape, la bibliothèque est et sera destinée à quiconque travaillant ou s'intéressant à l'éducation, à la protection, à la santé, à la sécurité et au bien-être des enfants et des jeunes en situations d'urgence. Durant sa phase initiale, la librairie s'adresse surtout aux chercheurs et aux praticiens dans le domaine de l'éducation dans la région du MENAT. Les praticiens de la région du MENAT la trouveront utile pour sélectionner, adapter et gérer les mesures utilisées pour le contrôle et l'évaluation de leurs programmes, faire le point avec les enfants et les prestataires de services et identifier les enfants ayant besoin de services spécifiques. Pour les chercheurs travaillant dans la région du MENAT, la phase initiale de la bibliothèque les aidera à mieux déterminer la qualité des données résultant de l'utilisation des mesures et à comprendre quelles mesures sont disponibles ou pertinentes dans la suite de la collecte de données. 

Plus généralement, les praticiens, les décideurs et les chercheurs travaillant dans d'autres régions peuvent utiliser la bibliothèque pour voir les types et l'ampleur des mesures actuellement disponibles et pour les aider à identifier quelles mesures peuvent être adaptées au contexte dans lequel ils se trouvent. Pour ces parties prenantes, les itérations ultérieures de la bibliothèque comprendront à leur tour des informations concernant des mesures fiables et valables au-delà de la région du MENAT. Les donateurs engagés ou intéressés par l'éducation en situations de crise peuvent utiliser la bibliothèque pour voir quelles mesures peuvent ou non être utilisées et pour mieux comprendre ce qu'implique la collecte et l'analyse de données de haute qualité. Pour les donateurs, la bibliothèque viendra éclairer leurs prises de décisions relatives aux investissements dans les mesures et à l'analyse et l'utilisation des données.

Pour cette phase initiale, le contenu de la bibliothèque a été sélectionné et fourni par Evidence to Action : Education in Emergencies (3EA) MENAT Consortium.

The INEE Measurement Library Reference Group (MLRG) supports the continued building of the library by providing technical knowledge and input during various steps of the project. Specifically, the MLRG encourages submission of and review (1) additional measurement tools and user-centred guidance materials to be added to the Measurement Library, as well as (2) informational materials provided to end-users on measure purpose and level of reliability and validity. 

The 24 members of the MLRG come from 20 different organizations/ institutions and 16 different countries.

Avant de sélectionner quels autres outils utiliser dans la bibliothèque, nous encourageons vivement tous les utilisateurs à consulter le Guide des mesures. Ce guide vous aidera non seulement à déterminer les outils les mieux adaptés à l'étude que vous menez, mais aussi à mieux comprendre les autres questions que vous vous posez sur la conception et l'évaluation d'un programme, les processus de sélection et de diagnostic et l'élaboration de programmes.

Il est probable que la bibliothèque de l'évaluation ne contienne pas les outils précis dont vous avez besoin. Dans ce cas, nous vous encourageons à contacter directement les concepteurs de la bibliothèque via measurement.library@inee.org et faites-nous savoir quelle information vous recherchez et comment la bibliothèque pourrait mieux répondre aux besoins de votre organisation. Bien que nous ne garantissons pas être capables d'apporter une réponse adéquate à vos questions, les commentaires d'autres personnes et organisations travaillant dans cet espace sont toujours utiles et sont susceptibles d'améliorer les prochaines itérations de la bibliothèque d'évaluation.

Les données de haute qualité font référence à des données intégrales, cohérentes, valides, opportunes, vérifiées et exactes.

Avant d'utiliser les outils de la bibliothèque, assurez-vous d'examiner les preuves de validité et de fiabilité pour chaque outil, les informations relatives au contexte et à l'objectif d'un examen sur la page de renvoi de chaque mesure, et les supports de formation. Suivre les directives fournies permettra en retour d'assurer que les données que vous collectez sont fiables et valides, ce qui est un élément clé des données de « haute qualité. » Les données de haute qualité contiendront également un nombre minimum de valeurs manquantes et seront présentées de façon claire et cohérente.

Les documents de la bibliothèque de l'évaluation ont été soigneusement sélectionnés et validés pour garantir qu'ils soient aussi utiles et efficaces que possible. Bien que nous ne puissions garantir que la qualité des outils tels qu'ils sont présentés, nous apprécions que vous puissiez également les adapter à vos propres besoins. Cependant, toute utilisation d'une évaluation contenue dans la bibliothèque se détournant de l'utilisation clairement spécifiée dans la page de renvoi des mesures nécessite l'autorisation expresse du développeur de la mesure. 

Pour l'adaptation des mesures et le matériel d'orientation, veuillez consulter le Guide des mesures.

Il ne suffit pas de mettre à disposition des outils pour évaluer l'apprentissage et le développement de l'enfant ; nous devons faire en sorte que ces praticiens, ces chercheurs et ces décideurs savent quels outils utiliser et comment les utiliser. Pour commencer, la bibliothèque d'évaluation 1.0 contient un guide de mesure pour aider les praticiens et les chercheurs à sélectionner, adapter, gérer et analyser les données résultant des évaluations. La bibliothèque d'évaluation 1.0 contient également d'autres supports de formation pour s'assurer que les mesures soient utilisées correctement et efficacement. Les données de haute qualité ne peuvent être obtenues que par le biais d'un processus précis et rigoureux ; la bibliothèque d'évaluation contient des ressources qui permettent de rendre possible ce type de processus. 

Au fil du temps, les connaissances acquises grâce à l'utilisation répétée des différentes mesures contenues dans la bibliothèque fourniront une idée plus approfondie des mesures qui peuvent et doivent être utilisées plus largement. Cette utilisation répétée des mesures sur de longues périodes et dans des contextes distincts (régional, densité de la population, objectif de l'évaluation, etc.) conduira à une accumulation de preuves relatives à la fiabilité et à la validité de cette mesure en général. Développer une bibliothèque d'évaluation de la plus haute qualité fait appel à la création d'une communauté d'utilisateurs largement dispersés étant habilités et engagés à utiliser les mesures au fil du temps et faire un rapport détaillé sur tout ce qu'ils ont appris.

Les tests de mesures menés par le Consortium de mesures ont produit des résultats variés, avec suffisamment de preuves de validité et de fiabilité pour être désignés comme « prêts à l'emploi ». Il y a deux raisons principales à cela. D'abord, les mesures fortes ne sont pas créées instantanément. Elles sont développées et affinées au fil du temps à mesure que les preuves s'accumulent au cours de nouvelles études, dans des contextes différents ou pour des objectifs précis. Identifier des mesures plus fortes c'est comme essayer d'identifier quels programmes sont le mieux adaptés pour les enfants. Il est difficile de tirer des conclusions générales d'une ou de deux évaluations de programmes dans des contextes différents. Des douzaines d'essais sont nécessaires pour avoir la certitude que le programme fonctionne vraiment et obtient les résultats attendus.

La même chose est vraie pour les mesures. Celles « prêtes à l'emploi » dans la bibliothèque d'évaluation ont progressé au rythme du processus d'évaluation et d'itération, ayant déjà été revues à plusieurs reprises auparavant. D'autres se trouvaient encore à un stade embryonnaire lorsque notre groupe s'est réuni.

De plus, nous avons mis la barre très haute pour désigner des mesures comme « prêtes à l'emploi ». Pour satisfaire à cette norme, une mesure doit présenter une évidence de bonne à excellente de plusieurs types de fiabilité et de validité lorsqu'elle est testée dans un contexte donné. En outre, nous devons être certains de la stabilité des résultats ou que les résultats puissent être répliqués s'ils sont testés à nouveau avec le même échantillon.

En savoir plus sur les critères d'examen des mesures de la bibliothèque d'évaluation.

Alors que les aidants, les enseignants et les décideurs dans tous les contextes conviennent généralement des aptitudes et des compétences critiques à la réussite à long terme des enfants, la manière dont de telles compétences sont nommées, définies, exprimées, opérationnalisées et/ou hiérarchisées diffère selon le contexte. C'est pourquoi nous recommandons que les évaluations soient toujours, au minimum, adaptées pour être utilisées dans un nouveau contexte. La mesure devrait également être testée à nouveau pour évaluer les preuves à utiliser dans une nouvelle situation et un nouveau contexte, et les résultats de l'adaptation partagés pour promouvoir un apprentissage partagé.

Il est crucial que les informations générées par les mesures dans la bibliothèque répondent à un taux élevé de fiabilité et de validité. Il est également important d'être sincère et transparent à propos de mesures qui n'ont jusque-là que des preuves contradictoires ou moindres de fiabilité et de viabilité pour la situation dans laquelle elles ont été testées. En fin de compte, même si les résultats ne sont pas aussi simples qu'escomptés, nous pouvons apprendre des choses importantes sur la mesure en cours d'évaluation et comment la réviser pour la prochaine itération. Nous voyons ce gain de connaissances comme une opportunité et non pas une perte.

En même temps, nous reconnaissons qu'il existe un risque énorme à utiliser des mesures fournissant des informations inexactes. Ce risque souligne l'importance de la transparence. Si nous refusons d'exagérer nos mérites ou de contourner les faits gênants appris en cours de route, nous protégeons, en fin de compte, la crédibilité de cette initiative et garantissons que le temps et les ressources ne sont pas gaspillés sur des voies improductives.