Bibliothèque de l'évaluation

FAQ

Vous trouverez ci-dessous les réponses aux questions courantes à propos de la bibliothèque de l'évaluation. Pour plus de détails, contactez measurement-library@inee.org.

  1. Qu'est-ce que la Bibliothèque de mesures ?
  2. Pourquoi une ressource telle que la bibliothèque de mesures est-elle indispensable ?
  3. A quoi la Bibliothèque de l'évaluation 1.0 disponible en novembre 2019 donne-t-elle accès ?
  4. A qui s'adresse la Bibliothèque de l'évaluaton ? A quels types de professionnels peut-elle être utile ?
  5. Qui a élaboré la Bibliothèque de l'évaluation ?
  6. Dans quelle mesure les organisations ont-elles été impliquées dans la mise en forme du contenu de la phase initiale de la bibliothèque de mesures sélectionné pour ce projet ?
  7. Comment le consortium a-t-il déterminé quels outils inclure et analyser dans cette bibliothèque de mesures ?
  8. Je souhaite sélectionner une mesure à utiliser. Comment commencer ?
  9. Que faire dans le cas où les mesures contenues dans la bibliothèque ne reflètent pas ce que moi-même ou mon organisation veulent évaluer ?
  10. Que signifie « données de haute qualité » ?
  11. Comment déterminer si les données que je collecte sont de haute qualité ?
  12. Et si je souhaite adapter les mesures et le matériel d'orientation ?
  13. Que puis-je, ou mon organisation, faire pour soutenir la bibliothèque et accroître la base de preuves sur la validité et la fiabilité des outils de mesure ? Comment puis-je, ou mon organisation, soutenir une ressource telle que la bibliothèque?
  14. Comment peut-on améliorer la qualité des données ? La bibliothèque contient elles-même des évaluations et une variété d'autres outils. Pourquoi ?
  15. Pourquoi n'y-a-t ‘il pas davantage d'évaluations « prêtes à l'emploi » dans la bibliothèque ?
  16. Pourquoi est-il important que les évaluations répondent à une norme élevée de preuve, de validité et de fiabilité ?
  17. Pourquoi trouve-t-on des évaluations « à utiliser avec prudence » et « en cours d'élaboration » dans la bibliothèque de mesures du MENAT ?
  18. Il existe des évaluations pouvant être utilisées dans n'importe quel contexte et produisent des données fiables et valides. Pourquoi ne pas simplement en utiliser une ?
  19. Pourquoi mon nom et mon adresse email sont-ils requis pour télécharger une mesure ?
  1. Qu'est-ce que la Bibliothèque de mesures ?

    La bibliothèque de l'évaluation met à la disposition des parties prenantes ce dont elles ont besoin pour collecter les données qui les aideront à renforcer l'éducation et la protection des enfants et des jeunes en situations d'urgence. Dans sa phase actuelle, la bibliothèque contient des outils utiles à la collecte de données sur la qualité de la prestation de services et des résultats du développement holistique des enfants au sein de programmes spécifiques d'éducation et d'intervention psychosociale. Ces outils comprennent des mesures et des informations sur leurs propriétés psychométriques, des supports de formation et d'orientation.

    L'objectif de la bibliothèque est de devenir la pièce maîtresse d'une communauté solide en matière de méthodes de mesures du développement et de l'apprentissage chez l'enfant dans des situations d'urgence à travers le monde. Dans sa phase plus avancée, la bibliothèque de mesures a le potentiel d'inclure des évaluations développées et testées, ayant plusieurs objectifs et pouvant être utilisées dans plusieurs régions du monde : pour fournir des commentaires formateurs à un enfant, et évaluer la qualité de l'apprentissage au niveau national.

  2. Pourquoi une ressource telle que la bibliothèque de mesures est-elle indispensable ?

    Pour les éducateurs des enfants et des jeunes en situations de crise, le manque de données et de faits pour les orienter dans leurs prises de décision est un défi qui ne date pas d'hier. Cette lacune concerne les données et les faits relatifs à l'apprentissage des enfants, quelles compétences les enfants ont ou non maîtrisées, le besoin de soutiens spécifiques en matière d'éducation et de santé mentale, et si les programmes fonctionnent pour tous les bénéficiaires concernés. 

    Sans ces connaissances, les chercheurs, les praticiens et les donateurs s'appuient souvent sur leur intuition et leur instinct plutôt que sur des faits lorsqu'ils prennent des décisions quant à la conception et le financement des programmes visant à aider les enfants affectés par les conflits et les crises. La bibliothèque facilitera pour les éducateurs des enfants la collecte et l'interprétation des données utiles aux décisions relatives à la conception, aux politiques et au financement.

  3. A quoi la Bibliothèque de l'évaluation 1.0 disponible en novembre 2019 donne-t-elle accès ?

    Dans cette Bibliothèque de l'évaluation 1.0, vous trouverez des informations sur les mesures dans un des deux formats. Les mesures de consortium comprennent un ensemble complet de documents qui ont été examinés et approuvés. L'autre format concerne les mesures de recensement : ces mesures sont incluses parce-que nous savons qu'elles ont été utilisées dans le contexte du MENAT et peuvent être informatives ou intéressantes pour les utilisateurs. Les mesures de recensement n'ont pas subi le même processus d'évaluation que les mesures de consortium, et ne comprennent aucune série de documents. 

    Pour plus d'informations sur le contenu de la bibliothèque, consultez l'enregistrement et la présentation d'un webinaire organisé en novembre 2019.

    Mesures de Consortium

    Mesures ou évaluations de l'apprentissage et du développement holistique des enfants et de la qualité de prestation de services ayant été testées pour usage dans les contextes de crises dans la région du MENAT par les membres d' Evidence to Action : Education in Emergencies (3EA) MENAT Consortium. Les pages de renvoi des mesures individuelles peuvent comprendre :

    • La mesure elle-même dans la langue de l'administration ;
    • Un document de travail technique détaillant les preuves de la limite dans laquelle cette mesure fournit des données cohérentes (fiables) et significatives (valables) lorsqu'elle est utilisée dans l'objectif spécifié et dans le contexte spécifié ;
    • Des supports d'orientation pouvant être utilisés pour prendre des décisions sur la façon d'adapter la mesure et d'analyser les données obtenues ;
    • Des supports de formation élaborés pour aider les collecteurs de données à gérer la mesure. 

    Mesures de recensement

    Mesures ou évaluations d'apprentissage et de développement holistique des enfants ayant été utilisées au MENAT avant l'élaboration de cette bibliothèque. Cette feuille Excel comprend :

    • Une présentation approfondie des lieux et avec qui ces mesures ont été utilisées au MENAT ;
    • Citations d'articles de revues documentant le développement de mesures et/ou de processus de contrôle pouvant être recherchés indépendamment.
  4. A qui s'adresse la Bibliothèque de l'évaluaton ? A quels types de professionnels peut-elle être utile ?

    A chaque étape, la bibliothèque est et sera destinée à quiconque travaillant ou s'intéressant à l'éducation, à la protection, à la santé, à la sécurité et au bien-être des enfants et des jeunes en situations d'urgence. Durant sa phase initiale, la librairie s'adresse surtout aux chercheurs et aux praticiens dans le domaine de l'éducation dans la région du MENAT. Les praticiens de la région du MENAT la trouveront utile pour sélectionner, adapter et gérer les mesures utilisées pour le contrôle et l'évaluation de leurs programmes, faire le point avec les enfants et les prestataires de services et identifier les enfants ayant besoin de services spécifiques. Pour les chercheurs travaillant dans la région du MENAT, la phase initiale de la bibliothèque les aidera à mieux déterminer la qualité des données résultant de l'utilisation des mesures et à comprendre quelles mesures sont disponibles ou pertinentes dans la suite de la collecte de données. 

    Plus généralement, les praticiens, les décideurs et les chercheurs travaillant dans d'autres régions peuvent utiliser la bibliothèque pour voir les types et l'ampleur des mesures actuellement disponibles et pour les aider à identifier quelles mesures peuvent être adaptées au contexte dans lequel ils se trouvent. Pour ces parties prenantes, les itérations ultérieures de la bibliothèque comprendront à leur tour des informations concernant des mesures fiables et valables au-delà de la région du MENAT. Les donateurs engagés ou intéressés par l'éducation en situations de crise peuvent utiliser la bibliothèque pour voir quelles mesures peuvent ou non être utilisées et pour mieux comprendre ce qu'implique la collecte et l'analyse de données de haute qualité. Pour les donateurs, la bibliothèque viendra éclairer leurs prises de décisions relatives aux investissements dans les mesures et à l'analyse et l'utilisation des données.

  5. Qui a élaboré la Bibliothèque de l'évaluation ?

    La bibliothèque elle-même fut conçue par le Réseau inter-agences pour l'éducation en situations d'urgence (INEE), un réseau international d'ONG, de gouvernements, d'agences des Nations Unies, de donateurs, d'enseignants et autres parties prenantes travaillant pour sauvegarder le droit de chacun à une éducation sûre et de haute qualité dans des contextes de crise et de conflit.

  6. Dans quelle mesure les organisations ont-elles été impliquées dans la mise en forme du contenu de la phase initiale de la bibliothèque de mesures sélectionné pour ce projet ?

    Pour cette phase initiale, le contenu de la bibliothèque a été sélectionné et fourni par Evidence to Action : Education in Emergencies (3EA) MENAT Consortium. Le Consortium se compose de huit partenariats dans les domaines de la recherche, des pratiques et des politiques, travaillant à promouvoir l'apprentissage et le développement holistique des enfants et des jeunes dans des contextes de crise.

  7. Comment le consortium a-t-il déterminé quels outils inclure et analyser dans cette bibliothèque de mesures ?

    Le processus pour déterminer quels outils inclure et analyser dans la bibliothèque de mesures a été mené par le 3EA MENAT Consortium et convoqué par NYU Global TIES. La conception Web de la bibliothèque est le résultat d'une collaboration entre l'INEE, l'IRC et NYU. Un principe d'organisation orientant le processus pour décider du contenu de la bibliothèque tenait du désir de rassembler avec rigueur la collection de mesures la plus précise et la plus utile actuellement disponible dans le domaine de la protection et de l'éducation des enfants en situations d'urgence.

  8. Je souhaite sélectionner une mesure à utiliser. Comment commencer ?

    Avant de sélectionner quels autres outils utiliser dans la bibliothèque, nous encourageons vivement tous les utilisateurs à consulter le Guide des mesures. Ce guide vous aidera non seulement à déterminer les outils les mieux adaptés à l'étude que vous menez, mais aussi à mieux comprendre les autres questions que vous vous posez sur la conception et l'évaluation d'un programme, les processus de sélection et de diagnostic et l'élaboration de programmes.

  9. Que faire dans le cas où les mesures contenues dans la bibliothèque ne reflètent pas ce que moi-même ou mon organisation veulent évaluer ?

    Il est probable que la bibliothèque de l'évaluation ne contienne pas les outils précis dont vous avez besoin. Dans ce cas, nous vous encourageons à contacter directement les concepteurs de la bibliothèque via measurement.library@inee.org et faites-nous savoir quelle information vous recherchez et comment la bibliothèque pourrait mieux répondre aux besoins de votre organisation. Bien que nous ne garantissons pas être capables d'apporter une réponse adéquate à vos questions, les commentaires d'autres personnes et organisations travaillant dans cet espace sont toujours utiles et sont susceptibles d'améliorer les prochaines itérations de la bibliothèque de mesures du MENAT.

  10. Que signifie « données de haute qualité » ?

    Les données de haute qualité font référence à des données intégrales, cohérentes, valides, opportunes, vérifiées et exactes.

  11. Comment déterminer si les données que je collecte sont de haute qualité ?

    Avant d'utiliser les outils de la bibliothèque, assurez-vous d'examiner les preuves de validité et de fiabilité pour chaque outil, les informations relatives au contexte et à l'objectif d'un examen sur la page de renvoi de chaque mesure, et les supports de formation. Suivre les directives fournies permettra en retour d'assurer que les données que vous collectez sont fiables et valides, ce qui est un élément clé des données de « haute qualité. » Les données de haute qualité contiendront également un nombre minimum de valeurs manquantes et seront présentées de façon claire et cohérente.

  12. Et si je souhaite adapter les mesures et le matériel d'orientation ?

    Les documents de la bibliothèque de l'évaluation ont été soigneusement sélectionnés et validés pour garantir qu'ils soient aussi utiles et efficaces que possible. Bien que nous ne puissions garantir que la qualité des outils tels qu'ils sont présentés, nous apprécions que vous puissiez également les adapter à vos propres besoins. Cependant, toute utilisation d'une évaluation contenue dans la bibliothèque se détournant de l'utilisation clairement spécifiée dans la page de renvoi des mesures nécessite l'autorisation expresse du développeur de la mesure. 

    Pour l'adaptation des mesures et le matériel d'orientation, veuillez consulter le Guide des mesures.

  13. Que puis-je, ou mon organisation, faire pour soutenir la bibliothèque et accroître la base de preuves sur la validité et la fiabilité des outils de mesure ? Comment puis-je, ou mon organisation, soutenir une ressource telle que la bibliothèque?

    Le moyen le plus important et le plus utile pour soutenir la bibliothèque de l'évaluation est que vous et votre organisation partagiez les résultats et les données que vous rassemblez lorsque vous l'utilisez. Être à l'écoute des utilisateurs est un excellent moyen de garantir que les ressources contenues dans la bibliothèque soient utiles et pertinentes, et présentées de manière à respecter le temps et l'attention de l'utilisateur. Plus précisément, alors que nous entrons dans la deuxième version de la bibliothèque, le feedback de praticiens et de chercheurs quant à leur besoins et à l'utilité de la bibliothèque sera indispensable.

  14. Comment peut-on améliorer la qualité des données ? La bibliothèque contient elles-même des évaluations et une variété d'autres outils. Pourquoi ?

    Il ne suffit pas de mettre à disposition des outils pour évaluer l'apprentissage et le développement de l'enfant ; nous devons faire en sorte que ces praticiens, ces chercheurs et ces décideurs savent quels outils utiliser et comment les utiliser. Pour commencer, la bibliothèque de mesures 1.0 contient un guide de mesure pour aider les praticiens et les chercheurs à sélectionner, adapter, gérer et analyser les données résultant des évaluations. La bibliothèque de mesures 1.0 contient également d'autres supports de formation pour s'assurer que les mesures soient utilisées correctement et efficacement. Les données de haute qualité ne peuvent être obtenues que par le biais d'un processus précis et rigoureux ; la bibliothèque de mesures contient des ressources qui permettent de rendre possible ce type de processus. 

    Au fil du temps, les connaissances acquises grâce à l'utilisation répétée des différentes mesures contenues dans la bibliothèque fourniront une idée plus approfondie des mesures qui peuvent et doivent être utilisées plus largement. Cette utilisation répétée des mesures sur de longues périodes et dans des contextes distincts (régional, densité de la population, objectif de l'évaluation, etc.) conduira à une accumulation de preuves relatives à la fiabilité et à la validité de cette mesure en général. Développer une bibliothèque de mesures de la plus haute qualité fait appel à la création d'une communauté d'utilisateurs largement dispersés étant habilités et engagés à utiliser les mesures au fil du temps et faire un rapport détaillé sur tout ce qu'ils ont appris.

  15. Pourquoi n'y-a-t ‘il pas davantage d'évaluations « prêtes à l'emploi » dans la bibliothèque ?

    Les tests de mesures menés par le Consortium de mesures ont produit des résultats variés, avec suffisamment de preuves de validité et de fiabilité pour être désignés comme « prêts à l'emploi ». Il y a deux raisons principales à cela. D'abord, les mesures fortes ne sont pas créées instantanément. Elles sont développées et affinées au fil du temps à mesure que les preuves s'accumulent au cours de nouvelles études, dans des contextes différents ou pour des objectifs précis. Identifier des mesures plus fortes c'est comme essayer d'identifier quels programmes sont le mieux adaptés pour les enfants. Il est difficile de tirer des conclusions générales d'une ou de deux évaluations de programmes dans des contextes différents. Des douzaines d'essais sont nécessaires pour avoir la certitude que le programme fonctionne vraiment et obtient les résultats attendus.

    La même chose est vraie pour les mesures. Celles « prêtes à l'emploi » dans la bibliothèque de mesures ont progressé au rythme du processus d'évaluation et d'itération, ayant déjà été revues à plusieurs reprises auparavant. D'autres se trouvaient encore à un stade embryonnaire lorsque notre groupe s'est réuni.

    De plus, nous avons mis la barre très haute pour désigner des mesures comme « prêtes à l'emploi ». Pour satisfaire à cette norme, une mesure doit présenter une évidence de bonne à excellente de plusieurs types de fiabilité et de validité lorsqu'elle est testée dans un contexte donné. En outre, nous devons être certains de la stabilité des résultats ou que les résultats puissent être répliqués s'ils sont testés à nouveau avec le même échantillon.

    En savoir plus sur les critères d'examen des mesures de la bibliothèque de mesures.

  16. Pourquoi est-il important que les évaluations répondent à une norme élevée de preuve, de validité et de fiabilité ?

    Tout comme un thermomètre cassé ne vous dirait pas avec précision si vous êtes malade ou non et que vous devriez rester à la maison, une mesure donnant des résultats inexacts sur l’apprentissage et le développement des enfants ne peut être fiable et utilisée pour une bonne prise de décision. Les directeurs de programmes et les décideurs travaillant dans le contexte éducatif fonctionnent avec nombre de défis et un manque d'informations fiables et exploitables. Confrontés à des ressources limitées, ils ont besoin de mesures qu'ils savent pouvoir fournir des informations qui orienteront leurs efforts de la manière la plus productive possible.

  17. Pourquoi trouve-t-on des évaluations « à utiliser avec prudence » et « en cours d'élaboration » dans la bibliothèque de mesures du MENAT ?

    Il est crucial que les informations générées par les mesures dans la bibliothèque répondent à un taux élevé de fiabilité et de validité. Il est également important d'être sincère et transparent à propos de mesures qui n'ont jusque-là que des preuves contradictoires ou moindres de fiabilité et de viabilité pour la situation dans laquelle elles ont été testées. En fin de compte, même si les résultats ne sont pas aussi simples qu'escomptés, nous pouvons apprendre des choses importantes sur la mesure en cours d'évaluation et comment la réviser pour la prochaine itération. Nous voyons ce gain de connaissances comme une opportunité et non pas une perte.

    En même temps, nous reconnaissons qu'il existe un risque énorme à utiliser des mesures fournissant des informations inexactes. Ce risque souligne l'importance de la transparence. Si nous refusons d'exagérer nos mérites ou de contourner les faits gênants appris en cours de route, nous protégeons, en fin de compte, la crédibilité de cette initiative et garantissons que le temps et les ressources ne sont pas gaspillés sur des voies improductives.

  18. Il existe des évaluations pouvant être utilisées dans n'importe quel contexte et produisent des données fiables et valides. Pourquoi ne pas simplement en utiliser une ?

    Alors que les aidants, les enseignants et les décideurs dans tous les contextes conviennent généralement des aptitudes et des compétences critiques à la réussite à long terme des enfants, la manière dont de telles compétences sont nommées, définies, exprimées, opérationnalisées et/ou hiérarchisées diffère selon le contexte. C'est pourquoi nous recommandons que les évaluations soient toujours, au minimum, adaptées pour être utilisées dans un nouveau contexte. La mesure devrait également être testée à nouveau pour évaluer les preuves à utiliser dans une nouvelle situation et un nouveau contexte, et les résultats de l'adaptation partagés pour promouvoir un apprentissage partagé.

  19. Pourquoi mon nom et mon adresse email sont-ils requis pour télécharger une mesure ?

    Pour que les évaluations contenues dans la bibliothèque soient accessibles au public, nous demandons aux usagers de lire et d'accepter les termes énoncés sur la page de renvoi de ladite évaluation. Cela garantit que toutes les évaluations de la bibliothèque seront utilisées correctement et dans le but approprié.

    Si vous avez des questions au sujet de la bibliothèque, ses ressources ou ces termes et conditions, veuillez nous contacter via measurement.library@inee.org.

La bibliothèque de l'évaluation est une collection d'outils de mesures visant à évaluer l'apprentissage et le développement holistique des enfants ainsi que la qualité des prestataires de services dans des situations de crise.