Categorias de ferramentas de medição

É possível observar que, na Measurement Library, cada métrica é categorizada por uma de três ilustrações: uma árvore com frutos, uma árvore jovem ou uma semente em germinação.

Há uma série de evidências disponíveis sobre a fiabilidade e validade de cada medida e reconhecemos que essas evidências podem ser difíceis de interpretar. A fiabilidade refere-se ao grau de consistência e de precisão das pontuações atribuídas pelas medidas. A validade refere-se à forma como as evidências sobre as medidas apoiam as utilizações previstas e a interpretação de seus resultados. A evidência de validade deve indicar se a medida capta a construção adequada e hipotética que pretende avaliar, para os fins pretendidos. Diferentes objetivos podem exigir diferentes tipos e níveis de robustez de evidências de fiabilidade e validade. As categorias de classificação – germinação, árvores jovens e árvores adultas, com fruto – destinam-se a ilustrar a extensão das evidências até o momento e o quão confiantes estamos de que a medida pode ser usada no contexto específico e para o objetivo definido a fim de fornecer dados de alta qualidade.

A classificação de “árvore adulta” indica uma medida que tem fortes evidências de validade, incluindo objetivos claramente definidos e evidências de pontuações fiáveis para o objetivo, a utilização e o contexto especificados. A classificação de “árvore jovem” indica uma medida que apresenta evidências promissoras de validade e fiabilidade, mas que requer mais evidências, revisões e testes para que possa ser reproduzida e utilizada em outras amostras/contextos para o fim a que se destina. A “germinação” significa que a medida está a ser desenvolvida, e ainda não está pronta para a utilização pretendida.

A classificação “germinação” é atribuída quando as evidências atuais de fiabilidade e validade não são suficientes para sugerir que a medida está pronta para ser utilizada para o(s) objetivo(s) pretendido(s). Dada a conceção da amostra, o tamanho da amostra e o rigor do método psicométrico, há incerteza quanto à replicabilidade e/ou à exatidão das evidências se forem testadas com uma amostra semelhante. Nesse caso, a Measurement Library publicará o relatório de evidências, mas não partilhará as ferramentas nem os materiais de formação. A Measurement Library também fornecerá informações de contato das pessoas que desenvolveram a medida, caso alguma parte interessada queira contactá-las/os para utilização e adaptação da ferramenta.

A classificação “árvore jovem” é atribuída quando existem evidências promissoras de fiabilidade e validade de que a medida está pronta para ser usada para o(s) fim(es) pretendido(s) com amostras/contextos semelhantes. Dada a conceção da amostra, o tamanho da amostra e o rigor do método psicométrico, há alguma confiança na replicabilidade e/ou precisão das evidências se testadas com uma amostra semelhante. São apresentadas recomendações para revisões e encorajamos a realização de testes adicionais da medida e a partilha dos resultados. A Measurement Library publicará o pacote completo da medida, que incluirá a ferramenta de medição, o relatório de evidências e os materiais de formação que a acompanham.

A classificação de “árvore adulta” é atribuída quando há fortes evidências da fiabilidade e da validade da medida para os fins pretendidos, e a medida está pronta para ser utilizada com adaptação em novos contextos ou novas amostras. Dada a conceção da amostra, o tamanho da amostra e o rigor do método psicométrico, temos um elevado nível de confiança na qualidade das evidências e na sua replicação bem-sucedida para os fins pretendidos. As recomendações para revisões mais simples são fornecidas para utilização em um contexto semelhante e com o mesmo objetivo. Para ser utilizada em um novo contexto ou para um novo objetivo, a métrica deve ser adaptada, testada e confirmada quanto à sua evidência psicométrica com novas amostras, novos contextos ou  novos objetivos. Neste caso, encorajamos que as evidências e a adaptação específica que foi feita sejam partilhadas com a Measurement Library da INEE,. Os recursos serão, então, avaliados quanto à qualidade das evidências para nova amostra, novo contexto, novo objetivo e novo processo de adaptação, podendo ser publicada na Measurement Library. Para essa classificação, a Measurement Library publicará o pacote completo da medida que inclui a ferramenta de medição, o relatório de evidências e os materiais de formação que a acompanham.