Proceso de revisión, corrección y nueva presentación de medidas

Revisión de medidas

Todas las propuestas son revisadas inicialmente por la Secretaría de la INEE para garantizar que están completas y cumplen los requisitos de presentación, antes de ser enviadas a los revisores. Si faltan datos necesarios, la Secretaría de la INEE puede ponerse en contacto con los desarrolladores para pedirles que compartan esta información. No se examinarán las solicitudes incompletas, si no se vuelven a presentar a tiempo los materiales requeridos. A continuación, la INEE comparte las medidas presentadas con los miembros del Grupo de Referencia de la biblioteca de medidas (MLRG, por sus siglas en inglés) de la INEE para su evaluación por expertos. El MLRG de la INEE está formado por expertos independientes en medición que ofrecen voluntariamente su tiempo, cada dos años, para apoyar un riguroso proceso de revisión por expertos. Cada herramienta se somete a la evaluación de cuatro revisores: dos expertos en psicometría para evaluar las propiedades psicométricas de la medida, y dos expertos sobre el terreno para evaluar la facilidad de uso y la adaptabilidad de los materiales de capacitación que la acompañan a otros contextos o entornos.

Los criterios de revisión de medidas describen las tres clasificaciones mediante las cuales la Biblioteca de medidas de la INEE clasifica las medidas presentadas, en función de la calidad y los tipos de pruebas de validez y fiabilidad disponibles: el semillero, el árbol joven y el árbol adulto. 

Estas clasificaciones se realizarán teniendo en cuenta los objetivos propuestos para las que se desarrolló y evaluó la medida. El apartado psicométrico de la Biblioteca de medidas es una guía, tanto para los desarrolladores como para los revisores, para determinar los tipos de evidencias psicométricas adecuadas para distintos propósitos.

El proceso de revisión y/o los revisores del MLRG garantizan el cumplimiento de estos requisitos al evaluar cada presentación. Por ejemplo, una herramienta presentada para la evaluación de un programa debe demostrar tipos aceptables de evidencias de validez y fiabilidad para dicho fin. En los casos en que una medida pueda ser considerada para un propósito diferente con una clasificación mas alta en base a las evidencias, los revisores y los copresidentes del MLRG pueden decidir proporcionar opciones para que los desarrolladores sean aceptados para una clasificación más baja para el propósito propuesto (por ejemplo, semillero para los propósitos de monitoreo nacional); o para una clasificación más alta con un propósito diferente (por ejemplo, árbol joven para los propósitos de evaluación formativa) y proporcionar retroalimentación y recomendaciones para cumplir con los criterios para cada propósito.

Comunicación de la decisión de la revisión

Una vez finalizada la revisión por parte del MLRG, la INEE consolidará y comunicará a los desarrolladores la retroalimentación y las decisiones del grupo sobre la aceptación, las clasificaciones y los propósitos adecuados de la medida evidenciada. 

Corrección y nueva presentación: Medidas aceptadas

Antes de que una medida sea totalmente aceptada para su publicación, se espera que el desarrollador aborde los comentarios y/o preocupaciones planteados a través del proceso de revisión por pares, y posteriormente sean comunicados de nuevo a los desarrolladores por parte de la INEE. Dependiendo de la naturaleza de la retroalimentación, el informe de revisión indicará una o ambas de las siguientes opciones.

1. Modificar la medida para que se publique dentro de la clasificación de la herramienta otorgada por el MLRG

La primera sección del informe de revisión describe las modificaciones mínimas y obligatorias que deben realizarse, antes de que la medida sea plenamente aceptada por la Biblioteca de medidas de la INEE para su publicación. Si el desarrollador decide seguir adelante con las revisiones para la clasificación y el(los) objetivo(s) recomendado(s) por los revisores, dispondrá de 14 días para responder a los comentarios de los revisores. Estos comentarios pueden consistir en:

• Información y explicación adicional sobre la medida y/o el estudio y las evidencias ya presentadas en el informe de herramientas y pruebas remitido.
• Revisiones de los materiales de capacitación presentados que permitan una mejor utilización y adaptación de la formación para usos futuros.

La INEE y los colíderes del MLRG examinarán los materiales revisados y procederán a publicar la medida, si las revisiones son satisfactorias.

2. Volver a presentar la medida para su reevaluación, a fin de que se considere una clasificación más alta o para un propósito diferente

En el caso de que el MLRG considere que la medida y las evidencias tienen potencial para ser aceptadas con una clasificación más alta y/o podrían ser utilizadas para un propósito diferente si se aportan evidencias y/o información adicionales, el MLRG proporcionará recomendaciones opcionales y comentarios para que los desarrolladores los tengan en cuenta. Estas recomendaciones pueden incluir (pero no se limitan a): 

• Evidencias adicionales de la fiabilidad o validez de la medida, o de ambas.
• Materiales de capacitación adicionales que se ajustarían a la evidencia adicional y a otros objetivos.

Si el desarrollador desea que su herramienta vuelva a ser considerada para una clasificación más alta, puede optar por volver a presentar la herramienta para su reevaluación en la siguiente ronda del proceso de revisión. Aunque el desarrollador no está obligado a responder a los comentarios de esta sección para que la medida se publique con la clasificación dada, si decide hacerlo tendrá que volver a presentarla para su reevaluación mediante un proceso de revisión por pares. En la siguiente convocatoria de la Biblioteca de medidas se aceptarán nuevos envíos para su reevaluación.

También es posible que el desarrollador proceda con la primera opción de modificar la medida para la clasificación y objetivo(s) recomendado(s) por los revisores para publicar la herramienta en la Biblioteca de medidas y luego, más adelante, decidir volver a presentar la medida con evidencias adicionales y materiales de capacitación para la reevaluación de una clasificación más alta y/o para propósitos diferentes.