Evaluación de los resultados del aprendizaje holístico: Nuevas herramientas en la Biblioteca de Medidas de la INEE
Acerca de la Biblioteca de Medidas
La Biblioteca de Medidas de la INEE es una colección de herramientas de medición para evaluar el aprendizaje y desarrollo holístico de los niños y las niñas en contextos de bajos recursos y crisis. El objetivo de estas herramientas es ayudar a los investigadores y profesionales de la educación a generar datos y evidencias de alta calidad que sirvan de base para la planificación y el desarrollo de programas. Como repositorio único y de libre acceso de medidas validadas contextualmente, la Biblioteca de Medidas pretende mejorar la precisión, así como la medición y evaluación de los resultados del aprendizaje en el sector de la Educación en Situaciones de Emergencia (EeE).
Desde su creación en 2019, la Biblioteca de Medidas ha continuado expandiéndose gradualmente y ha publicado acumulativamente 31 medidas revisadas por pares en diferentes contextos de EeE. Sigue existiendo una necesidad crítica de contar con herramientas de medición más accesibles que hayan sido probadas con datos del sector global de la educación en situaciones de emergencia. La INEE se complace en destacar las siguientes nuevas herramientas recientemente añadidas a la biblioteca:
La medida de observación del profesorado en el aula (TCO)
Autores: Autumn Brown y Jeongmin Lee
Editor: International Rescue Committee (IRC)
La gran mayoría de las intervenciones educativas en situaciones de emergencia destinadas a mejorar los resultados de aprendizaje de los niños y las niñas se potencian a través de inversiones para el apoyo y la formación de docentes. Sin embargo, a pesar de estas inversiones y del papel central que desempeñan los docentes, pocos recopilan datos de alta calidad sobre las prácticas en el aula. ¿Por qué? Porque medir con precisión la calidad de la práctica de los docentes es extremadamente difícil, incluso en entornos con muchos recursos. Si a esto le añadimos unos ciclos de proyecto cortos y unos presupuestos ajustados, típicos de las respuestas de emergencias, la tarea se vuelve casi imposible.
En 2016, el equipo de educación del Comité Internacional de Rescate (IRC) se propuso desarrollar un método riguroso para medir la calidad de las aulas y las prácticas docentes de forma rápida y con recursos limitados. Analizamos las numerosas herramientas de observación que ya se utilizaban en los programas del IRC y fusionamos las mejores partes en un instrumento optimizado que se ajustaba a nuestro plan de estudios de Teaching in a Healing Classroom (Enseñanza en un aula sanadora), y así nació la herramienta de Observación del profesorado en el aula (TCO, por sus siglas en inglés).
Cuando empezamos a implantar la TCO, las primeras reacciones fueron claras: las observaciones en el aula eran confusas, demasiado técnicas y, sencillamente, excesivas. Sabíamos que el material de formación era tan importante como el propio instrumento, así que contratamos a un diseñador centrado en el usuario para perfeccionar nuestro enfoque y hacer el proceso fácil y accesible.
¿El resultado? Una formación renovada, atractiva y breve. Introdujimos vídeos para que los evaluadores los vieran y puntuaran juntos, lo que nos permitió comprobar la fiabilidad entre evaluadores en tiempo real. También añadimos actividades interactivas para ayudar a los participantes a familiarizarse rápidamente con los elementos de la herramienta, a la vez que se les educaba sobre los sesgos cognitivos y la importancia de la imparcialidad durante las observaciones.
¿El producto final? Una formación concisa de 2,5 días y una herramienta de observación de 22 ítems centrada en cuatro constructos clave: Tiempo en la tarea, práctica docente, gestión de aulas y apoyo emocional.
Tras dos años de ensayo y error en distintos continentes, llegó el momento de poner a prueba nuestros materiales. En el campo de refugiados de Nyarugusu, en Tanzania, formamos a nueve encuestadores (todos ellos refugiados del campo) y seleccionamos a seis de los mejores por su precisión en las calificaciones prácticas. Posteriormente estos evaluadores observaron a 150 docentes seleccionados al azar, trabajando en parejas para garantizar una puntuación coherente y calcular la fiabilidad entre evaluadores.
Los resultados fueron prometedores. La herramienta de Observación del Profesorado en el Aula (TCO) mostró altos niveles de fiabilidad entre evaluadores, fiabilidad compuesta y validez de constructo en tres de los cuatro constructos clave: Prácticas docentes, gestión de aulas y apoyo emocional. Dos ítems - "Conexión con la vida de los estudiantes" y "Utilización del espacio del aula"- no obtuvieron los resultados esperados y se eliminaron del instrumento final.
¿Qué significa esto? El TCO, combinado con sus materiales de formación optimizados, ofrece una forma rápida y fiable de medir la calidad de la enseñanza en entornos frágiles y de escasos recursos. Aunque es una herramienta excelente para el monitoreo y la evaluación, los investigadores que tengan previsto utilizarla en estudios más rigurosos deberán repetir las pruebas psicométricas para garantizar su validez en nuevos contextos.
Aunque los ítems de la TCO no se ajusten a las necesidades de sus intervenciones, animamos a los profesionales e investigadores a que tomen y adapten nuestros métodos y materiales de formación.
Si desea profundizar en el proceso de desarrollo y las propiedades psicométricas del TCO, consulte los detalles completos [aquí]
Evaluación de las competencias sociales y emocionales (SECA)
Autora: Alison Joyner
Editor: Instituto de Educación, University College London
La Evaluación de la competencia social y emocional (SECA, por sus siglas en inglés) fue desarrollada por docentes para docentes. Responde a la necesidad de una evaluación dirigida por docentes del aprendizaje social y emocional de los niños y las niñas en tiempo real, para apoyar una enseñanza y un aprendizaje holístico y centrado en el estudiante. La herramienta proporciona cinco preguntas para medir cada una de las cuatro competencias del Plan de Estudios Basado en Competencias de Kenia (KCBC, por sus siglas en inglés): Autoeficacia, comunicación y colaboración, pensamiento crítico y resolución de problemas, y aprender a aprender.
En una pequeña escuela primaria rural de la costa de Kenia, con electricidad pero sin wifi, poco espacio en las aulas y escasez de pupitres y libros, tres docentes que lidiaban con las exigencias de la enseñanza del KCBC trabajaron juntos en un proceso de investigación-acción. Durante tres meses probaron actividades para ayudar a desarrollar las habilidades sociales y emocionales de sus estudiantes. Dejaron constancia de su alegría, por ejemplo, al ver cómo se generaba colaboración y comunicación a través de un proyecto de matemáticas para crear un mapa del pueblo en el suelo arenoso del patio de la escuela. Les inspiró descubrir que estimular la curiosidad de los estudiantes es la base del pensamiento crítico y la resolución de problemas.
El uso de la herramienta para medir este aprendizaje confirmó las observaciones de los docentes. La evaluación de 187 estudiantes individuales (el 47% de ellos niñas) de los cursos 1º a 3º mostró un progreso significativo en la demostración de comportamientos que desarrollan las competencias por parte de los estudiantes: entre el 14% y el 25% en las cuatro competencias. Las correlaciones significativas entre las puntuaciones de las competencias individuales mostraron la interconexión entre ellas: si una competencia se desarrolla, también lo harán las demás. Esto significa que los docentes pueden centrarse en una competencia cada vez, pero sin dejar de mejorar las capacidades generales. Tal vez lo más importante para los padres y las madres y para los gobiernos sea que los resultados mostraron que unas competencias sociales y emocionales sólidas favorecen mejores resultados en lectura y matemáticas. Se observaron correlaciones significativas entre los resultados de los estudiantes de 3º curso en lectura y matemáticas y sus puntuaciones en autoeficacia, comunicación y colaboración, pensamiento crítico y resolución de problemas.
La SECA adapta la Escala de Evaluación de la Competencia Social y Emocional de Padres/Madres y Docentes desarrollada en Mtwara (Tanzania) por RTI International. Responde a la recomendación de los creadores de la herramienta de investigar más a fondo las competencias sociales y emocionales que ayudan a los niños y las niñas a tener éxito en la escuela en las comunidades agrícolas de subsistencia. Dado el creciente número de planes de estudios basados en competencias en todo el mundo, la pertinencia de la herramienta SECA va más allá del contexto específico. Es una importante incorporación a la caja de herramientas de evaluación formativa que los docentes necesitan para ayudarles a diseñar y adaptar su enseñanza a fin de satisfacer las necesidades y aptitudes sociales y emocionales de todos los estudiantes, y apoyar así su aprendizaje general. Tiene potencial para integrarse en el desarrollo profesional del los docentes en Kenia y más allá. Concisa y fácil de usar, la herramienta podría digitalizarse fácilmente para facilitar a los docentes la recogida de datos y la interpretación de los resultados.
En los próximos pasos, la herramienta deberá seguir utilizándose y analizándose con muestras más grandes. Póngase en contacto con ([email protected]) si desea contribuir a una contextualización y uso más amplios de esta herramienta, que aporta una pequeña pieza al rompecabezas de la consecución de un aprendizaje inclusivo de calidad en todas partes
Las cuatro escalas que miden el bienestar docente
Autores: Idalia Rodriguez Morales, Jorge Mahecha, y Silvia Diazgranados Ferrans
Editor: International Rescue Committee (IRC)
Los docentes son el factor escolar más importante que contribuye al aprendizaje, el bienestar y el desarrollo de los estudiantes. Comprender el bienestar docente es fundamental para garantizar una educación de calidad. Sin embargo, existen muy pocas escalas, por no decir ninguna, para evaluar el bienestar de los docentes. Esta necesidad es especialmente importante en contextos de emergencia, en los que los docentes están sujetos a retos emocionales, de recursos y logísticos particulares. El IRC recopiló los datos utilizados en este estudio en abril y mayo de 2019 como parte de un estudio sobre un programa de tutoría para niños y niñas con bajo rendimiento en el noreste de Nigeria. El programa fue aplicado por docentes de escuelas públicas que trabajaban como tutores en un programa extraescolar en el noreste de Nigeria.
Las escalas se desarrollaron para docentes en contextos de emergencia. Realizamos una revisión exhaustiva de los factores que afectan al bienestar docente y de las herramientas existentes para medirlos. Esta revisión proporcionó una comprensión inicial de la serie de factores relacionados con el bienestar docente, a partir de la cual los equipos del país y del programa llevaron a cabo un ejercicio conjunto de priorización y seleccionaron la autoeficacia, la satisfacción laboral, el agotamiento y la depresión como dimensiones destacadas y apropiadas del mismo. También incluimos tres escalas adicionales: experiencia en coaching, apoyo social y colaboración, y barreras de enseñanza para comprobar la validez concurrente.
El objetivo de este estudio era evaluar las propiedades psicométricas y las pruebas de validez y fiabilidad de cuatro escalas diferentes de bienestar de los docentes en situaciones de crisis. En concreto, pretendíamos examinar si las escalas captaban la variación en los distintos aspectos del bienestar docente, si eran fiables y si existían patrones de datos que pudieran ser de interés para futuros ejercicios de recopilación de datos. Además, buscamos pruebas de validez de constructo, convergente, discriminante y concurrente.
Encontramos pruebas de fiabilidad para las cuatro escalas que miden aspectos del bienestar docente, con valores alfa de Cronbach superiores a 0,90. También encontramos patrones de distribución sesgados en las puntuaciones de las escalas que podrían interpretarse como una tendencia en los encuestados a proporcionar respuestas socialmente deseables (es decir, estrés muy bajo, satisfacción laboral muy alta). El desglose de las respuestas por regiones y escuelas nos permitió identificar las regiones y escuelas que podrían requerir un apoyo especial para superar las dificultades que plantea el bienestar docente y los posibles problemas de integridad de los datos. Encontramos pruebas que apoyan la validez de constructo para la satisfacción laboral. Mientras que la autoeficacia, los estados de ánimo y los sentimientos (depresión) y el agotamiento parecen tener validez aparente, los índices de ajuste del modelo CFA muestran que podrían necesitarse más evidencias para defender la validez de constructo. Los datos apoyaron parcialmente nuestras hipótesis sobre la validez convergente, discriminante y concurrente, atestiguando la necesidad de estudios más amplios que aporten evidencias empíricas para determinar la pertinencia de considerar el bienestar docente como un constructo único.
En cuanto a la integridad de los datos, debe animarse a los docentes a responder con franqueza. Los equipos de recopilación de datos deben insistir y aclarar la ausencia de repercusiones (negativas o positivas) de las respuestas de los docentes. En cuanto a la validez de constructo, se recomienda incluir ítems más específicos relacionados con la profesión docente y el contexto de la educación en situaciones de emergencias, todo ello en el marco de un estudio muestral más amplio.
Medida de la capacidad organizativa para la resolución de problemas de base comunitaria (Org-CapCPS)
Autoras: Micheal Gumisiriza, Caroline Tubbs, Abiraahmi Shankar, y Evelyn Seminario,
Editor: Cohere Charity
El Org-CapCPS (por sus siglas en inglés) se desarrolló en respuesta al creciente reconocimiento de los desequilibrios de poder en contextos humanitarios globales, donde la toma de decisiones y la asignación de recursos suelen excluir a las organizaciones dirigidas por refugiados (ODR). Cohere, en asociación con Global TIES for Children de la Universidad de Nueva York, creó esta herramienta para medir la capacidad del personal de las ODR para abordar las necesidades de la comunidad utilizando enfoques participativos.
La medida se diseñó para que las ODR de África Oriental evaluaran su capacidad para apoyar la resolución de problemas a nivel comunitario. Desarrollada en colaboración con el personal de ODR, la herramienta incorpora aportes de medidas anteriores como la Escala de capacidad de iniciativas comunitarias y la Escala de propiedad comunitaria. Esta encuesta de autoinforme de 19 preguntas evalúa cuatro ámbitos críticos: resolución de problemas, pensamiento crítico, conocimiento de la comunidad y participación. Estos ámbitos coinciden con la definición de capacidad organizativa de Cohere y se centran en la
habilidad del personal de la ODR para implicar a las comunidades en la identificación, el análisis y la resolución de desafíos. El objetivo del Org-CapCPS es apoyar el monitoreo y la evaluación de los programas, proporcionando a las ODR información sobre los puntos fuertes de su organización y las áreas que necesitan mejoras. Su objetivo es promover enfoques equitativos y participativos en la programación humanitaria.
Entre las evidencias clave que respaldan la medida se incluye su aceptable consistencia interna (Alfa de Cronbach 0,7) y validez estructural preliminar demostrada mediante análisis factorial confirmatorio. La estructura de hipótesis de cuatro factores se ajusta bien, aunque las altas correlaciones entre factores sugieren la posibilidad de explorar modelos alternativos. Esta evidencia apoya la fiabilidad de la herramienta para evaluar la capacidad organizativa en el contexto previsto, al tiempo que reconoce sus limitaciones en la fase piloto.
Los próximos pasos implican más pruebas y validaciones, incluyendo tamaños de muestra más grandes refinamientos iterativos y retroalimentación cualitativa. Ampliar los esfuerzos de traducción y abordar los matices culturales mejorará la accesibilidad y la aplicabilidad en diversos entornos. Además Cohere tiene previsto integrar la herramienta en iniciativas sectoriales más amplias para promover la sostenibilidad, financiación basada en la confianza para las ODR y las iniciativas impulsadas por la comunidad.
Conclusión
Las cuatro herramientas constituyen una valiosa aportación al banco de mediciones educativas para el sector de la EeE y subrayan la importancia de una evaluación precisa y del compromiso de mejorar los resultados del aprendizaje de los niños, niñas y jóvenes en situaciones de crisis. Las herramientas de este blog ponen de relieve la importancia decisiva de mejorar la capacidad de quienes implementan las intervenciones educativas en contextos de recursos extremadamente bajos. En concreto, la herramienta TCO evalúa la práctica de los docentes y la calidad de las aulas, mientras que la herramienta de bienestar docente evalúa el impacto de los programas de tutoría en dichos contextos. La herramienta SACA evalúa en tiempo real el aprendizaje social y emocional de los niños y las niñas dirigido por los docentes, mientras que la herramienta Org-CapCPS evalúa la capacidad de las organizaciones dirigidas por refugiados para participar y apoyar iniciativas comunitarias de resolución de problemas, incluyendo los educativos. En resumen, estas cuatro herramientas pretenden mejorar la evaluación de los resultados del aprendizaje holístico en el sector de la EeE. Si bien la evidencia sobre estas medidas requiere mayores esfuerzos de contextualización para mejorar su validez, se basan en las iniciativas en curso para garantizar una evaluación oportuna y más precisa de los resultados del aprendizaje de los niños y las niñas en contextos de crisis.
La Biblioteca de Medidas de la INEE abre convocatorias para la presentación de medidas cada 1 de marzo y 1 de septiembre. ¡Te animamos a presentar tu candidatura!
En este blog se han expresado las opiniones de los autores.