Évaluation des résultats d’apprentissage holistiques: Nouveaux outils dans la bibliothèque des évaluations de l'INEE
À propos de la bibliothèque des évaluations de l'INEE
La bibliothèque des évaluations est une collection d'outils de mesure permettant d'évaluer l'apprentissage et le développement holistique des enfants dans des contextes de ressources limitées et de situations de crise. Ces outils visent à aider les chercheurs et les praticiens en éducation à produire des données et des preuves de haute qualité afin d'éclairer la planification et le développement des programmes. En tant qu'inventaire unique en libre accès d’évaluations validées en fonction du contexte, la bibliothèque des évaluations vise à améliorer la précision et la rapidité de la mesure et de l'évaluation des résultats d'apprentissage dans le secteur de l'éducation en situation d'urgence (ESU).
Depuis sa création en 2019, la bibliothèque des évaluations a continué à se développer progressivement et a publié en cumulé 31 mesures évaluées par des pairs dans différents contextes de l'ESU. Le besoin d'outils de mesure plus accessibles, testés sur la base des données du secteur mondial de l'ESU, reste essentiel. L'INEE a le plaisir de vous présenter les différents outils qui ont été récemment ajoutés à la bibliothèque:
The Teacher Classroom Observation (TCO) Measure
Auteurs: Autumn Brown et Jeongmin Lee
Éditeur: International Rescue Committee (Comité International de Secours - IRC)
L'écrasante majorité des interventions dans le domaine de l'éducation en situations d'urgence visant à améliorer les résultats d'apprentissage des enfants s'appuient sur le personnel enseignant en investissant dans sa formation et leur soutien. Pourtant, malgré ces investissements et le rôle central que jouent le personnel enseignant, rares sont ceux qui recueillent des données de qualité sur les pratiques en classe. Pourquoi ? Parce qu'il est extrêmement difficile de mesurer avec précision la qualité de la pratique du personnel enseignant, même dans les environnements où les ressources sont conséquentes. Si l'on ajoute à cela des cycles de projet courts et des budgets serrés, typiques des interventions d'urgence, la tâche devient presque impossible.
En 2016, l'équipe éducation de l'International Rescue Committee (IRC) a entrepris de développer une méthode rigoureuse pour mesurer la qualité des salles de classe et les pratiques du personnel enseignant rapidement et avec des ressources limitées. Nous avons analysé les nombreux outils d'observation déjà utilisés dans le cadre des programmes de l'IRC et avons fusionné les meilleurs éléments en un seul instrument rationalisé qui s'aligne sur notre programme scolaire d'enseignement dans une classe de guérison - l'outil d'observation de la classe par le personnel enseignant (TCO) était né.
Lorsque nous avons commencé à déployer le TCO, les premiers commentaires étaient clairs : les observations de classe étaient confuses, trop techniques et tout simplement trop nombreuses. Nous savions que le matériel de formation était tout aussi important que l'instrument lui-même et nous avons fait appel à un concepteur centré sur l'utilisateur pour affiner notre approche et rendre le processus facile et accessible.
Le résultat? Une formation remaniée, à la fois attrayante et courte. Nous avons introduit des vidéos que les évaluateurs peuvent regarder et noter ensemble, ce qui nous permet de vérifier la fiabilité entre les évaluateurs en temps réel. Nous avons également ajouté des activités interactives pour aider les participants à se familiariser rapidement avec les éléments de l'outil, tout en les sensibilisant aux biais cognitifs et à l'importance de l'impartialité pendant les observations.
Le résultat final? Une formation concise de deux jours et demi et un outil d'observation en 22 points axés sur quatre éléments clés : le temps consacré aux tâches, la pratique de l’enseignement, la gestion de la salle de classe et le soutien émotionnel.
Après deux ans d'essais et d'erreurs sur différents continents, il était temps de mettre nos matériaux à l'épreuve. Dans le camp de réfugiés de Nyarugusu, en Tanzanie, nous avons formé neuf agents recenseurs - tous des personnes réfugiées du camp - et sélectionné six agents les plus performants sur la base de l'évaluation de leur précision dans les pratiques. Ces évaluateurs ont ensuite observé 150 membres du personnel enseignant sélectionnés au hasard, travaillant en binôme afin de garantir une notation cohérente et de calculer la fiabilité entre les évaluateurs.
Les résultats étaient prometteurs. L'outil d'observation du personnel enseignant en classe (TCO) a montré des niveaux élevés de cohérence entre évaluateurs, de fiabilité composite et de validité de construction pour trois des quatre concepts clés : les pratiques d'enseignement, la gestion de la salle de classe et le soutien émotionnel. Deux éléments - « Connexion avec la vie des élèves » et « Utilisation de l'espace de la classe » - n’ont pas donné les résultats escomptés et ont été retirés de l’instrument final.
Qu'est-ce que cela signifie? Le TCO, associé à son matériel de formation simplifié, offre un moyen rapide et fiable de mesurer la qualité de l'enseignement dans des environnements fragiles et à faibles ressources.Bien qu'il s'agisse d'un excellent outil de suivi et d'évaluation, les chercheurs qui prévoient de l'utiliser pour des études plus rigoureuses devront reproduire les tests psychométriques afin de garantir sa validité dans de nouveaux contextes.
Même si les éléments du TCO ne correspondent pas aux besoins de vos interventions, nous encourageons les praticiens et les chercheurs à s'approprier et à adapter nos méthodes et matériels de formation.
Pour en savoir plus sur le processus de développement et les propriétés psychométriques du TCO, consultez les informations complètes [ici].
The Social and Emotional Competency Assessment (SECA) Measure
Auteure: Alison Joyner
Éditeur: University College London, Institute of Education
L'évaluation des compétences sociales et émotionnelles (SECA) a été développée par du personnel enseignant, pour des enseignants. Il répond au besoin d'évaluation par le personnel enseignant de l'apprentissage social et émotionnel des enfants en temps réel, afin de soutenir un enseignement et un apprentissage holistiques, centrés sur l'apprenant. L'outil propose cinq questions pour mesurer chacune des quatre compétences du Kenya Competency Based Curriculum (KCBC) : Auto-efficacité, communication et collaboration, pensée critique et résolution de problèmes, et apprendre à apprendre.
Dans une petite école primaire rurale sur la côte du Kenya - avec de l'électricité, mais pas de wifi, un espace de classe limité et un nombre insuffisant de pupitres et de livres - trois membres du personnel enseignant confrontés aux exigences de l'enseignement du KCBC ont travaillé ensemble dans le cadre d'un processus de recherche-action. Pendant trois mois, ils ont testé des activités visant à développer les compétences sociales et émotionnelles de leurs apprenants. Ils ont fait part de leur joie, par exemple, de voir comment la collaboration et la communication ont été générées par un projet de mathématiques visant à créer une carte du village dans le sol sablonneux de la cour de l'école. Ils ont été inspirés par leur découverte de la façon dont la stimulation de la curiosité des apprenants est au cœur de la pensée critique et de la résolution de problèmes.
L'utilisation de l'outil pour mesurer cet apprentissage a confirmé les observations du personnel enseignant.L'évaluation de 187 apprenants individuels (dont 47 % de filles) de la première à la troisième année d'études a révélé des progrès significatifs dans la démonstration par les apprenants de comportements qui renforcent les compétences - entre 14 et 25 % pour les quatre compétences. Des corrélations significatives entre les scores des compétences individuelles ont montré l'interconnexion entre elles - si une compétence se développe, les autres le feront aussi. Cela signifie que le personnel enseignant peut se concentrer sur une compétence à la fois tout en améliorant l'ensemble des compétences. Peut-être plus important encore pour les parents et les gouvernements, les résultats ont montré que des compétences sociales et émotionnelles solides permettent d'obtenir de meilleurs résultats en lecture et en mathématiques. Des corrélations significatives ont été observées entre les résultats en lecture et en mathématiques des élèves en cours élémentaire et leurs scores en matière d'auto-efficacité, de communication et de collaboration, ainsi que de pensée critique et de résolution de problèmes.
Le SECA adapte l'échelle d'évaluation des parents et du personnel enseignant sur la compétence sociale et émotionnelle. Social and Emotional Competency Parent and Teacher Rating Scale (échelle d'évaluation des parents et des enseignants pour la compétence sociale et émotionnelle) élaborée à Mtwara, en Tanzanie, par RTI International. Cette échelle répond à la recommandation des concepteurs de l'outil d'étudier plus avant les compétences sociales et émotionnelles qui aident les enfants à réussir à l'école dans les communautés pratiquant l'agriculture de subsistance. Étant donné le nombre croissant de programmes d'études basés sur les compétences dans le monde, la pertinence de l'outil SECA va au-delà du contexte spécifique. Il s'agit d'un ajout important à la panoplie d'outils d'évaluation formative dont le personnel enseignant a besoin pour les aider à concevoir et à adapter leur enseignement afin de répondre aux besoins et aux compétences sociales et émotionnelles de tous les apprenants, et de soutenir ainsi leur apprentissage global. Il pourrait être intégré dans le développement professionnel du personnel enseignant au Kenya et ailleurs. Concis et facile à utiliser, l'outil pourrait facilement être numérisé pour faciliter la collecte des données par le personnel enseignant et l'interprétation des résultats.
Dans les prochaines étapes, l'outil devra être utilisé et analysé de manière plus approfondie avec des échantillons plus importants. N'hésitez pas à nous contacter ([email protected]) si vous souhaitez contribuer à une meilleure contextualisation et utilisation de cet outil, qui n'est qu'une petite pièce du puzzle pour parvenir à un apprentissage inclusif et de qualité partout dans le monde.
The Four Scales Measuring Teacher Wellbeing (TWB) Measure
Auteurs: Idalia Rodriguez Morales, Jorge Mahecha, and Silvia Diazgranados Ferrans
Éditeur: International Rescue Committee (Comité International de Secours - IRC)
Le personnel enseignant est le facteur scolaire le plus important qui contribue à l'apprentissage, au bien-être et au développement des élèves. Il est essentiel de comprendre le bien-être du personnel enseignant pour garantir une éducation de qualité. Cependant, il existe très peu d'échelles, voire aucune, pour évaluer le bien-être du personnel enseignant. Ce besoin est particulièrement important dans les situations d'urgence, lorsque le personnel enseignant est confronté à des problèmes émotionnels, logistiques et de ressources.L'IRC a collecté les données utilisées dans cette étude en avril et mai 2019 dans le cadre d'une étude sur un programme de tutorat pour les enfants peu performants dans le nord-est du Nigéria. Le programme a été mis en œuvre par le personnel enseignant d'une école publique qui travaillait comme tuteur dans le cadre d'un programme extrascolaire dans le nord-est du Nigéria.
Les échelles ont été développées pour le personnel enseignant en situations d'urgence. Nous avons réalisé un examen approfondi des facteurs influençant le bien-être du personnel enseignant et des outils existants pour les mesurer. Cet examen a permis une première compréhension de l'ensemble des facteurs liés au bien-être du personnel enseignant, à partir de laquelle les équipes des pays et des programmes ont réalisé un exercice conjoint de hiérarchisation et ont sélectionné l'auto-efficacité, la satisfaction au travail, l'épuisement professionnel et la dépression comme étant des dimensions importantes et appropriées du bien-être du personnel enseignant. Nous avons également inclus trois échelles supplémentaires: l'expérience du coaching, le soutien social, la collaboration et les obstacles à l'enseignement, afin de vérifier la validité simultanée.
L'objectif de cette étude était d'évaluer les propriétés psychométriques et les preuves de validité et de fiabilité de quatre échelles différentes du bien-être du personnel enseignant dans des situations de crise. Nous avons notamment cherché à déterminer si les échelles reflétaient bien les différentes facettes du bien-être du personnel enseignant, si elles étaient fiables et s'il existait des modèles susceptibles d'être utiles pour de futures collectes des données. Par ailleurs, nous avons cherché des preuves de la validité conceptuelle, convergente, discriminante et concomitante.
Nous avons trouvé des preuves de fiabilité pour les quatre échelles mesurant les aspects du bien-être du personnel enseignant, avec des valeurs alpha de Cronbach supérieures à 0,90. Nous avons également trouvé des modèles de distribution asymétriques dans les scores de l'échelle qui pourraient être interprétés comme une tendance des répondants à fournir des réponses socialement souhaitables (c'est-à-dire très peu de stress, très grande satisfaction au travail). La ventilation des réponses par région et par école nous a permis d'identifier les régions et les écoles qui pourraient avoir besoin d'un soutien particulier pour surmonter les difficultés liées au bien-être du personnel enseignant et les éventuels problèmes d'intégrité des données.Nous avons trouvé des preuves de la validité de construit pour la satisfaction au travail. Si l'auto-efficacité, le moral et les sentiments (dépression) et l'épuisement professionnel semblent avoir une validité apparente, les indices d'adéquation du modèle CFA montrent qu'il faudrait davantage de preuves pour démontrer la validité de construit . Les données ont partiellement soutenu nos hypothèses sur la validité convergente, discriminante et concurrente, attestant de la nécessité d'études plus approfondies pour fournir des preuves empiriques permettant de déterminer la pertinence de considérer le bien-être du personnel enseignant comme un concept unique.
En ce qui concerne l'intégrité des données, le personnel enseignant doit être encouragé à répondre en toute franchise. Les équipes de collecte des données doivent insister sur l'absence de répercussions (négatives ou positives) des réponses du personnel enseignant et les clarifier. En ce qui concerne la validité de construit, nous recommandons d'inclure des éléments plus spécifiques liés à la profession d'enseignant et au contexte de l'éducation en situations d'urgence, le tout dans le cadre d'une étude d'échantillon plus étendue.
The Organizational Capacity for Community-based Problem-solving (Org-CapCPS) Measure
Auteure: Micheal Gumisiriza, Caroline Tubbs, Abiraahmi Shankar, et Evelyn Seminario
Éditeur: Cohere Charity
L'Org-CapCPS a été développé en réponse à la reconnaissance croissante des déséquilibres de pouvoir dans les contextes humanitaires mondiaux, où la prise de décision et l'allocation des ressources excluent souvent les organisations dirigées par des personnes réfugiées (RLO). Cohere, en partenariat avec Global TIES for Children de l'Université de New York, a créé cet outil pour mesurer les capacités du personnel RLO à répondre aux besoins de la communauté à l'aide d'approches participatives.
Cette mesure a été conçue pour les RLO d'Afrique de l'Est afin d'évaluer leur capacité à soutenir la résolution de problèmes au niveau de la communauté. Développé en collaboration avec le personnel de RLO, cet outil intègre les contributions issues de mesures antérieures telles que le barème d'évaluation des capacités des initiatives de la communauté et le barème d'évaluation de l'appropriation communautaire. Ce questionnaire d'auto-évaluation en 19 points évalue quatre domaines essentiels : la résolution de problèmes, la pensée critique, la connaissance de la communauté et la participation. Ces domaines s'alignent sur la définition de Cohere de la capacité organisationnelle et la capacité du personnel du RLO à impliquer les communautés dans l'identification, l'analyse et la résolution des problèmes. L'objectif de l'Org-CapCPS est de soutenir le suivi et l'évaluation du programme, en fournissant aux RLO des informations sur leurs forces organisationnelles et les domaines nécessitant une amélioration. Cet outil vise à promouvoir des approches équitables et participatives dans les programmes humanitaires.
La cohérence interne acceptable (alpha de Cronbach de ≥ 0,7) et la validité structurelle préliminaire démontrée par l'analyse factorielle confirmatoire sont des éléments clés à l'appui de la mesure. La structure hypothétique à quatre facteurs est bien adaptée, bien que les corrélations inter-factorielles élevées suggèrent la possibilité d'explorer d'autres modèles. Cette preuve soutient la fiabilité de l'outil pour évaluer la capacité organisationnelle dans le contexte prévu, tout en reconnaissant les limites de la phase pilote.
Les prochaines étapes consistent à effectuer des tests et des validations supplémentaires, notamment sur des échantillons plus importants, à apporter des améliorations itératives et à recueillir des commentaires qualitatifs. Élargir les efforts de traduction et tenir compte des nuances culturelles améliorera l'accessibilité et l'applicabilité dans divers contextes. Par ailleurs, Cohere prévoit d'intégrer cet outil dans le cadre d'initiatives sectorielles plus larges visant à promouvoir un financement durable et basé sur la confiance pour les RLO et les initiatives de la communauté.
Conclusion
Ces quatre outils constituent un complément précieux à la banque de données sur la mesure de l'éducation pour le secteur de l’ESU et soulignent l'importance d'une évaluation précise et d'un engagement à améliorer les résultats d’apprentissage pour les enfants et les jeunes dans les situations de crise. Les outils présentés dans ce blog soulignent l'importance cruciale du renforcement des capacités des personnes chargées de la mise en œuvre des interventions éducatives dans des contextes où les ressources sont extrêmement limitées.Plus précisément, l'outil TCO évalue la pratique du personnel enseignant et la qualité des classes, tandis que l'outil TWB évalue l'impact des programmes de soutien scolaire dans ces contextes. L'outil SACA permet de mesurer en temps réel l'évaluation par le personnel enseignant de l'apprentissage social et émotionnel des enfants, tandis que l'outil Org-CapCPS évalue la capacité des organisations dirigées par des personnes réfugiées à s'engager dans des initiatives communautaires visant à résoudre des problèmes, notamment dans le domaine de l'éducation, et à soutenir ces initiatives. En résumé, ces quatre outils ont pour but d'améliorer l'évaluation des résultats d'apprentissage holistiques dans le secteur ESU. Bien que ces mesures nécessitent des efforts de contextualisation supplémentaires pour améliorer leur validité, elles s'inscrivent dans le cadre des initiatives en cours visant à garantir une évaluation opportune et plus précise des résultats d’apprentissage des enfants en contextes de crise.
La bibliothèque des évaluations de l'INEE lance des appels à soumission ouverts le 1er mars et le 1er septembre de chaque année pour les évaluations qui pourraient être incluses dans la bibliothèque. Nous vous encourageons à participer!
Les vues exprimées dans ce blog sont celles de l'auteur.