Avaliação de resultados na aprendizagem holística: novas ferramentas na Measurement Library da INEE
Sobre a Measurement Library da INEE
A Measurement Library (ML) é uma coleção de ferramentas para avaliar a aprendizagem e o desenvolvimento holístico de crianças em contextos de poucos recursos e de emergência. As ferramentas destinam-se a apoiar investigadores, pesquisadores e profissionais da educação na produção de dados e evidências de elevada qualidade para fundamentar o planeamento e o desenvolvimento de programas. Como um inventário único e de acesso livre de medidas validadas contextualmente, a ML visa melhorar a precisão, a medição e a avaliação oportunas dos resultados de aprendizagem no setor de Educação em Situações de Emergência (EeE).
Desde a sua criação em 2019, a ML continua a expandir-se gradualmente e publicou, de maneira cumulativa, 31 medidas revistas por pares em diferentes contextos de EeE. Continua a existir uma necessidade crítica de ferramentas de medição mais acessíveis e que tenham sido testadas com dados do setor global de EeE. A INEE tem o prazer de destacar as seguintes novas ferramentas que foram recentemente incorporadas à biblioteca.
Ferramenta: Observação da sala de aula do professor (Teacher Classroom Observation, TCO)
Autores: Autumn Brown e Jeongmin Lee
Publicado por: Comité Internacional de Resgate (IRC, na sigla em inglês)
A grande maioria das intervenções educacionais em situações de emergência que visam melhorar os resultados de aprendizagem das crianças recorre a professoras e professores por meio de investimentos em formação e apoio aos docentes. No entanto, apesar destes investimentos e do papel central que professores desempenham, poucos recolhem dados de elevada qualidade sobre as práticas na sala de aula. Por quê? Porque mensurar com exatidão a qualidade da prática docente é extremamente difícil — mesmo em ambientes com muitos recursos disponíveis. Se juntarmos a isso os ciclos curtos dos projetos e os orçamentos apertados típicos das respostas de emergência, a tarefa torna-se quase impossível.
Em 2016, a equipa de educação do Comité Internacional de Resgate (IRC) propôs-se a desenvolver um método rigoroso para medir a qualidade das salas de aula e as práticas de professores de forma rápida e com poucos recursos. Analisamos as várias ferramentas de observação já em uso nos programas do IRC e reunimos as melhores partes em uma única ferramenta simplificada, alinhada com nosso programa Teaching in a Healing Classroom — assim nasceu a ferramenta Observação da sala de aula do professor (Teacher Classroom Observation, TCO).
Quando começamos a implementar essa medida, as primeiras reações foram claras: as observações na sala de aula eram confusas, demasiado técnicas e simplesmente excessivas. Sabíamos que os materiais de formação eram tão importantes quanto o próprio instrumento e recorremos a um design centrado no usuário para aperfeiçoar nossa abordagem e tornar o processo fácil e acessível.
O resultado? Uma formação renovada, simultaneamente cativante e curta. Introduzimos vídeos para os avaliadores verem e pontuarem em conjunto, o que nos permitiu verificar a fiabilidade entre avaliadores em tempo real. Também adicionamos atividades interativas para ajudar os participantes a se familiarizarem rapidamente com os itens da ferramenta, ao mesmo tempo em que os educamos sobre vieses cognitivos e a importância da imparcialidade durante as observações.
Qual é o produto final? Um treinamento conciso de 2,5 dias e uma ferramenta de observação com 22 itens focada em quatro conceitos-chave: tempo na tarefa, práticas de ensino, gestão da sala de aula e apoio emocional.
Após dois anos de tentativas e erros em diferentes continentes, já era o momento de pôr à prova nossos materiais. No campo de refugiados de Nyarugusu, na Tanzânia, treinamos nove avaliadores — todos refugiados do campo — e selecionamos os seis melhores com base na precisão das suas avaliações práticas. Depois, estes avaliadores observaram 150 professores selecionados aleatoriamente e trabalharam em pares para garantir uma pontuação consistente e para que pudéssemos avaliar a fiabilidade entre avaliadores.
Os resultados foram promissores. A ferramenta de Observação da sala de aula do professor (TCO) apresentou níveis elevados de confiabilidade inter-avaliadores, confiabilidade composta e validade de conceitos em três dos quatro conceitos-chave: práticas de ensino, gestão da sala de aula e apoio emocional. Dois itens — “Ligação com a vida dos estudantes” e “Utilização do espaço da sala de aula” — não tiveram o desempenho esperado e foram retirados do instrumento final.
O que isso significa? A ferramenta, combinada com seus materiais de formação simplificados, oferece uma forma rápida e fiável de medir a qualidade do ensino em ambientes frágeis e com poucos recursos. Embora seja uma excelente ferramenta para monitorização e avaliação, os pesquisadores que planeiam utilizá-la em estudos mais rigorosos devem replicar os testes psicométricos para garantir sua validade em novos contextos.
Mesmo que os elementos da TCO não correspondam a suas necessidades de intervenção, encorajamos os profissionais, pesquisadores e investigadores a adotar e adaptar nossos métodos e materiais de formação.
Para uma análise mais aprofundada do processo de desenvolvimento e das propriedades psicométricas da TCO, consulte todos os detalhes [aqui].
Autora: Alison Joyner
Publicado por: Instituto de Educação, University College London
A ferramenta Avaliação das competências socioemocionais (Social and Emotional Competency Assessment, SECA) foi desenvolvida por professores, para professores. Ela responde à necessidade de uma avaliação em tempo real da aprendizagem socioemocional das crianças, conduzida por professoras e professores, para apoiar o ensino e a aprendizagem holísticos e centrados nas e nos estudante. A ferramenta propõe cinco perguntas para medir cada uma das quatro competências do Currículo Baseado em Competências do Quénia (Kenya Competency Based Curriculum, KCBC): autoeficácia, comunicação e colaboração, pensamento crítico e resolução de problemas, e aprender a aprender.
Em uma pequena escola primária rural na costa do Quénia — com eletricidade mas sem Wi-fi, espaço de sala de aula limitado e carteiras e livros insuficientes — três professores que se debatem com as exigências do ensino do KCBC trabalharam em conjunto em um processo de investigação-ação. Durante três meses, experimentaram atividades para ajudar a desenvolver competências socioemocionais com seus estudantes. Registaram o seu prazer, por exemplo, ao verem como a colaboração e a comunicação foram fomentadas durante um projeto de matemática para criar um mapa da comunidade no solo arenoso do pátio da escola. Foram inspirados por sua própria descoberta de que estimular a curiosidade dos estudantes está no centro do pensamento crítico e da resolução de problemas.
A utilização da ferramenta para medir esta aprendizagem confirmou as observações dos professores. A avaliação de 187 estudantes (47% delas meninas) entre o 1º e o 3º anos de escolaridade revelou progressos significativos na demonstração de comportamentos que reforçam as competências — entre 14 e 25% nas quatro competências. As correlações significativas entre as pontuações nas competências individuais mostraram a interligação entre elas — se uma competência se desenvolver, o mesmo acontecerá com as outras. Isso significa que os professores podem centrar-se em uma competência de cada vez, e mesmo assim continuar a melhorar as competências gerais. Talvez mais importante para os pais e para os governos é o fato de que os resultados mostraram que sólidas competências socioemocionais apoiam melhores resultados em leitura e matemática. Verificaram-se correlações significativas entre os resultados de leitura e de matemática de estudantes do 3º ano e suas classificações em autoeficácia, comunicação e colaboração, e pensamento crítico e resolução de problemas.
A ferramenta SECA adapta a Escala de Avaliação de Competências Sociais e Emocionais para Pais e Professores (Social and Emotional Competency Parent and Teacher Rating Scale) desenvolvida em Mtwara, Tanzânia, pela RTI International. Ela responde à recomendação dos desenvolvedores da ferramenta para uma investigação mais aprofundada das competências socioemocionais que ajudam as crianças a ter sucesso na escola em comunidades agrícolas de subsistência. Dado o número crescente de currículos baseados em competências em todo o mundo, a relevância da ferramenta SECA ultrapassa o contexto específico. É um complemento importante à caixa de ferramentas de avaliação formativa de que os professores necessitam para ajudá-los a conceber e adaptar o ensino de modo a satisfazer às necessidades e competências socioemocionais de todos os estudantes, apoiando, assim, sua aprendizagem global. Ela tem potencial para ser integrada no desenvolvimento profissional de professores no Quénia e também em outros lugares. Concisa e fácil de usar, a ferramenta poderia ser facilmente digitalizada para facilitar a coleta de dados e a interpretação dos resultados pelos professores.
Nas próximas etapas, a ferramenta precisa de ser mais utilizada e analisada com amostras maiores. Entre em contacto ([email protected]) se quiser colaborar para ampliar os estudos de contextualização e a utilização desta ferramenta, que contribui com uma pequena peça para o quebra-cabeça da aprendizagem inclusiva e de qualidade em todo o mundo.
Autores: Idalia Rodriguez Morales, Jorge Mahecha e Silvia Diazgranados Ferrans
Publicado por: Comité Internacional de Resgate (IRC, na sigla em inglês)
Professoras e professores são o fator escolar com a contribuição mais importante para a aprendizagem, o bem-estar e o desenvolvimento das e dos estudantes. Compreender o bem-estar de docentes é fundamental para garantir a oferta de educação de qualidade. No entanto, existem muito poucas (ou nenhuma) escalas disponíveis para avaliar o bem-estar de professores. Esta necessidade é particularmente importante em contextos de emergência, onde os professores estão sujeitos a desafios emocionais, de recursos e logísticos específicos. O IRC recolheu os dados utilizados neste estudo em abril e maio de 2019, no âmbito de um estudo sobre um programa de tutoria para crianças com desempenho abaixo do esperado no nordeste da Nigéria. O programa foi implementado por professores de escolas públicas que trabalhavam como tutores em um programa pós-escolar.
As escalas foram desenvolvidas para professores em contextos de emergência. Realizamos uma análise exaustiva dos fatores que afetam o bem-estar de professores e dos instrumentos existentes para medir esses fatores. Esta análise permitiu uma compreensão inicial do conjunto de fatores relacionados com o bem-estar dos professores, a partir da qual as equipas nacionais e dos programas realizaram um exercício conjunto de priorização, selecionando a autoeficácia, a satisfação profissional, o burnout e a depressão como dimensões relevantes e apropriadas do bem-estar docente. Incluímos também três escalas adicionais — experiência de treinamento, apoio social e colaboração, e barreiras ao ensino — para verificar a validade simultânea.
O objetivo deste estudo foi avaliar as propriedades psicométricas e as evidências de validade e fiabilidade de quatro escalas de bem-estar docente diferentes em um contexto de crise. Em particular, pretendíamos examinar se as escalas captavam a variação nos diferentes aspetos do bem-estar de professores, se eram fiáveis e se existiam padrões de dados que pudessem ser de interesse para futuros exercícios de recolha de dados. Além disso, buscamos evidências de validade de construção, convergente, discriminante e simultânea.
Encontramos provas de fiabilidade para as quatro escalas que medem aspectos do bem-estar docente, com valores de alfa de Cronbach superiores a 0,90. Também encontramos padrões de distribuição distorcidos nas pontuações da escala que poderiam ser interpretados como uma tendência dos entrevistados de fornecer respostas socialmente desejáveis (ou seja, estresse muito baixo, satisfação no trabalho muito alta). A desagregação das respostas por região e por escolas permitiu-nos identificar as regiões e as escolas que poderiam necessitar de apoio especial para superar os desafios do bem-estar docente e os possíveis problemas de integridade dos dados. Encontrámos evidências que apoiam a validade de construto para a satisfação no trabalho. Embora a autoeficácia, o humor e os sentimentos (depressão) e o burnout pareçam ter validade de face, os índices de ajuste do modelo CFA mostram que mais evidências podem ser necessárias para defender a validade do construto. Os dados apoiaram parcialmente nossas hipóteses sobre a validade convergente, discriminante e concorrente, atestando a necessidade de estudos mais alargados para fornecer evidências empíricas que determinem a relevância de considerar o bem-estar docente como um único construto.
No que diz respeito à integridade dos dados, os professores devem ser encorajados a responder com franqueza. As equipas de recolha de dados devem insistir e esclarecer a ausência de repercussões (negativas ou positivas) das respostas. Quanto à validade de construto, recomendamos a inclusão de itens mais específicos relacionados à profissão docente e ao contexto da educação em situações de emergência, tudo isto no universo de um estudo com uma amostra mais alargada.
Autores: Micheal Gumisiriza, Caroline Tubbs, Abiraahmi Shankar e Evelyn Seminario,
Publicado por: Cohere Charity
A ferramenta Org-CapCPS foi desenvolvida em resposta ao reconhecimento crescente dos desequilíbrios de poder nos contextos humanitários globais, onde a tomada de decisões e a alocação de recursos excluem frequentemente as organizações lideradas por pessoas refugiadas (RLO, na sigla em inglês). A Cohere, em parceria com a Global TIES for Children da Universidade de Nova York, criou esta ferramenta para medir a capacidade das equipas de RLOs de responder às necessidades da comunidade por meio de abordagens participativas.
A medida foi concebida para que as RLOs da África Oriental avaliassem sua capacidade de apoiar a resolução de problemas com base na comunidade. Desenvolvida em colaboração com equipas de RLOs, a ferramenta incorpora contributos de recursos anteriores, como a Escala de iniciativas baseadas na comunidade e escala de propriedade da comunidade (Capacity of Community-Based Initiatives Scale and the Community Ownership Scale). Essa pesquisa de autorrelato com 19 itens avalia quatro domínios críticos: resolução de problemas, pensamento crítico, conhecimento comunitário e participação. Esses domínios estão em conformidade com a definição da Cohere de capacidade organizacional e centram-se na capacidade de equipas de RLOs para envolver as comunidades na identificação, na análise e na resolução de desafios. O objetivo da ferramenta Org-CapCPS é apoiar a monitorização e a avaliação de programas, fornecendo às RLOs informações sobre os pontos fortes de sua organização e as áreas que necessitam de ser melhoradas. O principal objetivo é promover abordagens equitativas e participativas em programas humanitários.
As principais evidências que apoiam a ferramenta/medida incluem sua consistência interna aceitável (alfa de Cronbach 0,7) e validade estrutural preliminar demonstrada através de análise fatorial confirmatória. A estrutura hipotética de quatro fatores ajusta-se bem, apesar de as correlações entre fatores sugerirem a possibilidade de explorar modelos alternativos. Esta evidência apoia a fiabilidade da ferramenta para avaliar a capacidade organizacional no contexto a que se destina e reconhece, ao mesmo tempo, as limitações da sua fase piloto.
Os próximos passos envolvem mais testes e validação, incluindo amostras mais amplas, aperfeiçoamentos iterativos e feedback qualitativo. Alargar os esforços de tradução e abordar as nuances culturais melhorarão a acessibilidade e a aplicabilidade em diferentes contextos. Além disso, a Cohere planeia integrar a ferramenta em esforços sectoriais mais amplos para promover a sustentabilidade, o financiamento baseado em fundos fiduciários para RLOs e iniciativas comunitárias.
Conclusão
As quatro ferramentas são uma adição valiosa ao banco de medidas da educação para o sector da EeE e destacam a importância de uma avaliação precisa e do compromisso de melhorar os resultados de aprendizagem de crianças e jovens em contextos de emergência. As ferramentas apresentadas neste artigo reforçam a importância crucial de reforçar as capacidades das pessoas responsáveis pela implementação de intervenções educativas em contextos de recursos extremamente reduzidos. De maneira específica, a ferramenta TCO avalia a prática de professores e a qualidade das ações desenvolvidas em sala de aula, enquanto a ferramenta de bem-estar docente (TWB) avalia o impacto dos programas de tutoria nesses contextos. A ferramenta SACA avalia, em tempo real, a avaliação da aprendizagem socioemocional de crianças sob a liderança de seus professores, enquanto a ferramenta Org-CapCPS permite a avaliação da capacidade das organizações lideradas por pessoas refugiadas para se envolverem e apoiarem iniciativas de resolução de problemas da comunidade, incluindo iniciativas educacionais. Em suma, estas quatro ferramentas visam melhorar a avaliação dos resultados de aprendizagem holística no setor da EeE. Embora as evidências sobre estas medidas exijam mais esforços de contextualização para melhorar a sua validade, elas baseiam-se nas iniciativas em curso para garantir uma avaliação atempada e mais exata dos resultados de aprendizagem de crianças em contextos de crise.
A Measurement Library da INEE abre convites à apresentação de propostas para serem consideradas para inclusão na biblioteca todos os anos, em dois momentos: 1º de março e 1º de setembro. Convidamos todos a enviar suas ferramentas de medidas!
As opiniões expressas neste artigo são de exclusiva responsabilidade dos autores.