Abstract
Past findings concerning whether and how feedback from external evaluations benefit the improvement of schools are inconsistent and sometimes even conflicting, which highlights the contextual nature of such evaluations and underscores the importance of exploring them in diverse contexts. Considering that broad international debate, we investigated the use and impact of feedback from external evaluations in compulsory schools in Iceland, particularly as perceived by principals and teachers in six such schools. A qualitative research design was adopted to examine changes in the schools made during a 4–6-year period following external evaluations by conducting interviews with principals and teachers, along with a document analysis of evaluation reports, improvement plans and progress reports. The findings reveal that feedback from external evaluations has been used for instrumental, conceptual, persuasive and reinforcement-oriented purposes in the schools, albeit to varying degrees. According to the principals and teachers, the improvement actions presented in the schools’ improvement plans were generally implemented or continue to be implemented in some way, and the changes made have mostly been sustained.
Conclusions
We consider the data sources to have been valuable for answering the research questions. Our qualitative study has clearly shown that external school evaluations can have various uses, for the data revealed clear examples of the instrumental, conceptual, persuasive and reinforcement-oriented uses of the feedback in the external evaluation reports. It has also illustrated that schools seem to sustain many of their improvements or continue to develop them in some way, at least in the few years following the evaluations. The results moreover show clear evidence that in a system based on low-stakes accountability and trust between schools and authorities, the improvement-oriented evaluation approach works well, provided that schools receive support to increase their capacity in areas in which they are facing difficulties. In that light, the findings can inform policymakers as they attempt to understand and shape the future use of the feedback of external school evaluations. Although our study focused on Iceland, its findings tentatively suggest that policymakers in other countries may find the results and suggestions interesting, given the apparent positive impact of a low-stakes but thorough evaluation procedure, and thus indicative for the development of such external evaluation and its follow-up process. In that light, the results of the study can be used to improve the role of external evaluations in national and local school governance. To that end, we make three suggestions, all of which assume that the basic ingredients of the system are retained. First, the length of follow-up needs to be adjusted according to the school’s status so that schools in great need of improvement are monitored for longer periods. Second, external support for schools regarding internal evaluation, the appraisal of teachers and the purposeful use of assessments to enhance student achievement needs to be developed. Third, responsibility for school improvement needs to be shared across the education system.
Download the full report Use and impact of external evaluation feedback in schools 2022
- vertaling Google translate -
Abstract
Eerdere bevindingen over de vraag of en hoe feedback van externe evaluaties de verbetering van scholen ten goede komt, zijn inconsistent en soms zelfs tegenstrijdig, wat de contextuele aard van dergelijke evaluaties benadrukt en het belang onderstreept om ze in verschillende contexten te onderzoeken. Gezien dat brede internationale debat, hebben we het gebruik en de impact onderzocht van feedback van externe evaluaties in verplichte scholen in IJsland, met name zoals waargenomen door directeuren en leraren in zes van dergelijke scholen. Er werd een kwalitatieve onderzoeksopzet aangenomen om de veranderingen in de scholen te onderzoeken die gedurende een periode van 4-6 jaar na externe evaluaties werden gemaakt door middel van interviews met directeuren en leerkrachten, samen met een documentanalyse van evaluatierapporten, verbeterplannen en voortgangsrapporten. Uit de bevindingen blijkt dat feedback van externe evaluaties in de scholen is gebruikt voor instrumentele, conceptuele, overtuigende en versterkingsgerichte doeleinden, zij het in verschillende mate. Volgens de directeuren en docenten zijn de verbeteracties die in de verbeterplannen van de scholen worden gepresenteerd over het algemeen geïmplementeerd of worden ze op de een of andere manier uitgevoerd, en de aangebrachte veranderingen zijn grotendeels volgehouden.
Conclusies
Wij beschouwen de databronnen als waardevol voor het beantwoorden van de onderzoeksvragen. Ons kwalitatief onderzoek heeft duidelijk aangetoond dat externe schoolevaluaties verschillende toepassingen kunnen hebben, want de gegevens onthulden duidelijke voorbeelden van het instrumentele, conceptuele, overtuigende en versterkende gebruik van de feedback in de externe evaluatierapporten. Het heeft ook aangetoond dat scholen veel van hun verbeteringen volhouden of deze op de een of andere manier blijven ontwikkelen, althans in de paar jaar na de evaluaties. De resultaten tonen bovendien duidelijk bewijs dat in een systeem dat gebaseerd is op een laagdrempelige verantwoording en vertrouwen tussen scholen en autoriteiten, de verbeteringsgerichte evaluatiebenadering goed werkt, op voorwaarde dat scholen ondersteuning krijgen om hun capaciteit te vergroten op gebieden waar ze problemen ondervinden. In dat licht kunnen de bevindingen beleidsmakers informeren bij hun pogingen om het toekomstige gebruik van de feedback van externe schoolevaluaties te begrijpen en vorm te geven. Hoewel onze studie zich op IJsland concentreerde, suggereren de bevindingen ervan dat beleidsmakers in andere landen de resultaten en suggesties interessant kunnen vinden, gezien de schijnbaar positieve impact van een grondige evaluatieprocedure met weinig inzet, en dus indicatief voor de ontwikkeling van een dergelijke externe evaluatie en zijn vervolgtraject. In dat licht kunnen de resultaten van het onderzoek worden gebruikt om de rol van externe evaluaties in het nationale en lokale schoolbestuur te verbeteren. Daartoe doen we drie suggesties, die er allemaal van uitgaan dat de basisingrediënten van het systeem behouden blijven. Ten eerste moet de duur van de follow-up worden aangepast aan de status van de school, zodat scholen die grote verbetering behoeven, gedurende langere perioden worden gevolgd. Ten tweede moet externe ondersteuning voor scholen worden ontwikkeld met betrekking tot interne evaluatie, de beoordeling van leraren en het doelgerichte gebruik van beoordelingen om de prestaties van leerlingen te verbeteren. Ten derde moet de verantwoordelijkheid voor schoolverbetering gedeeld worden door het hele onderwijssysteem.
Download the full report Use and impact of external evaluation feedback in schools 2022