Onderzoek naar het verband tussen implementatiegetrouwheid, kwaliteit en effectiviteit van door leerkrachten geleverde anti-pestinterventies

Het beoordelen van de implementatie is van cruciaal belang voor het interpreteren van de resultaten van interventies tegen pesten (Low et al., 2014 ). Het doel van ons onderzoek was om te onderscheiden hoe de betrouwbaarheid en kwaliteit van de implementatie verband hielden met de uitkomsten van twee veelbelovende componenten van het anti-pestprogramma – interventies op het gebied van morele terugtrekking en sociale normen. In lijn met eerder onderzoek en theorie (bijv. Berkel et al., 2011 ; Durlak & Dupre, 2008 ; Schulte et al., 2009 ) ontdekten we dat zowel een hogere betrouwbaarheid als een hogere kwaliteit verband hielden met een grotere vermindering van de morele terugtrekking, en indirect pesten voor de betreffende interventiegroep. Dit ondersteunt onze primaire hypothese dat niet alleen trouw aan het interventieplan, maar ook hoe goed leraren de interventie uitvoeren, belangrijk kan zijn voor psychosociale interventies tegen pesten (bijv. Berkel et al., 2011 ; Schulte et al., 2009 ).

Onze secundaire hypothese dat trouw en kwaliteit een wisselwerking zouden hebben bij het beïnvloeden van de uitkomsten (Berkel et al., 2011 ) werd ook ondersteund voor de interventieconditie voor morele terugtrekking. De associatie tussen betrouwbaarheid en interventieresultaten was afhankelijk van kwaliteit en vice versa. Wanneer de betrouwbaarheid laag was, werd een hogere kwaliteit significant geassocieerd met betere resultaten. De paraatheid, het enthousiasme en andere kwaliteitsaspecten van leraren speelden dus een cruciale rol als zij het interventieplan minder nauwkeurig volgden. Wanneer de kwaliteit van de uitvoering daarentegen laag was, ging het strikter vasthouden aan het interventieplan significant gepaard met betere resultaten. Zodra echter een gemiddeld kwaliteitsniveau werd bereikt, deed de trouw er niet meer toe. Dit patroon van resultaten komt overeen met bevindingen uit andere vakgebieden. Uit een onderzoek naar medicijnadvies bleek bijvoorbeeld dat trouw doorslaggevend was als de therapeutische alliantie met de patiënt zwak was, maar niet als de alliantie sterk was, aangezien patiënten in dat geval doorgaans beter werden (Barber et al., 2006 ). In een ander onderzoek werd de verbetering van de leesvaardigheid van leerlingen alleen significant geassocieerd met betrouwbaarheid als de instructiekwaliteit van leraren onder het gemiddelde lag (Capin et al., 2022 ).

De verschillende componenten van een hoge implementatiekwaliteit kunnen bijdragen aan het creëren van een veilige, ondersteunende en boeiende leeromgeving, waardoor de relatie tussen leraar en leerling wordt versterkt. Binnen deze context is de kans groter dat leerlingen ontvankelijk zijn voor interventies van hun leraren en beter toegerust zijn om de kernboodschap van het onderwijs te begrijpen, zelfs in gevallen waarin leraren afwijken van de beoogde inhoud of procedures. Wanneer leraren deze educatieve boodschap effectief en met hoge kwaliteit overbrengen, communiceren ze impliciet ook hun anti-peststandpunt aan hun leerlingen. Deze communicatie zal waarschijnlijk de sociale dynamiek in de klas beïnvloeden via de invloedrijke rol van de leraar, vaak aangeduid als de “onzichtbare hand” van de leraar (Farmer et al.,  2011 ).

In tegenstelling tot onze verwachtingen was er sprake van het ontbreken van een significant gemiddeld verschil in de waargenomen verandering van klassenorm tussen groepen op elk gecombineerd niveau van betrouwbaarheid en kwaliteit. Met andere woorden, zelfs onder ideale implementatieomstandigheden was er geen significant gemiddeld verschil in deze veronderstelde mediator tussen studenten die de relevante interventie ontvingen of niet. Dit resultaat is belangrijk, omdat het suggereert dat we implementatie kunnen uitsluiten als mogelijke verklaring voor de afwezigheid van het beoogde mediatie-effect. Mogelijke alternatieve verklaringen zouden een meetprobleem kunnen zijn (bijvoorbeeld het rapporteren van wat zij dachten dat de houding van hun klasgenoten was, zou te moeilijk zijn geweest voor basisschoolleerlingen), een relevantere referentiegroep, zoals de subgroep van vrienden (Paluck & Sheperd, 2012 ). , waarbij de leraar invloedrijker is dan de willekeurig samengestelde groep klasgenoten (Veenstra & Lodder, 2022 ), of de mogelijkheid van differentiële effecten van de interventie afhankelijk van de rol van leerlingen bij pesten of bepaalde (inter)persoonlijke kenmerken (bijv. meer geneigd om zich aan te sluiten bij de norm van leeftijdsgenoten om hun sociale status te beschermen) (Tolmatcheff et al., 2022a ).

Ten slotte waren we benieuwd of het verband tussen de implementatievariabelen en de uitkomsten tussen de twee interventies zou verschillen. Gezien de afwezigheid van een effect op de beoogde bemiddelaar in de interventieconditie voor sociale normen, konden we dit idee niet verder testen. Niettemin beweren we dat de associaties tussen verschillende implementatiekenmerken en -resultaten waarschijnlijk zullen variëren tussen interventies (Durlak & Dupre, 2008 ; Schulte et al., 2009 ). Hoewel uit eerder onderzoek bijvoorbeeld grofweg is geschat dat programma's een betrouwbaarheid van minimaal 60% nodig hebben om de beoogde effecten te bereiken (Durlak & Dupre, 2008 ), is het onwaarschijnlijk dat dit grenspunt voor alle interventies geldt, ongeacht het type interventies. en aard (Nelson et al., 2012 ) – vooral gezien de grote heterogeniteit van maatregelen en methoden die worden gebruikt om de implementatie en resultaten te beoordelen en te associëren (Tolmatcheff, 2021 ).

Sterke punten en beperkingen

Sterke punten van dit onderzoek zijn de relatief grote studentensteekproef met hoge retentiepercentages, het gebruik van latente veranderingsscores, de controle voor de geneste structuur van de gegevens en het gebruik van observationele gegevens voor het beoordelen van betrouwbaarheid en kwaliteit. Bovendien zorgde het gebruik van een multiplicatief moderatiemodel voor aanzienlijk meer flexibiliteit dan een additieve meervoudige moderatie (Hayes, 2018 ).

Ondanks de sterke punten heeft dit onderzoek ook beperkingen. Ten eerste was de steekproefomvang op lerarenniveau relatief klein ( N  = 34). Hoewel de machtsanalyse aangaf dat ons ontwerp voldoende kracht heeft om significante effecten van gemiddelde omvang te detecteren (zie aanvullende materialen ), is het mogelijk dat we geen kleine significante drieweginteractie voor de waargenomen injunctieve klassennorm konden detecteren vanwege een gebrek aan kracht. .

Ten tweede werden implementatiegegevens verzameld tijdens één les voor elke leraar, gegeven de beschikbare tijd en personele middelen voor dit onderzoek. In toekomstige studies stellen we voor dat onderzoekers implementatiegegevens voor elke les verzamelen en deze vervolgens over de lessen heen gemiddelden (bijv. Hirschtein et al., 2007 ) of zelfrapportages van docenten combineren met observatiebeoordelingen om de criteriumvaliditeit te garanderen (bijv. Renshaw & Jimerson , 2012 ).

Ten derde: hoewel observationele gegevens over het algemeen betrouwbaarder zijn dan zelfrapportages (Durlak & Dupre, 2008 ; Hirschstein et al., 2007 ), kunnen leraren er weerstand tegen bieden (Dusenbury et al., 2003 ). Ze voelen zich misschien niet op hun gemak bij het uitvoeren van de interventie in het bijzijn van beoordelaars. Hoewel we er zorgvuldig op toezagen een relatie van vertrouwen en niet-oordelen met de leraren op te bouwen, was het voor sommigen van hen toch stressvol om geobserveerd te worden tijdens het geven van de les, wat de uitvoering tot op zekere hoogte kan hebben belemmerd.

Ten slotte is een beperking waarmee veel onderzoeken naar de implementatie worden geconfronteerd de moeilijkheid om gegevens van een controlegroep in de analyse te gebruiken. Het zou bijvoorbeeld niet mogelijk zijn geweest om in ons onderzoek een moderatiemodel te gebruiken waarin ook de controlegroep betrokken was, omdat er voor deze groep geen implementatiegegevens beschikbaar waren. Sommige onderzoeken hebben categorische implementatievariabelen gecreëerd (bijv. laag, gemiddeld, hoog) om elk niveau te kunnen contrasteren met de controlegroep (bijv. Salmivalli et al., 2005 ). De grenswaarden die voor categorisatie worden gebruikt, zijn echter altijd willekeurig en hebben minder statistische kracht dan continue variabelen (Durlak & Dupre, 2008 ). Wij suggereren dat het gebruik van een actieve controlegroep (waarin een interventie van dezelfde duur en intensiteit, maar die geen verband houdt met pesten, zoals in ons ontwerp) een interessante manier kan zijn om dit probleem op te lossen. Hoewel het geen verband houdt met pesten, zou de implementatie van de controle-interventie ook kunnen worden beoordeeld, waardoor een relevante vergelijking mogelijk wordt in een geavanceerd statistisch ontwerp met behulp van continue moderators. Voor zover wij weten is dit nog nooit eerder gedaan in onderzoeken naar interventies tegen pesten waarbij de implementatie wordt gekoppeld aan de resultaten van leerlingen, vermoedelijk vanwege de hoge kosten in tijd en personeel om leraren in een extra conditie op te leiden en te observeren.

Tolmatcheff, C., Veenstra, R., Roskam, I. et al. Examining the Link Between Implementation Fidelity, Quality, and Effectiveness of Teacher-Delivered Anti-Bullying Interventions in a Randomized Controlled Trial. Prev Sci (2023). https://doi.org/10.1007/s11121-023-01580-8