Katja Neubert, Dansk Clearinghouse for Uddannelsesforskning

Det er ikke første gang, vi hører fra Robert E. Slavin, når det drejer sig om at undersøge effekten af teknologi i matematikundervisningen.

Robert E. Slavin fra Johns Hopkins Universitet og kollega Alan C. K. Cheung fra universitetet i Hong Kong har i denne aktuelle metaanalyse fra i år beskæftiget sig indgående med, hvilke effekter undervisningsteknologi har på folkeskole- og gymnasieelevers matematiske præstationer. Udover dette første forskningsspørgsmål tjente meta-analysen også et andet formål. Forfatternes andet forskningsspørgsmål drejede sig nemlig om at undersøge, hvordan metodologiske aspekter af de inkluderede studier kunne være med til at dæmpe effekter af anvendelsen af undervisningsteknologi i matematikundervisningen. I forbindelse med dette spørgsmål så Slavin og Cheung nærmere på et large-scale randomiseret forsøg (Dynarski et al., 2007) med henblik på om studiernes resultater var i overensstemmelse med resultater fra andre studier med høj metodologisk kvalitet.

74 studier indgik i alt i analysen, og disse studier blev nøje udvalgt på baggrund af en række inklusionskriterier. Kriterierne skal gives lidt mere opmærksomhed og plads siden meta-analysen lagde stor vægt på dens egen metodologiske kvalitet. Stikprøven omfattede i alt 56,886 elever fra forskellige klassetrin, som var fordelt på 31,555 elever fra klassetrin et til seks og 25,331 elever fra klassetrin syv til 12. De studier, der undersøgte effekten af enhver type af anvendelse af undervisningsteknologi som var rettet mod at forbedre elevernes matematiske præstationer, blev inkluderede. Målgruppen skulle være elever fra børnehaveklasse til 12. klasse.

Undersøgelserne kunne være gennemførte i ethvert land, så længe rapporten var tilgængelig på engelsk. Studierne skulle sammenligne matematikundervisning der implementerede bestemte teknologier, med kontrolundervisning som brugte alternative eller standardprogrammer. Der blev fremsat et krav om tilfældig udvælgelse af grupperne og anvendelse af passende metoder til at dokumentere forskelle i præ- og posttestning, som for eksempel kontrolgrupper.

Derudover skulle data fra prætesten kunne dokumenteres, medmindre studierne anvendte tilfældig fordeling af mindst 30 subjekter (elever, klasser eller skoler), og at der ikke var tegn på initiale forskelle eller ulighed. Den afhængige variabel skulle omfatte kvantitative målinger af matematisk præstation, som for eksempel standardiserede matematiktests. Indgik der mål, som de respektive undersøgere specifikt udviklede til deres undersøgelser, blev de kun inkluderet hvis målene var omfattende nok til også at kunne være rimelige at bruge over for kontrolgruppen – med andre ord skulle der ikke anvendes interventionsspecifikke mål. Undervisningsperioden skulle mindst omfatte 12 uger, og hver interventionsgruppe skulle være tilknyttet to lærere for at undgå sammenblanding af effekt af lærer i effekt af undervisningen. Interventionen skulle være gennemført i almindelig skoleundervisning, og studierne skulle ikke være ældre end fra 1980.

Metaanalysens resultater kunne underbygge en positiv, omend moderat effekt af implementeringen af undervisningsteknologi i matematikundervisningen, sammenlignet med traditionelle undervisningsmetoder. Lad os se nærmere på resultater der specifikt kan besvare forfatternes første forskningsspørgsmål. Selvom der kunne vises en overordnet effekt af undervisningsteknologi, var det ikke uden betydning, hvilken teknologi det drejede sig om. Af de tre typer teknologier, der indgik i studierne, var over 70% såkaldte Computer-Assisted Instruction (CAI) – programmer, som også var den programtype der viste sig at have størst effekt. CAI-programmer, som for eksempel PLATO, giver mulighed for yderligere undervisning på individuelt niveau som supplement til almindelig klasseundervisning.

Resultaterne viste, at effektstørrelsen for implementering af undervisningsteknologi var højere i de mindre klasser (klassetrin et til seks) sammenlignet med klassetrinnene syv til 12, men forskellen var ikke signifikant. Yderligere viste resultaterne, at anvendelsen af undervisningsteknologi i mere end 30 minutter om ugen generelt havde en større effekt end teknologien anvendt i mindre udstrækning. Den gennemsnitlige effektstørrelse var også højere for de studier, som implementerede teknologien på et højt niveau. Forfatterne gav dog ikke en konkret definition af hvad ”implementering på højt niveau” betød grundet den mangelfulde beskrivelse i cirka halvdelen af studierne. Forfatterne påpeger en mulig forventning om en øgning af effektstørrelsen i takt med den mere og mere avancerede teknologiske udvikling, men denne trend kunne ikke bekræftes. Der blev ikke fundet forskel på effektstørrelser i forbindelse med elevernes socioøkonomiske baggrund.

Resultater fra den meta-metodologiske del af undersøgelsen indikerede, at der til trods for den nøje udvælgelsesproces af studierne var nogle underliggende systematiske forskelle blandt de inkluderede studier. Tre centrale metodologiske kendetegn, der kunne være en mulig forklaring for disse forskelle, og som kunne formodes at have potentiel indflydelse på de fundne effektstørrelser, blev undersøgt: publikationsår, forskningsmetode og stikprøvestørrelse.

Forfatterne fandt at randomiserede kontrollerede forsøg havde mindre effektstørrelser end kvasi-eksperimentelle forsøg, og henviser til blandt andet Niemiec et al. (1987), der understregede at metodologisk svagere studier ofte havde andre resultater end metodologisk stærkere studier, og at kvasi-eksperimentelle forsøg ofte havde større varians i deres resultater. Med henvisning til Hedges (1984) som mener, at ulige varianser kan føre til resultater der potentielt var upålidelige, går forfatterne ind for gennemførelsen af flere praktiske randomiserede studier i undersøgelsen af, hvilken effekt uddannelsesteknologi har i matematikundervisningen.

Forfatterne fandt ligeledes at effektstørrelsen af de små studier (med færre end 250 forsøgspersoner) var mere end dobbelt så høj end effektstørrelsen af større studier, der inkluderede flere end 250 forsøgspersoner. Tidligere undersøgelser har også kunnet vise, at studier med små stikprøvestørrelser var tilbøjelige til at producere højere effektstørrelser end mere omfangsrige studier. Således kan stikprøvestørrelse også være en mulig kilde til variationen i studierne. Dette gjaldt også indenfor de enkelte undersøgelsesdesign.

Konstateringen af meget små effektstørrelser for store randomiserede forsøg som gruppe kunne underbygges af resultaterne fra det randomiserede studie fra Dynarski et al. Der kunne ikke påvises en signifikant forskel mellem publicerede og ikke publicerede studier, og heller ikke forekomsten af studier med ingen eller negative resultater, som kunne have været overset i litteraturen, kunne forklare den signifikant positive effekt som kunne observeres hen over alle studier.

Afslutningsvis understreger forfatterne, at det ikke længere er et spørgsmål om at undervisningsteknologi skal have sin plads i den almindelige undervisning, men mere et spørgsmål om hvordan den bedst kan integreres. De pointerer dog også, at undervisningsteknologi er med til at gøre en moderat forskel i matematikundervisningen, at det er en hjælp men ikke et gennembrud og at nye og bedre redskaber kræves for at det fulde potentiale af undervisningsteknologien i matematikundervisningen på alle klassetrin kan udnyttes maksimalt.

Reference

Cheung, A. C. K. & Slavin, R. E. (2013). The effectiveness of educational technology applications for enhancing mathematics achievement in K-12 classrooms: A meta-analysis. Educational Research Review, 9, 88-113.