Det skal her nævnes, at der særligt er tre vigtige forbehold, som analysens resultater skal ses i lyset af:

1: Der måles på oplevet effekt, ikke reel effekt. Denne tilgang vil altid give nogle usikkerheder i form af, om de oplevede effekter stemmer overens med reelle effekter. Usikkerheden er søgt systematisk adresseret i dataindsamlingen og analysen, bl.a. gennem de 194 interview hvor lærere er blevet bedt om konkrete forklaringer og eksempler på, hvordan det specifikke læremiddel gav den oplevede effekt i det konkrete forløb. Har læreren ikke kunnet forklare eller eksemplificere dette, er det noteret og taget med i analysen.

2: Der er potentiel bias i spørgeskemaundersøgelsen, da det er muligt, at særligt lærere, der er positive (eller negative) over for digitale læremidler, har deltaget i undersøgelsen. En bias med overrepræsentation af positivt indstillede lærere vil dermed betyde, at de samlede effekter må forventes at være lavere end angivet i undersøgelsen. På den anden side kan der være større potentiale forbundet med at ændre ved nogle af de grundvilkår, der gør, at nogle lærere er negativt indstillede over for digitale læremidler.

3: Der må forventes en usikkerhed på tidsmålinger. Det er en relativt svær øvelse både at isolere effekten af et digitalt læremiddel og at sætte tal på tid vundet eller tabt. Langt de fleste lærere er gået til opgaven og har efterfølgende givet udtryk for, at de synes, at deres svar overordnet set afspejler virkeligheden. De nævner dog alle, at der er store usikkerheder forbundet med de konkrete tal. Det vurderes ikke, at denne usikkerhed er stor nok til, at der kan stilles spørgsmål ved analysens overordnede tendenser, dertil er data for entydige. Men det angivne omfang af effekter kan alene ses som vejledende.

140619-Anvendelse-af-digitale-laeremidler-effektmaaling

Rambøll & BCG. (2014). Anvendelse Af Digitale Læremidler,.