Hvordan måler vi effekten af kurser og workshops?

4 spørgsmål til forskeren:
Karen M. Lauridsen

1. Hvad har du undersøgt?

Sammen med Ole Lauridsen har jeg udviklet en konceptuel ramme til at undersøge effekten af efteruddannelse – kurser, workshops, mv. Konkret har vi undersøgt effekten af et projekt om den engelsksprogede undervisning på et af BSS’ institutter. Projektet strakte sig over sammenlagt to semestre. 24 kolleger gennemførte det samlede udviklingsforløb.  Rammen består af fem niveauer: (i) deltagernes evaluering af projektet/forløbet (”happy sheets”), (ii) ændring i deltagernes viden og færdigheder og dermed ændrede opfattelse af emnet, (iii) ændring i deltagernes adfærd, (iv) organisatorisk forandring og støtte, og (v) ændring i de studerendes læring. De enkelte niveauer kan dokumenteres med forskellige former for kvantitative og kvalitative data. Der vil være undersøgelser som ikke dokumenterer det højeste niveau i rammen, men det er vigtigt at vi som minimum har data til at dokumentere niveau (i)-(iii).

2. Hvorfor var det interessant at undersøge det?

CUL’s hovedopgave er at bidrage til udviklingen af kvaliteten i uddannelserne og undervisningen på BSS. I lighed med vores kolleger på andre universiteter i Danmark og i udlandet, skal vi kunne dokumentere at det vi laver, har en positiv effekt ude på institutterne, hvilket rent metodisk ikke er en helt simpel opgave. Det var derfor interessant for os dels at udvikle en håndterbar ramme for et effektstudie, dels at prøve det af på et konkret udviklingsforløb.  

3. Hvad er hovedkonklusionerne i din undersøgelse?

Niveau (i) blev dokumenteret med et kort evalueringsskema. Samlet set fandt de undervisere der deltog, projektet meget nyttigt eller nyttigt. Niveau (ii) og (iii) blev dokumenteret ved observationer af de enkeltes undervisning og en afsluttende spørgeskemaundersøgelse med kvantitative og kvalitative data (tekstkommentarer). For begge niveauer var der en signifikant positiv ændring hos hhv. 87 og 91 % af deltagerne. Med andre ord, deltagerne havde ændret deres undervisning i større eller mindre grad som et resultat af forløbet. Niveau (iv) er delvist dokumenteret ved at instituttet satte projektet i gang, og flere deltagere talte om at de nu havde en fælles erfaring og et fælles sprog at tale om undervisning på, hvilket de ikke havde haft tidligere. Der var ikke data til at dokumentere ændring i de studerendes læring i dette projekt. Resultaterne af dette projekt kan for os bruges til at videreudvikle og drage erfaringer med forskellige former for data og dataindsamling til at vurdere effekten af vores efteruddannelsesaktiviteter. Det er vi allerede er i gang med.  

4. Hvordan kan vi på Aarhus BSS bruge den viden?

Vi skal ligesom underviserne på institutterne evaluere vores kurser og workshops; og vi skal kunne bruge resultaterne herfra i en løbende kvalitetsudvikling af CUL’s tilbud til BSS’ institutter. På den måde kan vi bidrage til endnu bedre kvalitet i uddannelser og undervisning på BSS, baseret på dokumenterede resultater og erfaringer.