En ph.d.-studerende på DTU Compute har udviklet software-programmet Peergrade.io, hvor de studerende kan evaluere hinandens opgaver. Det letter lærerens arbejdspres og kan også give bedre evalueringer.
Big data er et populært emne - så populært, at faget Computational Tools for Big Data, der udbydes på DTU Compute, på et år gik fra 20 til 130 tilmeldte. Det var selvfølgelig på en måde dejligt for læreren, David Kofoed Wind, men det betød også, at han og hans hjælpelærere kunne se frem til ugers ekstra arbejde med at rette opgaver, hvis alle afleverede 20 sider fire gange i løbet af året.
Hvad gør man så? Man kunne jo lade de studerende evaluere hinandens opgaver, tænkte David og gik på jagt efter såkaldt peergrading-software. Men han fandt ikke noget, der var godt nok, og besluttede i stedet at lave det selv. Programmet, som han har udviklet sammen med sin hjælpelærer Rasmus Malthe Jørgensen fra Københavns Universitet, fik selvfølgelig navnet Peergrade.io, og det danner nu basis for en stærkt ekspanderende startup-virksomhed.
Anonym feedback
Peergrade.io fungerer sådan, at hver studerende afleverer deres opgave i systemet og derefter modtager tre til fem opgaver fra andre studerende, som de skal evaluere ud fra et skema udarbejdet af læreren; for eksempel gennem et spørgsmål som: ’På en skala fra et til fem, hvor godt synes du, forfatteren forklarer problemet?’
De studerende er 100 procent anonyme over for hinanden, men læreren kan selvfølgelig se alt, hvad der foregår inde i Peergrade.io, og man kan også klage over en evaluering.
"Man kan lære meget af at se de andres løsninger og få flere forskellige bedømmelser af sin egen besvarelse."
Thomas Pedersen, DTU-studerende
”Der er jo nogen, som sjusker, fordi de er sent på den med evalueringen, eller som ikke har forstået noget som helst. Vores vigtigste mission er, at de studerende skal have et godt kursus. Derfor skal de også kunne give feedback på feedbacken. Og alle skal svare på, hvor konstruktiv og velargumenteret de mener, kritikken er,” fortæller David Kofoed Wind.
Han understreger, at systemet kun hjælper de studerende til at give feedback. Det er stadig underviseren, der giver den endelige karakter på baggrund af en slutrapport om, hvad de studerende har afleveret, hvad der er blevet sagt om deres arbejde, og hvordan andre har bedømt deres feedback.
Fem halvkloge bedre end ét geni
Hver studerende skal forholde sig til mere end en opgave, så der kan i nogle tilfælde være helt op til 25 evalueringer af hver aflevering, og det er faktisk en stor fordel for den samlede bedømmelse.
”Når man tager gennemsnittet af 25 halvgode evaluatorer, får man et rigtig godt estimat. Underviserne kan også se, hvor stor spredningen er på evalueringerne. Hvis 10 procent mener, svaret er forkert, og 90 procent, at det er rigtigt, skal underviseren måske lige tjekke opgaven. Men hvis alle er enige, så er evalueringen sandsynligvis også korrekt,” siger David og henviser til forskning i peer-evaluering, som viser, at det er bedre at tage gennemsnittet af fem halvkloges udsagn end kun at høre fra én meget klog mand.
Udvikling af softwaren fortsætter
Han og makkeren udvikler stadig på systemet, blandt andet for at finde frem til den helt rigtige type spørgsmål til feedback-skemaet, som naturligvis er en afgørende side af sagen. Samtidig forsker de generelt i konceptet peer-evaluering. De har for eksempel planer om at hyre otte hjælpelærere til at rette alle opgaverne individuelt og se, om der er ligeså stor forskel mellem dem som mellem de studerende.
Peer-feedback er ikke nyt, men David og Rasmus forsøger at give deres system mere tyngde og fokus ved at lave en virkelig god spørgeguide og bygge nogle statistiske modeller, som kan gøre programmet bedre til at finde de dårlige evalueringer og afleveringer og slå ned på forudindtagede studerende.
”Det ville være skønt, hvis man kunne sætte alle parametrene op i en stor model og få retfærdigheden ud,” lyder Davids drøm.
Men måske er det slet ikke retfærdigheden, der er det vigtigste, for som DTU-studerende Thomas Pedersen siger:
”Det vigtigste ved universitetet er at lære, ikke at få karakterer. Og man kan lære meget af at se de andres løsninger og få flere forskellige bedømmelser af sin egen besvarelse. Nogle gange fanger de studerende endda noget, som læreren ikke har set.”