Dette semesteret har jeg undervist i emnet PSY1111 - Psykologiske forskningsmetoder ved NTNU. I emnet lærer studentene om kvantitative og kvalitative forskningsmetoder slik de brukes i psykologi. Emnet har en obligatorisk oppgave i form av at de må gjøre en statistisk analyse og skrive en miniartikkel basert på funna sine.
Oppgava kombinerer dermed praktisk øving i statistiske analyser (nødvendig om man skal bli flink, men vanskelig å overbevise om akkurat det), og i artikkelskriving (hendig når man seinere skriver bachelor- eller hovedfagsoppgave). Den er krevende for studentene, men de lærer en hel del. Den konsekvente tilbakemeldinga fra referansegruppestudentene er at arbeidet med oppgava var viktig og nyttig.
Det krevende er altså sjølve arbeidet med oppgava. Det å levere fra seg oppgava burde derimot ikke være vanskelig. Spesielt ikke i vår digitale tidsalder. Tenk om igjen. La meg introdusere Blackboard, e-læringssystemet fra helvete.
La oss beskrive behova våre: studentene har en fast tidsfrist som de må levere oppgava innenfor. Deretter skal oppgava sensureres av en sensor (vanligvis en studentassistent). Dersom oppgava blir underkjent, har studenten en liten periode på å forbedre oppgava og levere på nytt. Tidsfristene er viktig fordi vi må rapportere inn alle som har bestått den obligatoriske oppgava tidsnok til at de blir registrert for å ta eksamen. Dermed trenger vi en portal hvor studentene kan laste opp oppgava si slik at den blir tilgjengelig for sensor.
Hvordan foregår en innlevering i Blackboard?1 Det starter i dette vinduet, som du kommer til når du trykker på innleveringsknappen:
Relativt rett fram. Trykker du på Opprett innsending kan du få skrive inn oppgaveteksten din i Blackboard direkte. Trykker du på Last opp filer kan du laste opp fila du har skrevet i ditt eget favoritt-tekstbehandlingsprogram. Legg merke til det som ser ut som en cookie-advarselsboks nederst som forteller oss hvordan vi sender inn oppgava.
Trykker man på Last opp filer får man et fint vindu du kan dra og slippe oppgavefila di over i. Flott og intuitivt.
Men det er nå problemet oppstår. Vi har tre valg herfra.
- Avbryt: Dersom du vil stoppe innsendingsprosessen.
- Send: Dersom du vil sende inn oppgava med en gang.
- Lagre utkast: Dersom du ikke vil sende inn oppgava riktig med en gang.
Mange velger her å trykke Lagre utkast. Det er jo smart å dobbeltsjekke at det du lasta opp ser greit ut, ikke sant? Trykker du Lagre utkast kommer vi til denne skjermen.
Slik ser det ut når du har levert et utkast. Hva skjer når du skal trykke deg videre herfra? Trykker du “OK” eller “Fortsett”? Det riktige svaret er “Fortsett”. Da blir oppgava sendt inn med en gang. Men la oss si at du trykker “OK”. Da blir du bare sendt tilbake til et tidligere punkt i Blackboard. Uten noen informasjon som minner deg på at du faktisk ikke har levert oppgava di ennå.
Lagre utkast: OK eller fortsett
Og her har vi problemstillinga: Flere studenter trykker feil. De lagrer et utkast, og trykker deretter OK. Hvorfor OK? Kanskje de tenker “dette ser bra ut, alt ok”. Når jeg studerer bildet i rolige omgivelser tenker jeg at det er mest sannsynlig at jeg skal trykke på Fortsett heller enn OK. Men mange studenter leverer ikke i rolige omgivelser. De leverer kort tid før fristen, eller i slaga mellom ulike typer undervisningsaktivitet. Uansett er vi avhengig av design som tydelig forteller oss hva som skjer når vi bruker det, ikke to knapper som er tvetydige i hva du oppnår ved å røre dem. Og når de har trykka OK tror de at de har levert oppgava, noe de ikke har gjort.
Noe som kanskje gjør saken enda litt verre er at dersom du leverer oppgava etter fristen, blir den markert2: Du kan se det i bildet, i den rosa boksen hvor det står FORSØK (SENT). En stressa student som nettopp (tror de har) levert noen sekunder for seint pga. tekniske problemer kan misforstå og tro at det står forsøk sendt3.
Hittil har vi sett at Blackboard har et dårlig design som kan lure forsiktige studenter til å tro at de har levert en oppgave sjøl om de egentlig bare har lagra et utkast. I seg sjøl er ikke dette et kjempeproblem. Vi krever nemlig at studentene sjekker at de har levert oppgava si. Det er alltid smart å dobbeltsjekke viktige oppgaver. Men i Blackboard er det faktisk ikke mulig å dobbeltsjekke.
Hvordan veit jeg at jeg ikke aner om jeg har levert eller ei
Problem nummer to er at Blackboard ikke lar deg finne ut av hvorvidt du har levert eller ei, dersom du ennå ikke har levert noe. Vi er i det skumle hjørnet “det du ikke veit at du ikke veit” av Rumsfeld-matrisen.
Hvordan går det an? Dersom du har lasta opp et utkast, og seinere finner ut at du skal dobbeltsjekke at du har levert, blir du møtt av denne skjermen:
Herfra er det umulig å vite om du har levert, lasta opp et utkast, eller aldri rørt Blackboard før. Det ser likt ut som da du var her tidligere.
Det er først når du faktisk har levert oppgava at du får bekreftelsen på at du har levert.
Du får en forklarende tekst i lilla på toppen hvor Blackboard eksplisitt forteller deg at du har levert. (Sammenlikn dette med ingen tekst som forteller deg at du bare har lasta opp et utkast tidligere). Du får også en lenke til ei mystisk side kalt Mine resultater. Denne sida gir deg oversikt over alle innleveringer du har levert. Hadde vært flott om du kunne gå hit tidligere for å finne ut om du har levert eller ei. Problemet er at det ikke går an å komme seg hit med mindre du har levert en innlevering. Til slutt får du også en kvittering på innlevering per e-post.
Fraværet av e-posten blir den eneste indikasjonen på at du ikke har levert oppgava slik du trodde. Men hvordan skal du vite at du må vente på en e-post, hvis du ikke allerede har levert og fått beskjed om at det kommer en e-post?
Konsekvenser
De aller fleste studentene har ingen problemer med å levere oppgava si. Men vi har mange studenter. Over 300. Dermed slår Murphys lov4 inn, og noen av dem faller for Blackboards design-felle og laster opp et utkast uten å levere. Noen av dem oppdager det innen kort tid, tar kontakt, og vi finner en løsning. For eksempel at de leverer nå, og at jeg sier fra til studentassistentene at de skal rette denne oppgava sjøl om den står markert som “sent”. Andre innser det kanskje ikke før studentassistentene er ferdig med rettinga. Da begynner det å bli for seint med tanke på at vi skal rekke å rette oppgava og eventuelt ha studenten til å skrive en ny versjon og så rette den også. For studenter med spesielle hensyn (f.eks. medisinske) som gjør at de trenger utsatt frist pleier vi å finne en løsning. Men at Blackboard er dårlig designa burde ikke være et av de spesielle hensyna vi må ta.
Løsninga på dette problemet er at faglærer er nødt til å gå gjennom Vurderingssenteret på Blackboard. Hvis du aldri har vært borti Vurderingssenteret før, velsigne deg. Det er en prøvelse hver gang.
I vurderingssenteret får du opp ei liste over hver student, masse info du er uinteressert i, og, hvis du har en vid nok skjerm, en kolonne som forteller deg status på innleveringa deres via kompleks symbologi. Du har ingen søkemuligheter i Vurderingssenteret. Blackboard tenker det holder med en begrensa skrollefunksjon gjennom det lille vinduet deres. Du kan heldigvis sortere etter status på innleveringa. Legg merke til studentene med blåbærpaier på seg. Dette symbolet betyr “Forsøk pågår”. Det betyr at studentene har levert inn et utkast. Som faglærer må jeg altså, etter innleveringsfristen, identifisere alle med dette symbolet, og sende dem en mail for å si fra om at de kanskje ikke har levert sjøl om de tror det har.
Som faglærer må du også informere studenter om at det kun er når de får en epost-bekreftelse at de har levert. Dette er en svakhet da nye faglærere ikke veit om dette problemet, og (gitt Murphys lov) ikke alle vil få det med seg uansett. Til syvende og sist kan vi legge lapper på systemet, men det må fikses innenfra.
Kan det bli verre? Det er Blackboard. Så ja.
Når studentene venter på vurdering av oppgava si hender det at de går inn på Blackboard for å se om det har kommet inn noe. Jeg veit ikke hvorfor, men det ser ut til at det er enkelt å utilsikta begynne å levere et nytt forsøk når man er der inne. Det som skjer da er at oppgava får endra status fra Ikke vurdert til Forsøk pågår. Og når dette skjer forsvinner oppgava di fra lista over oppgaver som skal rettes.
Da er vi i den kinkige situasjonen at studenten veit at de har levert, men oppgava er lista som ikke levert. Skulle sensorene på et eller annet vis oppdage at oppgava skal rettes, har de likevel ingen rettemulighet. Det er kun studenten sjøl som kan endre en innsendelse fra utkast lagra til levert. Igjen må man (hvis man oppdager det) kontakte studenten manuelt og be dem fikse innleveringa si.
Forslag til forbedring
Min generelle holdning er at det er noe lumpent gjort å kritisere noen uten å foreslå hvordan man kan forbedre seg. Så her er et enkelt forslag til hvordan man kan designe innleveringssidestolpen til å være tydeligere:
Footnotes
Jeg skal ikke gå nærmere inn på den intenst uintuitive prosedyren det er å sette opp innleveringa i Blackboard i første omgang. La meg bare si at jeg har sett kommunesammenslåinger med mindre komplekse opprettelsesmekanismer. Dersom du en gang får til å sette opp ei innlevering vil du framover bli instituttets de facto Blackboardinnleveringsguru.↩︎
Dersom du oppretter innleveringa med egenskapen at den tillatter studenter å levere for seint. Det er en mulighet for å ikke tillatte dette, som jeg tror mange faglærere intuitivt krysser av for. Det er derimot en oppskrift på tusen e-poster fra studenter som konkurrerer i å levere tettest innpå fristen og på grunn av et hikk i internettilkoblinga blir sperra fra å levere.↩︎
Det var faktisk akkurat slik jeg misforsto det da jeg undersøkte Blackboards innsendingsfunksjon. Og jeg var ikke en gang stressa!↩︎
Den vanlige gjengivelsen av Murphys lov er: “Hva enn som kan gå galt, vil gå galt”. Min tolkning av den er mer statistisk-realistisk: “Hva enn som kan gå galt, vil gå galt, gitt mange nok repetisjoner”. Gjengitt slik mener jeg vi kan hevde at Murphys lov er sann. I den grad vi kan vite noe om hva som er sant eller ei. La oss ikke komme inn på vitenskapsfilosofi akkurat nå. Poenget er at hvis vi har 1000 studenter som bruker Blackboard, vil en designfelle som rammer kun 1 % av brukerne faktisk hende i snitt 10 studenter.↩︎