Manon Bonefaas

Passie voor onderwijs en ICT

kwaliteit, toetsing

Vraaganalyse: gebruik je verstand!

toetsvraag

Nu de toetsen gemaakt zijn wordt het tijd voor een vraaganalyse.

Bij de vraaganalyse kijk je naar de gemakkelijkheidindex: de p-waarde.

Je kijk ook naar de a-waarde (de score van de afleiders) en de Rit-waarden.

Mooi dan ben ik klaar.

Nope.

Voorbeeld:

Kijk hier maar eens naar:

toetsvraag walkmanDit is een klassieke fout bij het construeren van vragen. De toetsconstructeur heeft impliciete kennis die toegepast wordt in de vraag.

Impliciete kennis is kennis die we over het hoofd zien omdat het zo vanzelfsprekend is.

In toetsvragen heb je hier last van. Degene die de toetsvraag controleert kan immers dezelfde impliciete kennis hebben.

Bij een vraaganalyse kan je dit eruit halen. Bijvoorbeeld wanneer de analyse voor deze vraag een extreem lage p-waarde heeft.

Maar wat nu als de helft van de studenten wel weet wat een Walkman en een Diskman zijn?

Zij beantwoordden de vraag beter dan de groep die niet op de hoogte was.

De p-waarde wordt gemiddeld en de Rit-waarde kan er ook nog mee door.

Toch zou deze vraag afgekeurd moeten worden.

Nog een voorbeeld:

toetsvraagDeze vraag is niet te beantwoorden.

Behalve als je weet waar Jan woont.

Ik verwacht dat veel leerlingen de aanname gedaan hebben dat Jan in Delft woont.

Maar het staat nergens.

Vraaganalyse levert waarschijnlijk niets bijzonders op omdat veel leerlingen de aanname doen dat Jan vertrekt uit Delft. Wanneer je de vraag nog eens leest zou je er wel achter kunnen komen dat de vraag niet klopt. Misschien hebben sommige leerlingen er ook opmerkingen over gemaakt.

En nog een voorbeeld uit een HAVO toets informatica:

toetsvraag-project

Wat is het juiste antwoord?

Volgens deze toets hoort communicatie er niet bij.

Op twitter heeft Claire Boonstra de thread gestart.

Alle varianten kwamen als antwoord voorbij.

De bedoeling van de toetsvraag was te vragen naar de elementen in een projectplan. Maar zelfs dan kun je discussiëren over de juistheid van het antwoord.

Hopelijk heeft de p- en a-waarde analyse duidelijk gemaakt dat deze vraag niet goed is.

Maar wat als de vraaganalyse oké is?

Dan kijk je nog eens kritisch door je toets heen.

Je kijkt naar de opmerkingen die leerlingen maken.

toetsvraag-maatschappijleer

Nu weet je dat je een punt hebt weggeven 🤣.

En je kijkt naar de ‘fouten’ die leerlingen maken.

test cito

In dit geval is het goede antwoord vliegtuig.

Maar wat te denken van vrachtwagen. Een vrachtwagen vervoert geen mensen de andere drie wel.

Juist dat is ook goed!

In de vraaganalyse kan naar voren komen dat vrachtwagen ongeveer even vaak geantwoord is als vliegtuig . In dat geval zou de analyse ertoe leiden dat deze vraag afgekeurd wordt of aangepast.

Conclusie:

Het is belangrijk om naar de inhoud van de vraag en de antwoorden te kijken.

Niet alleen op grond van de analyse oordelen.

Vraaganalyse moet je met je gezonde verstand doen.

Geef een reactie

Deze website gebruikt Akismet om spam te verminderen. Bekijk hoe je reactie-gegevens worden verwerkt.

Thema door Anders Norén

%d bloggers liken dit: