Op woensdag 6 oktober 12.45 precies mag ik aan de Universiteit Twente mijn proefschrift verdedigen. Hieronder vind je de Nederlandse samenvatting zoals deze is opgenomen in het proefschrift.

Vermeulen, J. A. (2021). Diagnostic Mathematics Assessment in the Third grade. [Dissertation]. University of Twente. DOI: 10.3990/1.9789036552295

Het doel van dit proefschrift is via het ontwerp van diagnostische instrumenten voor rekenen-wiskunde een bijdrage leveren aan de formatieve assessmentpraktijk van leraren in groep 5. Cognitief diagnostisch assessment in rekenen-wiskunde beoogt het reken-wiskundigdenken van leerlingen te meten door het antwoordgedrag op diagnostische taken te verzamelen en analyseren. In dit proefschrift lag de focus op schriftelijk antwoordgedrag op de lege getallenlijn (hoofdstukken 2, 3 en 4) en overbruggingsfouten binnen aftrekken over het tien- en honderdtal (hoofdstukken 5 en 6). De studies beschreven in dit proefschrift beoogden een bijdrage te leveren aan de volgende onderzoeksvragen:

1. Welk type antwoordgedrag is diagnostisch relevant voor formatieve beslissingen in rekenen-wiskunde in groep 5?
2. Welke kenmerken moeten diagnostische taken hebben om antwoord gedrag dat relevant is voor formatieve beslissingen te verzamelen?

Hoofdstuk 1 bevat de algemene introductie van het proefschrift waarin beschreven wordt wat de noodzaak is van diagnostisch assessment. Het beschrijft ook de achtergrond van het Improving Classroom Assessment (ICA) project waar dit promotietraject deel van uitmaakt. Diagnostisch assessment is een cyclisch proces gericht op het vaststellen van domein-specifieke onderwijsbehoeften op basis van het reken-wiskundig denken van leerlingen. Diagnostische taken en raamwerken worden gebruikt om diagnostische hypothesen te testen die informatie geven over specifieke onderwijsbehoeften van individuele leerlingen (zie Figuur 1.1). Het hoofdstuk sluit af met een overzicht van de studies en onderzoeksvragen die in de verschillende hoofdstukken worden beantwoord.

Hoofdstuk 2 presenteert een diagnostisch raamwerk voor meercijferig aftrekken met de lege getallenlijn (ENL). Op basis van een literatuurstudie zijn drie perspectieven ontworpen waarmee het antwoordgedrag van leerlingen op de ENL kan worden geanalyseerd. Het eerste perspectief is gericht op procedurele en conceptuele ontwikkeling binnen meercijferig aftrekken. Perspectief twee richt zich op het diagnosticeren van fouten, misconcepties en zelf-regulering. Tot slot richt het derde perspectief zich op de conceptuele kennis van de ENL. Vervolgens zijn deze drie perspectieven toegepast op 600 oplossingen op de ENL die zijn verzameld bij 30 groep-5-leerlingen van twee basisscholen. Aanvullend zijn de twee groep-5-leraren geïnterviewd over het gebruik van de ENL in didactiek en toetsing. De resultaten laten zien dat het diagnostische raamwerk concrete handvatten biedt voor het analyseren van het antwoordgedrag van leerlingen op de lege getallenlijn. Hieruit blijkt dat de ENL vooral geschikt is voor het vaststellen van fouten die voortkomen uit een – tijdelijk – gebrek aan zelfregulatie en minder geschikt is voor systematische fouten. Om de drempel voor het implementeren van het raamwerk te verlagen zijn op basis van de analyses van de 600 ENL oplossingen formatieve interventies opgesteld.

Hoofdstuk 3 gaat in op de voordelen van tablettechnologie voor het verzamelen en analyseren van antwoordgedrag in vergelijking met papieren taken. Tablettechnologie heeft voordelen omdat het analyseproces geautomatiseerd kan worden, het kan echter ook het antwoordgedrag van leerlingen beïnvloeden. Dus het gebruik van tablettechnologie kan gevolgen hebben voor het meten van het reken-wiskundig denken van leerlingen. Op twee momenten zijn 123 groep-5-leerlingen getoetst met een papieren of tablet ENL-taak waarbij de getallenlijn vrijwillig gebruikt kon worden. In de analyses is zowel naar verschillen tussen als binnen leerlingen gekeken. Hieruit bleek dat leerlingen in de tablet conditie vaker verkorte hoofdrekenstrategieën gebruikten dan de leerlingen in de papieren conditie. Uit de ANCOVA voor verschillen tussen leerlingen bleek echter dat er – wat betreft de ENL-frequentie en taakscore – geen signifante verschillen zijn tussen de condities papier en tablet. Uit de ANCOVA voor verschillen binnen leerlingen bleek dat leerlingen die tijdens het eerste afnamemoment de papieren taak maakten, tijdens het tweede afnamemoment minder vaak de ENL gebruikten in de tablettaak. Aanvullend bleek dat leerlingen die tijdens het eerste afnamemoment de papieren taak maakten tijdens het tweede afnamemoment op de tablet significant meer fouten maakten.

Hoofdstuk 4 beschrijft een studie naar de relatie tussen taakopvattingen over de ENL, rekenvaardigheid, geslacht en vrijwillig gebruik van de ENL (ENL-frequentie) in meercijferig optellen en aftrekken. 123 leerlingen van negen Nederlandse basisscholen namen deel aan dit onderzoek. Uit een multilevel-padanalyse bleek dat de relatie tussen rekenvaardigheid en ENL-frequentie werd gemedieerd door taakopvattingen over de ENL. Er werden geen verschillen gevonden tussen jongens en meisjes. Tot slot lieten de resultaten zien dat taakopvattingen over de ENL en de ENL-frequentie per klas verschilden. In de discussie wordt beargumenteerd hoe klascultuur en de taakopvattingen van de leraar over de ENL de taakopvattingen en ENL-frequentie van individuele leerlingen kan hebben beïnvloed. Geconcludeerd kan worden dat in het ontwerpen van diagnostisch assessment voor het reken-wiskundigdenken van leerlingen rekening gehouden moet worden met de mogelijke invloed van affectieve en conatieve processen op cognitieve processen.

In Hoofdstuk 5 wordt de diagnostische capaciteit van meercijferige aftrekopgaven met verschillende kenmerken geëvalueerd. De itemkenmerken die zijn onderzocht waren: open en meerkeuze items, kale en context items (zonder afbeelding) en verschillende getalskenmerken. Diagnostische capaciteit werd gedefinieerd als de mate waarin meercijferige aftrekopgaven geschikt zijn om overbruggingsfouten – zoals de smaller-from-larger te ontlokken. Het ging hierbij om opgaven zoals 1000 – 680 = waarvoor overbrugging van het tiental of honderdtal noodzakelijk was. Itemresponstheorie is gebruikt om de itemparameters te schatten. Vervolgens zijn deze itemparameters gebruik in twee ANOVAs om de diagnostische capaciteit van open versus meerkeuzeopgaven, kale versus contextopgaven en drie categorieën van getalskenmerken te vergelijken. Zoals verwacht bleken meerkeuze items een hogere diagnostische capaciteit te hebben dan open items. Interessanter was echter het resultaat dat het aantal positiewaarden (n) in het aftrektal en de aftrekker de diagnostische capaciteit bepaalde. Items uit de categorie 3/4n – 3n, zoals 1000 – 680 = hadden de hoogste diagnostische capaciteit. Daarentegen hadden items uit de categorie 3/4n – 2n, zoals 1000 – 20 de laagste diagnostische capaciteit.

Hoofdstuk 6 beschrijft een studie naar de relatie tussen overbruggingsfouten en rekenvaardigheid. In de studie participeerden 694 groep-5-leerlingen en 35 leerkrachten van 25 Nederlandse basisscholen. Multilevel regressieanalyses lieten zien dat – na controle voor het totaal aantal fouten ‑ het aantal overbruggingsfouten positief samenhangt met de rekenvaardigheid. Dit betekent dat leerlingen die verhoudingsgewijs meer overbruggingsfouten dan andere fouten maakten gemiddeld genomen een hogere rekenvaardigheid hadden. Dit resultaat impliceert dat het diagnosticeren van overbruggingsfouten vooral geschikt is voor leerlingen met een bovengemiddelde rekenvaardigheid. De diagnose van overbruggingsfouten geeft informatie over waar in hun procedurele en conceptuele ontwikkeling binnen aftrekken deze leerlingen staan. De discussie in dit hoofdstuk gaat in op de praktische implicaties van dit resultaat voor het ontwerpen en gebruiken van een diagnostische toets gericht op overbruggingsfouten.

Tot slot presenteert Hoofdstuk 7 een algemene discussie van de resultaten uit de studies in dit proefschrift. Op basis van de resultaten en de methodologische beperkingen van dit promotieonderzoek worden er twee richtingen voor vervolgonderzoek besproken. De eerste onderzoeksrichting heeft betrekking op het combineren van ontwerponderzoek met het trainen van leraren in het gebruik van diagnostisch assessment binnen een cyclus van formatief assessment. De tweede onderzoeksrichting heeft betrekking op het gebruik van technologie in het ontwerp van diagnostisch assessment. Tot slot wordt beargumenteerd hoe de resultaten van dit onderzoek geïntegreerd kunnen worden in de lerarenopleiding voor aankomende en de nascholing voor werkzame leraren. Voor werkzame leraren kan specialistische training op het gebied van diagnosticeren met de getallenlijn of het diagnosticeren van overbruggingsfouten een bijdrage leveren aan formatief assessment binnen rekenen-wiskunde. Voor aankomende leraren op de pabo is dit wellicht te specifiek en zou – in de context van formatief assessment – vooral aandacht besteed moeten worden aan welk type reken-wiskundetaken geschikt zijn voor het meten van het reken-wiskundig denken van leerlingen en het diagnosticeren van bijbehorende onderwijsbehoeften.