Rapportcijfers geven, werkt dat?

Op de blog van onderwijskunde in Utrecht staan de resultaten samengevat van een interessant Nederlands onderzoek dat is gedaan naar het effect dat cijfers hebben op leerlingen van de brugklas: Rapportcijfers geven, werkt dat? Er is in het onderzoek gekeken naar de emoties die cijfers opleveren en naar de betrokkenheid bij school als mogelijk gevolg hiervan.

Kort, een aantal resultaten, zoals door Jeroen Janssen samengevat in de blogpost:

• Dalende betrokkenheid: Gedurende het brugklas jaar daalde de emotionele en gedragsmatige betrokkenheid bij school van de deelnemende leerlingen. Deze is voor emotionele betrokkenheid sterker voor jongens dan voor meisjes.
• Rapportcijfers voorspellen betrokkenheid: Leerlingen die hogere rapportcijfers halen op meetmoment twee ervaren ook hogere emotionele en gedragsmatige betrokkenheid op meetmoment drie.
• Emotionele reacties mediëren de relatie tussen rapportcijfers en betrokkenheid: Leerlingen die hogere rapportcijfers halen, ervaren meer positieve emoties naar aanleiding van hun rapport; deze positieve emoties voorspellen op hun beurt de emotionele en gedragsmatige betrokkenheid van leerlingen.
• Perceptie van de prestaties van klasgenoten doet ertoe: Het indirecte effect van rapportcijfers, via negatieve emoties, op emotionele betrokkenheid bij school is sterker wanneer leerlingen inschatten dat hun klasgenoten hogere rapportcijfers halen.
• Sekseverschillen: Meisjes haalden hogere rapportcijfers dan jongens. Meisjes ervoeren minder negatieve emotionele reacties naar aanleiding van hun rapportcijfers. Het indirecte effect van rapportcijfers, via negatieve emoties, op emotionele betrokkenheid is sterker voor jongens. Jongens reageren dus sterker op slechte cijfers dan meisjes.

De resultaten van het onderzoek sluiten aan bij het bestaande beeld dat cijfers een gevolg zijn van de betrokkenheid bij school en geven aan dat zij hier ook voorspellers van zouden kunnen zijn. Opvallend zijn de dalende betrokkenheid bij alle leerlingen in de brugklas en de verschillen tussen meisjes en jongens.

Op twee opmerkingen die de auteurs maken in hun artikel wil ik graag even wat dieper ingaan.

De vraag of scholen nu moeten stoppen met het geven van toets- en rapportcijfers wordt door de auteurs beantwoord met ‘nee’, met als reden: “Grades can provide vital information to teachers, students, and parents and can be used to enhance both teaching and learning”.

Hierover kun je van mening verschillen. Het testen van de kennis en vaardigheden van leerlingen geeft informatie aan leerling en docent en kan door beiden gebruikt worden om gerichter te werken. Dit wil echter niet zeggen dat hier direct cijfers aan gekoppeld moeten worden, op een manier zoals die nu gebruikelijk is in brugklassen. Het cijfer zelf is een relatieve maat en geeft geen inzicht in waar kennis of vaardigheden onvoldoende aanwezig zijn, hoe dit eventueel te verbeteren en zeker niet of en in hoeverre verbetering haalbaar is voor een individuele leerling. De ene zeven is de andere niet.

De auteurs willen docenten, terecht, opmerkzaam maken op de negatieve gevolgen van het krijgen van slechte cijfers en doen een aanbeveling om dit effect zoveel mogelijk te beperken: “negative effects of grades may be prevented when teachers convey the message to their low-performing students that their difficulties are likely to be temporary and that when they exert more effort and use the right strategies they will be able to perform better“.

Hierover verschil ik van mening, om verschillende pedagogische en didactische redenen.

Harder werken als oplossing suggereren, zonder enige nuance, beschouw ik als “lui lesgeven”. Bij mij komt dan toch heel snel weer het beeld naar boven van de talendocent die zegt: “Woordjes leren kan iedereen”. Maar dat is niet zo. (Diezelfde talendocent die tijdens een cursus voor het docententeam zegt: “Ik kan gewoon niks met computers.” 😄). Het gebeurt helaas in de praktijk wel nog steeds regelmatig. Zeggen dat een leerling harder moet werken zonder te weten of hij/zij dit kan, zonder te weten hoe de leerling heeft gewerkt, zonder aan te geven hoe de leerling dit zou moeten doen. Zeggen dat een leerling harder moet werken zonder een verder individueel gesprek is vrijwel zinloos en mogelijk zelfs contra-productief. Misschien heeft een leerling zijn uiterste best gedaan en kan hij/zij niet harder werken, dan zal zo’n opmerking zeker geen positieve bijdrage leveren. Harder werken heeft weinig zin als dit betekent dat hetzelfde vaker gedaan gaat worden. Na dit drie keer gedaan te hebben nog drie keer het hele hoofdstuk doorlezen leidt niet tot betere beklijven.

Aangeven dat resultaten mogelijk beter zullen worden wanneer leerlingen de juiste strategie gaan gebruiken is een stap in de goede richting. Ook hier zal een docent echter meer moeten doen dan dit alleen benoemen om een, blijvend, effect te bereiken. De docent zal moeten weten welke strategie de leerling gebruikt heeft en of de leerling bekend is met andere beschikbare strategieën voor het vak of het onderdeel. Een docent moet in staat zijn de leerling te overtuigen dat een andere strategie mogelijk beter werkt. De basis voor verbetering ligt dus ook hier in het gesprek dat de docent met de leerling aangaat over de oorzaken van de behaalde resultaten en de mogelijkheden tot verbetering.

 

Het volledig onderzoek is terug te vinden op: Do Grades Shape Students’ School Engagement? The Psychological Consequences of Report Card Grades at the Beginning of Secondary School. Poorthuis, Astrid M. G.; Juvonen, Jaana; Thomaes, Sander; Denissen, Jaap J. A.; Orobio de Castro, Bram; van Aken, Marcel A. G. Journal of Educational Psychology. Advance online publication.

 

Grotere leerwinst door begeleiding leerkrachten bij gebruik formatieve toetsen

In mijn ontwikkeling als docent ben ik een steeds grotere voorstander geworden van het gebruiken van formatieve toetsen en probeer ik deze dus ook zoveel mogelijk toe te passen in mijn eigen praktijk. Ook probeer ik de kennis hierover, en mijn ervaringen hiermee, zoveel mogelijk te delen met mijn directe collega’s op school, collega’s die ik waar dan ook tegenkom, en hier op mijn blog.

Vandaar dat ik de hieronder beschreven resultaten van een onderzoek naar gebruik van formatieve toetsen, zoals deze zijn gepubliceerd door het NRO op hun website integraal wil delen. Een linkje via een tweet volstaat hier niet.

Een extra reden is dat er een zin in voorkomt die volgens mij algemeen geldend is voor verbetering van onderwijs en professionalisering van docenten. Leren kan niet alleen.

“De toetstechnieken in een boekje beschrijven en dat uitdelen onder leraren, werkt niet”

De tekst van het artikel op de site van het NRO:

Als leerkrachten in het reken-wiskundeonderwijs op de basisschool worden ondersteund bij het gebruik van formatieve toetstechnieken presteren de leerlingen beter. Dit blijkt uit onderzoek van de Universiteit Utrecht. Formatieve toetsen laten zien wat leerlingen al kennen en kunnen, zodat leerkrachten hun onderwijs daarop kunnen aanpassen.

In het rekenen-wiskundeonderwijs is het al heel gebruikelijk om formatieve toetsvormen toe te passen. Uit een vragenlijst onder ruim 1000 leraren blijkt dat zij formatieve toetsen vaker gebruiken dan summatieve toetsen, die vooral bedoeld zijn om een cijfer te geven. Een formatieve toetsvorm is bijvoorbeeld werk van leerlingen nakijken om op basis daarvan nieuwe instructie te geven”, vertelt Michiel Veldhuis die op 24 juni op dit onderwerp promoveert aan de Universiteit Utrecht. “Leraren doen echter nog weinig met nieuwe inzichten over toetsen. Ze gebruiken bijvoorbeeld nauwelijks opgaven waarin leerlingen kunnen laten zien wat ze al weten.”

Leerwinst

Om de toetspraktijk te verbeteren, hebben de onderzoekers een set formatieve toetstechnieken ontwikkeld voor het reken-wiskundeonderwijs in groep 5. In een onderzoek is gekeken of deze toetstechnieken effectief zijn. Daartoe werden leerkrachten in drie workshops van een uur begeleid in het gebruik van de technieken. De leerlingen van deze leerkrachten bleken na een half jaar, tussen medio en eind groep 5, acht punten vooruit te zijn gegaan op het Cito-leerlingvolgsysteem. De leerlingen uit de controlegroepen gingen ruim vijf punten vooruit.

Begeleiding leraren

Leerkrachten daarbij ondersteuning bieden blijkt belangrijk. De leerkrachten die drie werkgroepen volgden, konden de technieken met collega’s bespreken en erop reflecteren. Alleen hún leerlingen boekten extra leerwinst. “De toetstechnieken in een boekje beschrijven en dat uitdelen onder leraren, werkt niet”, zegt promotor en mede-onderzoeker Marja van den Heuvel-Panhuizen. “Leraren moeten op weg worden geholpen en vervolgens moeten zij hun ervaringen met anderen kunnen delen. Dat geeft hun vertrouwen om de toetsvormen te gebruiken.”

Leuk! Rekenspelletjes doen

De onderzoekers hebben bewust korte, makkelijk te gebruiken toetstechnieken ontwikkeld, die dicht tegen de gangbare rekenen-wiskundemethodes aanzitten. “We hebben geen vast protocol gemaakt”, vertelt Veldhuis, “maar hun werkvormen gegeven die zij zelf konden aanpassen aan de praktijk. De leerkrachten bedachten variaties op wat wij hun aanreikten. Zowel leraren als leerlingen vonden het leuk om met deze technieken te werken. De kinderen vroegen regelmatig wanneer ze weer rekenspelletjes gingen doen.”

Enthousiaste toetsers

“Ten slotte hebben we onderzocht wat voor toetsgedrag leraren laten zien. Op basis van antwoorden uit de eerder genoemde vragenlijst, hebben we vier toetsprofielen van leraren gemaakt.” De grootste groep leerkrachten hoorde bij het profiel van de mainstream toetsers (ruim 35 procent). Dat zijn de leraren die rechttoe rechtaan gebruikmaken van zowel formatieve als summatieve toetsen. Dan is er de groep enthousiaste toetsers, die veel en bewust gebruikmaken van verschillende soorten toetsen. De derde groep zijn de minder enthousiasten, die toetsen niet zo nuttig vinden en ze dus ook niet zo vaak afnemen. De laatste groep zijn de alternatieve toetsers, die toetsen noch belangrijk noch nuttig vinden, maar wel zelf toetsen maken en aanpassen. “Deze profielen helpen om begeleiding op maat te kunnen bieden”, besluit Veldhuis.

Dit promotieonderzoek maakt deel uit van het project Improving Classroom Assessment uit het onderzoeksprogramma Rekenen in het primair onderwijs.

Veldhuis, Improving classroom assessment in primary mathematics education. Universiteit Utrecht, 2015.

 

Eerste indrukken eindexamen biologie 2015

Gisteren was het eindexamen biologie voor het vwo. Na afloop werd ik gebeld om mijn eerste indrukken te delen met scholieren.com. Dit is wat er niet veel later op hun website te lezen was.

---

 

 

Voor ruim 20.000 vwo’ers stond op woensdagmiddag biologie op het programma. En dat is altijd zo’n examen waarvan je niet weet wat je kunt verwachten. Maar het examen sloot prima aan op de geleerde stof.

Marieke Gelderblom is blij met hoe het ging. “Het was een vrij standaard examen met de verwachte onderwerpen zoals ecologie, afweer en dna”, vertelt Marieke. “Sommige vragen waren echt pittig, maar ik vond het niveau goed. Het was best een kort examen.”

Ook vwo’er Daniëlle Fluks stond snel weer buiten. “Al na anderhalf uur zelfs”, vertelt ze opgewekt. “Ik heb expres de moeilijke examens geoefend en daar zaten veel inzichtvragen in. Bij dit examen viel dat mee, ik kon echt veel opzoeken in mijn BINAS. Mijn klasgenootjes vonden het ook een prima examen, heel standaard eigenlijk en bijna elk onderwerp kwam aan bod.”

Minder ecologie

Het onderwerp dat veel scholieren meer hadden verwacht, was ecologie. “De afgelopen jaren werd er in de examens veel aandacht aan besteed”, vertelt scholier Yvano Aguiar. “Ik was blij dat dit examen gevarieerder was, bijna alles kwam aan bod. Het enige wat ik gek vond was een vraag over dna, dat was meer forensisch dan biologie.”

Dat het een examen met veel variatie was, vond ook Hilde van Burgeler. “Eigenlijk zat elk onderwerp wat ik had verwacht erin en mijn klasgenootjes vonden dat ook”, vertelt ze. “De lessen en oefenexamens hebben me goed voorbereid. Ik was ruim op tijd klaar en heb mijn resterende tijd gebruikt om alles rustig na te kijken. Ik ben tevreden.”

Een goede mix

Docent Frans Droog van het Wolfert Lyceum in Bergschenhoek vond het een degelijk biologie-examen. “Zoals hij hoort te zijn. Het was een goede mix van onderwerpen met hier en daar een lastige vraag, maar over het algemeen niet te moeilijk”, vertelt hij. “De afgelopen jaren kwam er enorm veel ecologie voor in de examens, maar dit jaar was dat een stuk minder. Dat is een goede zaak wat mij betreft. Ook de lengte was prima, ik denk niet dat er veel leerlingen in tijdnood zijn gekomen.”

Bij het LAKS zijn om 18:00 pas 600 klachten binnen.

---

 

Ik denk en hoop dat mijn leerlingen goed waren voorbereid en dat ze het examen als goed te doen hebben ervaren. We gaan het zien. Een aantal vragen heb ik reeds kunnen nakijken. Logischerwijs kan ik daarover nog niets vertellen. Dat zal ik zeker op een later moment op deze plaats wel doen. Ik ben benieuwd naar de landelijke ervaringen en ook wel een beetje naar die vermaledijde N-term. Laat die niet zo verrassend zijn als de jaarlijkse schommeling in de WOZ-waarde van mijn huis.

Eindexamen

Strak plannen goed gevoel blije gezichten

 

De afgelopen week was er bij ons op school toetsweek. Om helemaal accuraat te zijn, voor de bovenbouw begon de toetsweek al op de donderdag vóór de toetsweek. Zij hadden op dat moment al geen lessen meer, de onderbouw nog wel.

 

Voor mij als docent betekende dit het volgende:
De eerste donderdag: drie reguliere lesuren, een van mijn klassen een toets.
De eerste vrijdag: vijf reguliere lesuren, ik twee uur toets-surveillance, een van mijn klassen op dat moment een toets.
Maandag: zes lesuren toets-surveillance, geen toetsen
Dinsdag: geen surveillance, twee van mijn klassen ’s middags een toets.
Woensdag: drie lesuren uur surveillance ’s morgens, ’s middags een van mijn klassen een toets.
Donderdag: twee lesuren surveillance, twee van mijn klassen een toets op dat moment een toets.
Vrijdag: twee lesuren surveillance ’s morgens, ’s middags een van mijn klassen een toets

Strak plannen

Wat ik dus vooraf had ingepland zodra bovenstaand schema bekend was:
De eerste donderdag: lesgeven, surveilleren, een toets nakijken.
De eerste vrijdag: lesgeven, surveilleren, een toets nakijken.
Maandag: surveilleren.
Dinsdag: naar school te rijden om toetsen op te halen, twee toetsen nakijken.
Woensdag: surveilleren, wachten op de gemaakte toets, een toets nakijken.
Donderdag: surveilleren, twee toetsen nakijken.
Vrijdag: surveilleren, wachten op de gemaakte toets, een toets nakijken.

Hoe het verliep:
Alle acht toetsen zijn nagekeken op de dag dat de toetsen werden gemaakt. Dit is zoals altijd horizontaal gedaan, waarbij regelmatig de volgorde van de toetsen is gewisseld.
Alle 185 cijfers zijn ingevoerd op de dag dat de toetsen waren gemaakt. Dit is allereerst gedaan in een excel file, om een analyse naar de kwaliteit van de vragen te kunnen maken, om de resultaten naar type vraag of onderwerp te kunnen onderverdelen en analyseren en om het effect van verschillende normeringen te kunnen zien. Na het bepalen of er aanpassingen nodig waren aan de vooraf vastgestelde normering zijn de cijfers vervolgens in het school administratieprogramma Magister ingevoerd.
In totaal heeft het nakijken en verwerken van de toetsen ongeveer 35 uur in beslag genomen.

Goed gevoel

Het heeft mij een goed gevoel gegeven dat het weer gelukt is de toetsen op de dag zelf te hebben nagekeken. Als docent vind ik dat je een voorbeeld moet vormen en dat dit een van de momenten is dat je dit kunt doen. Ik heb mij daarom al vroeg in mijn carriere als docent voorgenomen zoveel als maar enigszins mogelijk toetsen direct na te kijken en hiervoor dus vooraf al tijd voor in te plannen.

Het betekent wel dat de toetsweek een drukke week is en het lukt dan ook niet elke toetsweek om alle toetsen op de dag zelf na te kijken. Dit hangt natuurlijk ook mede af van de verdeling van de toetsen door de week en eventuele andere verplichtingen. Ik blijf daar wel naar streven en de volgende dag is voor mij echt de limiet.

Het goede gevoel dat ik krijg van de inspanningen om alle toetsen op dezelfde dag nog na te kijken lijkt wel op het goede gevoel dat ik vroeger kreeg van het trainen voor het rennen van een marathon (en nu van het trainen voor het wandelen van een marathon). Tijdens de inspanning is het niet altijd even plezierig maar de ervaring dat de beloning na afloop er zal zijn maakt het gemakkelijker de inspanning te blijven leveren.

Blije gezichten

De leerlingen die ik gedurende de week tegenkwam toonden blije gezichten, omdat zij het resultaat van hun inspanningen zo snel hadden gekregen. De cijfers terug krijgen op dezelfde dag ervaren zij als heel plezierig en als teken van een betrokken docent. Gelukkig konden verreweg de meesten ook blije gezichten tonen vanwege de behaalde resultaten. Deze blije gezichten zie ik voor mij als ik zit te zwoegen tijdens het nakijken en er even geen zin meer in heb.

Uitzondering

Normaal gesproken kijk ik toetsen horizontaal en wissel ik de volgorde regelmatig. Deze toetsweek heb ik één uitzondering gemaakt. Na afloop van de toets stond een leerling in de gang te huilen en zij werd getroost door haar vriendinnen. Ik vroeg of ik ergens mee kon helpen en het bleek dat zij ‘mijn’ toets ‘volledig verpest’ had, ze was ‘ineens alles vergeten’. Ik vertelde haar dat mijn ervaring mij vertelde dat dit wel zou blijken mee te vallen en vroeg haar naar een paar van haar antwoorden. Deze bleken goed, maar ze ‘had een hele hoop vragen niet gemaakt’.

Thuisgekomen heb ik haar toets als eerste volledig nagekeken en haar direct een mailtje gestuurd met het resultaat. Ik kreeg onmiddellijk een bedank mailtje terug. Dit gaf mij een goed gevoel en ik zag haar blije gezicht voor me. De volgende dag zag ik het blije gezicht echt voor me en kreeg ik een high-five. Zij straalde en ik werd verwarmd. Beide hadden we weer iets gedeeld en iets geleerd.

Wat er nu gaat gebeuren.

Het mooiste zou zijn als de toetsen DIRECT na afname besproken zouden kunnen worden. De leerlingen staan dan namelijk volledig OPEN. Dit is zeer duidelijk merkbaar in een toetsweek, waarbij na elke toets te horen is hoe de leerlingen op de gang intensief de al dan niet juiste antwoorden met elkaar uitwisselen. Wanneer je daar als docent toevallig zelf bij staat kun je daar een hoop feedback kwijt en zelf ook een hoop van leren. Helaas is dit directe bespreken in de opzet van een toetsweek niet mogelijk.

Komende week zullen alle toetsen met de leerlingen worden besproken. Dit gebeurt zowel inhoudelijk (wat zijn de goede antwoorden en waarom), als toets-technisch (waar zitten onduidelijkheden over formuleringen van vragen, hoe structureer je het best je antwoorden). Dit laatste is vooral bij de bovenbouw klassen in toenemende mate van belang. Zij hebben in toenemende mate richting het eindexamen te maken met voorgeschreven antwoordmodellen volgens welke zij beoordeeld dienen te worden (CITO). De toets-technische bespreking is voor de leerlingen ook belangrijk omdat het hen helpt bij het leren leren.

De leerlingen krijgen hun toetsen terug en gaan allereerst in twee-, drie- of viertallen op zoek naar de juiste antwoorden, de reden dat dit het goede antwoord is en de reden dat zij dit antwoord (nog) niet wisten. Indien zij vragen hebben over de vragen of antwoorden noteren zij deze. Tijdens deze eerste fase beantwoord ik (nog) geen inhoudelijke vragen.

Om dit proces te vergemakkelijken zijn de toetsen voorzien van een aantal korte feedback codes:
?  = wat bedoel je hiermee of weet je zeker dat het klopt wat daar staat
.  = docent heeft extra uitgebreid naar dit antwoord gekeken
~  = het antwoord zit in de goede richting maar de formulering is onvoldoende
S  = het stappenplan is niet of niet goed doorlopen
F  = gebruikte formules zijn niet vermeld
” ”  = dit antwoord is onvolledig of onduidelijk geformuleerd en zal een volgende keer niet meer goed gerekend worden
= bijzonder goed, zeer goed geformuleerd of zeer moeilijke vraag juist beantwoord

Vervolgens worden de juiste antwoorden op het bord geprojecteerd en kunnen de leerlingen deze vergelijken met wat zij zelf al dan niet gevonden hebben tijdens de eerste stap.

Hierna bespreek ik de antwoorden op een aantal vragen die mij tijdens het nakijken op een of andere wijze zijn opgevallen. Dit kan zijn doordat ze verrassend vaak foutief zijn beantwoord, waarbij ik de reden probeer te benoemen, of doordat zij uitermate geschikt zijn om het toets-technische onderdeel te belichten. Ik laat de leerlingen die deze vragen bijzonder goed hebben beantwoord hierbij hun antwoord oplezen.

Dan volgt het beantwoorden van de door leerlingen genoteerde vragen die nog zijn overgebleven. Dit volgt in essentie hetzelfde stramien, waarbij opnieuw de focus ligt op oorzaak en gevolg. Ik probeer de antwoorden op de vragen door andere leerlingen te laten geven, voor zover dit kan.

Als laatste kunnen leerlingen op de toets aangeven of zij denken dat een beoordeling van hun antwoord, na alle voorafgaande stappen, niet correct is of dat er mogelijk een fout in de puntentelling heeft plaatsgevonden. Afhankelijk van de hoeveelheid beschikbare tijd probeer ik dit nog tijdens de les te controleren. Dit lukt in de praktijk niet altijd.

Ik doe de bespreking van toetsen op deze manier om een aantal redenen.
Ik wil dat de leerlingen zoveel mogelijk leren van het bespreken.
Ik wil dat leerlingen (gaan) inzien dat je ook kunt leren na de toets. Het gaat er niet om wat je gisteren wist, het gaat er om wat je morgen weet.
Ik wil dat alle leerlingen aan bod komen en niet alleen de extroverten.
Ik wil dat leerlingen zich niet focussen op het cijfer alleen, hoewel dit natuurlijk wel ‘correct’ dient te zijn.

 

Toetsen tijd tabelletje

 

Afgelopen week was toetsen de activiteit waar ik, naast lesgeven, de meeste tijd aan heb mogen/moeten besteden.

Maandag heb ik twee toetsen afgenomen, beide digitaal. Eén via Edmodo en één via SMARTresponse.
Woensdag was er de tweede bijeenkomst van de cursus over RTTI toetsen, voorafgaand waaraan het nodige huiswerk mocht/moest worden gedaan.
Vrijdag heb ik drie toetsen afgenomen. Eén via Edmodo, één via SMARTresponse en één via papier.

Ik heb deze week veel geleerd. Over toetsen maken en toetsen afnemen.
Graag deel ik wat ik geleerd heb.

Ik heb naar de toetsen afgelopen week een klein onderzoekje gedaan.

De gegevens in een tabel:

Mijn tijdsbesparing  door digitaal te toetsen was deze week 12 uur, met analyse erbij 16 uur.

Ik kan ook zeggen:

door de tijdsbesparing door digitaal te toetsen heb ik tijd gecreëerd voor de analyse.

Ik geef aan 8 klassen les, dat zullen dit jaar dus ongeveer 48 toetsen gaan worden.

De tijdsbesparing door digitaal te toetsen zou hiermee……  per jaar 144 uur worden!

Dat is dus bijna…… vier weken!

Nu is de tijdsbesparing voor mij wel aardig :), maar het gaat natuurlijk om de leerlingen.
De leerlingen zien bij digitaal toetsen hun cijfer direct na de toets. Dat vinden zij plezierig.
De leerlingen zien direct wat zij goed hebben gedaan en wat zij nog niet goed hebben gedaan. Zij zijn in hun hoofd nog bezig met de toets, de stof, hun antwoorden. Ze staan open.
Ze staan open voor het goede antwoord. De docent kan dit direct laten zien en aangeven waarom dit het goede antwoord is.
De leerlingen krijgen direct feedback. De docent kan direct zien, zichtbaar maken en dus aangeven, waar algemene moeilijkheden zaten in de stof.
De leerling kan direct zien waar zijn specifieke problemen nog zitten. De docent kan deze benoemen, oorzaken aangeven en oplossingen bespreken.

Bij het een aantal dagen later retourneren en bespreken van een papieren toets is helaas alleen het cijfer zelf voor veel leerlingen nog van belang. Het hoofd staat niet meer open voor de informatie, het onderwerp of thema is ‘klaar’. Er wordt gezocht naar mogelijke fouten in het nakijken of er wordt een discussie gestart over de (on)juistheid van een gegeven antwoord. Niet om het antwoord te willen weten, maar om de punten die het misschien oplevert.

Digitaal toetsen kan niet altijd. Maar altijd als het kan dan doe ik het.

 

Leren door te testen, niet afleren door te toetsen

Toetsen staan recent meer dan gemiddeld ter discussie in het onderwijs. Er is een stroming die meer wil toetsen of meer gestandaardiseerd wil toetsen. Er is een stroming die minder wil toetsen of in ieder geval minder gestandaardiseerd. Er is een stroming die zich niet laat horen en het ofwel goed vindt zoals het is ofwel er zich niet druk over maakt.

Ik zou hier graag een onderscheid willen aanbrengen tussen testen en toetsen.

En dan pleit ik voor vaker testen en minder vaak toetsen.

Bezwaren die worden gemaakt tegen het afnemen van toetsen zijn dat zij tijd kosten, dat zij leerlingen onder druk zetten, dat zij iets meten zonder dat precies wordt geweten wat, dat zij cijfers genereren die een (absolute) waarde suggereren die er niet is of kan zijn, dat zij veel zaken die belangrijk zijn bij leren niet of nauwelijks (kunnen) bevragen. Toetsen worden ervaren als instrumenten om af te rekenen. Van het toetsen zelf wordt meestal niets geleerd. Toetsen, vooral gestandaardiseerd toetsen, leidt tot leren voor de toets.

Op zijn best worden toetsen gebruikt om leren te meten.

Dat zou veel meer kunnen zijn. Als er anders mee zou worden omgegaan. Als toetsen testen zouden worden.

Testen kunnen ook leiden tot leren.

Veel onderzoek laat zien dat veel van wat geleerd is snel weer wordt vergeten. Testen kunnen er voor zorgen dat dit minder het geval is en dat de retentie van kennis en informatie wordt verhoogd.

In een studie werd leerlingen een stuk  tekst aangeboden om te lezen. Vervolgens werd over een aantal passages uit de tekst een test afgenomen. De leerlingen werd gevraagd op te schrijven wat zij nog wisten van deze passages, dit bleek ongeveer 70%. De andere passages werden niet getest maar deze werden wel herlezen. Op deze manier werd de volledige tekst dus twee maal aangeboden. In een vervolgtest, 2 dagen of een week later, bleek dat de passages die waren getest veel beter waren onthouden dan de passages die waren herlezen.

De verklaring voor de resultaten is dat leerlingen die getest worden worden gedwongen informatie uit het geheugen op te halen en te gebruiken. Verschillende manieren van testen, indien correct uitgevoerd, zetten leerlingen aan om deze vaardigheid  te oefenen. Dit wijkt af van veel activiteiten die leerlingen in de klas moeten uitvoeren, luisteren, lezen, opdrachten maken met het boek erbij, welke vooral gericht zijn op het verkrijgen en opslaan van informatie. De toegenomen retentie na het afnemen van een test, het zogenaamde ‘testing effect’ of ‘retrieval practice effect’, versterkt het leren in de klas en zorgt voor een beter vastleggen in het geheugen.

Dit klinkt nogal vanzelfsprekend en dat is het tot op zekere hoogte ook. Toch wordt deze techniek nog weinig toegepast. Een uitdaging hierbij wordt gevormd door de vraag hoe dit soort testen structureel en effectief kunnen worden ingebouwd in een lesprogramma.

Onderzoek laat zien dat het belangrijk is dat de testen een vast onderdeel gaan vormen van de lessen en de manier waarop er wordt geleerd. De inzet hoeft niet altijd hoog moet zijn. Het hoeft niet onvoldoende/voldoende te zijn of zelfs voorzien te worden van een cijfer. Leerlingen in klassen die deze techniek gebruiken raken er aan gewend en maken het, zelfs na aanvankelijk sceptisch te zijn geweest, tot een onderdeel van hun routine. Zij leren steeds een beetje meer gedurende het jaar of het semester, een beetje zoals samengestelde rente, en aan het eind is een beetje studeren voldoende en er is niet langer een noodzaak tot blokken voor de toets.

Het systeem van het op deze manier leren door informatie uit het geheugen op te halen blijkt positief beïnvloed door een juiste spreiding van de testen, zodat een klein beetje vergeten kan optreden. De toegenomen inspanning nodig om de informatie terug te halen maakt het leren nog sterker. Ditzelfde geldt voor het variëren van de manieren waarop testen worden afgenomen.

Bij het toepassen van het onderzoek in de praktijk, op een middelbare school in Columbia, Illinois, bleek dat het leerlingen een gemiddelde van A- haalden voor stof die in de klas behandeld was en waar vervolgens drie keer een test over was afgenomen, vergeleken met een C+ voor stof die op dezelfde manier was behandeld en daarna drie keer opnieuw bekeken zonder te testen. Het voordeel van het afnemen van de testen was acht maanden later nog steeds aanwezig.

Onderzoek toont de waarde van minder toetsen en meer testen. Testen als een vast onderdeel van het leren. Meer, en meer gestandaardiseerd, toetsen leidt tot meer leren voor de toets. Meer en gevarieerd testen leidt tot meer leren en langer onthouden. Testen kunnen voor leerlingen een leidraad vormen om een heel jaar lang te leren en te leren leren, te ontdekken waar kennis en vaardigheden ontbreken en hier op bij te sturen. Het is waardevol voor docenten om leerlingen de voordelen van testen te laten ervaren, zodat zij de hiermee gewoontes kunnen ontwikkelen die tot succesvol leren leiden, een leven lang.

 

Bronnen:
How Tests Make Us Smarter, NY Times, Sunday Review, 18 July 2014, Henry L. Roedinger III

Het Nieuwe Leren, een klein praktisch voorbeeldje

Aan het eind van het schooljaar zijn er altijd wel een aantal zaken die leerlingen nog moeten inhalen of mogen herkansen. Gemiste opdrachten, gemiste toetsen, slecht gemaakte opdrachten, slecht gemaakte toetsen.

Ik had er dit jaar een aantal van deze.

Eén hiervan betrof de mogelijkheid om een aan het begin van het jaar slecht gemaakte toets, voor een vak dat al halverwege het jaar was afgesloten, aan het eind van het jaar ‘opnieuw’ te maken. Het betrof hier één leerling. Hij had het vak met een 5 afgesloten en dit zou hem mogelijk/waarschijnlijk beperken in zijn mogelijkheden bij de overgang.

Met deze leerling heb ik voor de uitvoer hiervan de volgende afspraken gemaakt voor op de inhaaldag.

1. De leerling krijgt een aantal verwerkingsopdrachten van telkens 1 lesuur.
2. De opdrachten worden digitaal aangeboden, via het LMS of de ELO Edmodo (meer info te vinden in een eerdere post: Edmodo, wat het is en dat het werkt). Ze zijn voorzien van de nodige bronnen.
3. De opdrachten worden ingeleverd als Google Documenten in een Google Drive map, die de leerling al eerder heeft aangemaakt tijdens de lessen en die met mij gedeeld is.
4. De leerling levert de opdracht in op Edmodo en geeft hierbij aan of hij nog vragen heeft.
5. De leerling krijgt feedback op zijn werk, direct in het Google Drive document. Dit kunnen antwoorden zijn op zijn vragen maar ook correcties of aanvullingen op zijn werk.
6. Aan het eind van de serie opdrachten volgt een toets. Deze wordt digitaal afgenomen, via Edmodo. De leerling ziet wanneer hij klaar is direct de behaalde score.

De uitvoering verliep als volgt.

Ik zat thuis. Ik hoefde dus niet 70 minuten te reizen om dit te kunnen begeleiden. Ik zie dit als een voordeel. Ik had de opdrachten vooraf klaar gezet en verstrekte ze zoals afgesproken. Ondertussen keek ik ongestoord en geconcentreerd toetsen na en verwerkte ik de gegevens. Af en toe wierp ik een blik op mijn computer.

De leerling zat op school, achter een laptop, in een lokaal met andere inhalers en in aanwezigheid van een surveillant. Hij kreeg van mij de opdrachten zoals afgesproken en ging er mee aan de slag.

Ik kon op Edmodo zien wanneer de leerling een opdracht had ingeleverd.

Ik kon in de Google Drive documenten de voortgang zien van de leerling en hier direct feedback op geven. Dit was vooral in de vorm van aanvullende vragen of suggesties.

De leerling kon mijn feedback lezen en hier op reageren.

Ik kon in de Google Drive documenten live zien wat de leerling typte. Ik kon zien waar hij zichzelf corrigeerde, of soms iets goeds in iets verkeerds veranderde. (Ik zou het hebben kunnen zien wanneer hij hele stukken zou hebben gekopieerd en geplakt). Ik kon volgen hoeveel tijd hij steeds nodig had.

Voor de meeste opdrachten bleek de leerling minder dan het geplande lesuur nodig te hebben. Hij kreeg de vervolgopdrachten dan ook eerder, zodra ik zag dat hij klaar was en mijn feedback had verwerkt.

De leerling kon door zijn reacties op mijn feedback mij laten zien of hij iets verkeerd had opgeschreven of iets verkeerd had begrepen. Ik kon daarop een inschatting maken van zijn begrip en hier op reageren. Ik leerde hier zelf van waar een aantal problemen met onderdelen van deze stof bij leerlingen zitten.

Ik vond een goede manier van werken en denk dat bovenstaand een klein praktisch voorbeeldje is van wat Het Nieuwe Leren zou kunnen zijn. Hier is vooral het onderdeel plaats-onafhankelijk gebruikt. Hetzelfde zou prima tijd-onafhankelijk kunnen worden uitgevoerd. Het betrof hier nu slechts één leerling, maar met meerdere zou middels de feedback ook prima gedifferentieerd kunnen worden.

De leerling was blij met de geboden mogelijkheid.

En behaalde het resultaat dat hij wenste op de afsluitende toets.

 

N-term terreur

Het is vanavond feest in vele huizen. Net als gisteren. Heel veel leerlingen zijn geslaagd voor hun eindexamen. Gefeliciteerd! Proficiat! Van harte! Proost!

Sommige leerlingen zijn niet geslaagd.

Sommige leerlingen zijn nog niet geslaagd.

Enkele dagen geleden schreef ik hier over mijn ervaringen bij het volgen van het foute antwoordmodel bij het nakijken van het eindexamen.

Het resultaat

Ik heb een hekel aan anekdotische verhalen, maar ga er voor het gemak maar van uit dat onderstaande niet het enige geval is in zijn soort, met zo’n 105.000 leerlingen in het vmbo en zo’n 93.000 in het havo en vwo die dit jaar eindexamen hebben gedaan.

Een van mijn leerlingen haalt voor mijn vak een 5,45, dit wordt afgerond naar een 5.

Met één punt meer zou deze leerling een 5,50 hebben gekregen en dit zou zijn afgerond naar een 6. Niets aan de hand.

Deze leerling heeft voor twee andere vakken een 4 en een 5, voldoende compensatiepunten en nu dus één 5 teveel. De éne 5 teveel voor mijn vak is ontstaan door één punt te weinig, op een totaal van 68.

Deze leerling had van mij als eerste corrector 2 punten meer ontvangen dan van de tweede corrector. Deze tweede corrector was, daar waar wij van mening verschilden, onvermurwbaar. Het moest zoals het was voorgeschreven. Volgens het foute antwoordmodel.

De letterlijke woorden, door mij genoteerd tijdens ons drie uur durende gesprek afgelopen zaterdagochtend, over de beantwoording van een van de vragen door deze leerling:

– “Ja. Deze vraag klopt natuurlijk niet. Het is volkomen logisch dat de leerlingen het op deze manier lezen en beantwoorden. Het antwoordmodel is dus fout, maar we moeten ons aan het antwoordmodel houden. Dit heeft de examenbespreking ook zo geformuleerd.”
“Dus wat goed is moeten we fout rekenen?“
– “We moeten er op vertrouwen dat door de aanpassing van de N-term de in het antwoordmodel gemaakte fouten worden rechtgetrokken.“

De N-term voor deze toets werd bepaald kleiner te moeten zijn dan de standaard 1,0, namelijk 0,7.

De N-term terreur. Achteraf blijken gemaakte fouten in de toets of in het antwoordmodel niet te worden rechtgetrokken. Het vertrouwen in een organisatie die docenten niet vertrouwt blijkt naïef.

Hoe deze specifieke N-term exact tot stand is gekomen is niet te controleren. (Zie hierover en hoe de N-term werkt bijvoorbeeld deze column van Ton van Haperen).

Wel is bekend dat zij is bepaald aan de hand van alleen de gegevens van de eerste correctoren. Zonder dat bekend is of en hoe de eerste correctoren zich aan de formuleringen volgens het antwoordmodel hebben gehouden. Er is bekend dat zij iets hebben goed gerekend (of niet) maar niet wat.

Het gevolg

Mijn leerling moet nu een herkansing doen. Ik ga deze leerling hierbij begeleiden. Dit gaat ons beide de nodige tijd kosten. Dat vind ik niet erg. Wij hebben vandaag afspraken gemaakt over wat wij wanneer gaan doen. Ik weet zeker dat deze leerling het gaat halen. Ik weet ook zeker dat deze leerling het al gehaald heeft.

De herkansing is op woensdagmiddag 18 juni. Op donderdag 19 juni voor 15.00 uur moet het nagekeken werk worden ingeleverd bij de administratie om te worden verzonden naar de tweede corrector. Op woensdag 25 juni worden de N-termen voor de tweede termijn bekend gemaakt. Ergens daartussen zal overleg plaatsvinden tussen eerste en tweede corrector. Ik zal daarbij het foute antwoordmodel niet langer respecteren. Ik zal mijn eigen inzicht respecteren en de kennis en het inzicht van mijn leerling zo professioneel en eerlijk mogelijk beoordelen. Ik zal niet langer buigen voor de N-term terreur.

 

Mobieltjes moeten mogen!

Leerlingen nemen vrijwillig iets mee naar de klas, waarmee ze kunnen leren. Het staat niet op de boekenlijst of de lijst van “verplicht-elke-dag-bij-je-te-hebben” items. En toch, ze vergeten het nooit! Hun mobieltje. Hun manier om te communiceren.

Prachtig toch!

Technologie in het onderwijs is onontkoombaar. Het is  de taak van de docent zich te bekwamen in het gebruiken van technologie, niet óm de technologie, maar om het te kunnen inzetten om te communiceren en informeren. Het is de taak van scholen om hiervoor tijd en ruimte beschikbaar te stellen, als een investering, niet als iets “ten koste van”.

Wat is er aan de kant van de docent voor technologische kennis nodig om het gebruik van mobieltjes in zijn klas toe te staan? Geen!

Toestaan van mobieltjes is dus een prima start voor het gebruiken van technologie in de klas.
En er kan zoveel moois met mobieltjes: informatie zoeken, aantekeningen maken, woordjes oefenen, (voor)kennis testen. Direct en snel, daardoor effectief en soms zelfs leuk.

Ik wil graag mijn ervaringen delen aan de hand van een aantal voorbeelden uit de praktijk.

Het gebruik van mobieltjes.
Het gebruik van mobieltjes in mijn lokaal is verboden!
Het gebruik van hele kleine draagbare computertjes in mijn lokaal is wel toegestaan 🙂
Het lijkt een klein verschil, een woordenspel, maar het is meer.
Die apparaatjes, waar van alles mee kan, mogen gebruikt worden om het leren te bevorderen: informatie zoeken, woordjes oefenen, aantekeningen maken, samenwerken.
Ze mogen niet gebruikt worden om te bellen of te chatten.
Ze mogen wel gebruikt worden om muziek te luisteren, mits vooraf gevraagd.
Voordelen: zaken gaan sneller en directer, daarmee effectiever en daarmee vaak leuker.

Nogmaals. Wat is er aan de kant van de docent voor technologische kennis nodig om het gebruik van mobieltjes in zijn klas toe te staan? Geen.

Wat zijn er voor vaardigheden vereist van de docent om het gebruik van mobieltjes effectief te laten zijn?

• Vertrouwen in de leerlingen en een goed contact.
• Een goed doordachte, duidelijk kenbaar gemaakte en consequent uitgevoerde set van regels en afspraken. Bijvoorbeeld:
  • bij binnenkomst zitten ze in de tas
  • bij gebruik liggen ze op tafel
  • bij ongeoorloofd gebruik worden ze ingenomen

Wat is de kern?
Zolang het voor de leerlingen duidelijk is hoe mobieltjes wel en niet gebruikt mogen worden vormen zij een grote toegevoegde waarde binnen de les.

Wat is de praktijk?
De regel op onze school is dat mobieltjes in het lokaal verboden zijn, tenzij de docent het toestaat. Een ingenomen mobieltje kan om 16:30 worden opgehaald  bij de conciërge.
Bij de klassen die ik les geef heeft ongeveer 80% van de leerlingen zijn mobiel altijd bij zich. Van de overige docenten die aan deze klassen lesgeven staat ongeveer 15% het gebruik van mobieltjes toe.
Houden leerlingen zich bij mij altijd aan de regels? Nee. Net als met elke regel/afspraak worden ook deze wel eens overtreden.
Neem ik wel eens mobieltjes in? Ja. Dit is hoofdzakelijk aan het begin van het jaar, als de leerlingen de regels en afspraken nog even aan het ontdekken en aftasten zijn.

Testen (niet toetsen!, hoewel dat ook kan).
Voor zowel docenten als leerlingen is het heel zinvol om te weten hoeveel kennis en begrip er al aanwezig is of hoeveel kennis of begrip er is opgedaan. Om dit snel te testen zijn mobieltjes  werkelijk ideaal. Er zijn verschillende manieren om dit te doen en een van de momenteel veel gebruikte is het platform-onafhankelijke Socrative. Het mobieltje wordt ingezet als stemkastje en een docent hoeft slechts eenmalig een account aan te maken en kan vervolgens vragen stellen aan leerlingen. De vragen kunnen overigens ook via een tablet, laptop of computer worden beantwoord. Er zijn verschillende typen vragen en manieren van aanbieden mogelijk.
Socrative kan op verschillende manieren worden ingezet.
– aan het begin van een les of lessenserie om de aanwezig voorkennis te testen
– aan het eind van een les of lessenserie om te testen hoeveel kennis er is opgedaan
Het grote voordeel van het gebruik van een mobiel als stemkastje is dat er zeer snel een overzicht beschikbaar is, voor zowel leerlingen als docent. De resultaten kunnen zichtbaar gemaakt worden via een scherm en kunnen ook worden opgeslagen voor latere analyse. Er kan direct worden gereageerd op de resultaten van een test aan het begin van de les door de lesstof aan te passen en op problemen in te gaan. Een heel groot voordeel hierbij is dat alle leerlingen worden “gehoord” en niet alleen degene die een vraag stellen of een antwoord geven. Testen van de aanwezig kennis aan het eind van de les geeft kostbare informatie over de effectiviteit van de les en deze kan gebruikt worden om een volgende les mede inhoud te geven. Een voorbeeld hoe ik dit zelf  regelmatig gebruik is hier te vinden.
Socrative biedt ook een optie om leerlingen in groepjes te laten samenwerken en zo van elkaar te laten leren. Bijvoorbeeld door experts  Deze zogenaamde “Space Race” optie is opgezet als een game, waarbij raketjes bewegen als een juist antwoord is gegeven en spreekt zo leerlingen ontzettend aan en werkt hierdoor bijzonder motiverend.
Het is ook mogelijk om met Socrative een volledige test (of toets) af te nemen die automatisch wordt nagekeken. Herhaaldelijk testen (zonder te toetsen) is een zeer krachtig middel om leren te bevorderen en kan met behulp van technologie op deze manier eenvoudig worden ingezet zonder dat dit de grote hoeveelheid tijd kost die nakijken anders met zich meebrengt.
Om als docent Socrative te kunnen gebruiken is enige technologische kennis vereist. Afhankelijk van de basisvaardigheden met computers en internet van de docent zal een investering van naar schatting 30 minuten tot 2 uur nodig zijn om te leren werken met Socrative.

Samenwerken
Naast de genoemde individuele activiteiten die een leerling met een mobieltje in de klas kan doen, zoals opzoeken en aantekeningen maken, kunnen mobieltjes ook gebruikt worden om samenwerken te bevorderen.
Ik maak veel gebruik van Google Drive documenten om leerlingen, onafhankelijk van tijd en plaats, aan een gezamenlijk document te laten werken. Dit document is in de meeste gevallen ook met mij gedeeld, zodat ik het werk ook van feedback kan voorzien. Feedback is een zeer krachtig middel voor leren en is op deze wijze eenvoudig op elk moment te geven en ontvangen.
Via de Google Drive en Google Documenten apps is het nu ook met mobieltjes mogelijk om deze documenten te bekijken en te bewerken. Dit betekent dat leerlingen tijdens de les ingevingen en aanwijzingen kunnen verwerken en hiervoor geen laptop nodig hebben of naar het computerlokaal moeten. Dit zijn beide opties die in mijn lessen ook zijn toegestaan overigens.
Leerlingen die aantekeningen maken tijdens de lessen gebruiken hiervoor ook regelmatig Google Drive documenten. Op die manier hebben ze automatisch alle aantekeningen bij elkaar.
Om als docent met leerlingen samen te werken via Google Drive is enige technologische kennis vereist. Afhankelijk van de basisvaardigheden met computers en internet van de docent zal een investering van naar schatting 1 tot 3 uur nodig zijn om te leren werken met Google Drive.

Technologie maakt het mogelijk informatie te vinden en te communiceren “over alles met iedereen”. Het doet grenzen vervagen, de muren van de school worden doordringbaaar, afstand speelt nauwelijks nog een rol. Daarom:

Mobieltjes moeten mogen!

Ze zijn er. Het is zonde ze niet te gebruiken.

En dan hoop ik dat met deze post onderstaande percentages een beetje gaan veranderen 🙂

Deze post is mede geschreven op verzoek van “Like to share” om in het tweede nummer te verschijnen en een voorbeeld te geven van de impact van technologie op het onderwijs. Ik wil Like to share dan ook bedanken voor het mij uitnodigen en het opnemen van deze post in het magazine.