Actief aan de slag met Retrieval Practice

september 8, 2018

Bij leren wordt vooral gedacht en gewerkt aan het zorgen dat informatie de hoofden van onze leerlingen inkomt. Minstens zo belangrijk natuurlijk is dat die informatie er ook weer uitkomt.

‘Retrieval practice’ is een leerstrategie die gericht is op het informatie ook uit de hoofden van onze leerlingen krijgen en zo het leren te versterken. Door zeer regelmatig actief informatie terug te roepen wordt het geheugen voor deze informatie versterkt en wordt vergeten verzwakt.

Retrieval practice is een veel onderzochte, aantoonbaar effectieve en eenvoudig uit te voeren manier van leren.

Hier is een voorbeeld van een zeer actieve retrieval strategie die gebruikt kan worden en die slechts een vijf- tot tiental minuten van de les in beslag neemt. Leerlingen reflecteren hier op hun metacognitie als klas, niet alleen individueel.

Actief aan.de slag met Retrieval practice via de Metacognitie Rij:

  1. Leerlingen verzamelen aan een kant van het klaslokaal. De leerkracht noemt een kernbegrip of concept en leerlingen proberen in stiltje de informatie die zij hierover bezitten terug te halen in hun hoofd.
  2. Leerlingen bepalen zelf hoe goed hun begrip is en verplaatsen zich naar een van de drie posities in het lokaal, waarbij zij tegelijkertijd een rij vormen. Zij baseren hun keuze op metacognitie en geven hun antwoord nog niet. De posities zijn gemarkeerd als ‘Zelfverzekerd teruggehaald’ aan een kant, ‘Soort van teruggehaald’ in het midden en ‘Kan het niet terughalen’ aan de andere kant. (De Engelse termen zijn: “Confidently Retrieve It”, “Kind of Retrieved It” en “Can’t Retrieve It”)
  3. Leerlingen bespreken met de leerling die het dichtst bij hen staat wat zij weten of denken te weten over het begrip of het concept, gedurende twee minuten.
  4. Leerlingen gaan vervolgens in contact met de leerling die zo ver mogelijk bij hem vandaan staat en delen, discussiëren, onderwijzen en leren, gedurende opnieuw twee minuten.
  5. De leraar vraagt vervolgens aan de leerlingen die de informatie in eerste instantie niet konden terughalen wat zij geleerd hebben en aan de leerlingen die de informatie zelfverzekerd terughaalden of hen overeenkomstige misvattingen zijn opgevallen.

De Metacognitie Rij werkt snel en zorgt ervoor dat leerlingen opstaan en bewegen. De Metacognitie Rij is bij alle niveau’s en alle onderwerpen te gebruiken en brengt Retrieval practice, Feedback en Metacognitie op een eenvoudige en plezierige manier de klas in.

Dus…, doe het gewoon ergens in de komende weken en betrek leerlingen actief bij Retrieval practice, in slechts een paar minuten van een les.

Ik ga het in elk geval doen deze komende week, bij een aantal van mijn klassen. We gaan actief aan de slag met leren.

Bron:
– Retrieval Practice – Try Metacognition Line Up for retrieval practice and peer feedback

PS: Een van de doelen voor dit schooljaar voor mijzelf is het hier delen van leerstrategieën waarvan aangetoond is dat zij een positief effect op leren hebben, met speciale aandacht hoe deze in de dagelijkse praktijk toe te passen. Weten wat werkt en hoe dit toe te passen in de klas. Deze post is de tweede in deze serie. De eerste was Hoe kun je leren versterken zelfs op de eerste dag van het schooljaar. Een uitgebreidere toelichting en een overzicht hoop ik later te schrijven.

Advertenties

Hoe kun je leren versterken, zelfs op de eerste dag van het schooljaar?

augustus 26, 2018

De scholen zijn alweer gestart of gaan weer starten en in de eerste uren, dagen en weken staat leraren weer een hoop te doen: relaties opbouwen, klassen vormen, materialen organiseren, programma’s afstemmen, zorgen dat de koffiepot gevuld blijft…

Ondanks dat is het mogelijk al vanaf het eerste dag een paar minuten retrieval practice in te voegen in de les. Geen planning en geen cijfers – gewoon alleen leren.

Bij leren wordt vooral gedacht en gewerkt aan het zorgen dat informatie de hoofden van onze leerlingen inkomt. Minstens zo belangrijk natuurlijk is dat die informatie er ook weer uitkomt.

‘Retrieval practice’ is een leerstrategie die gericht is op het informatie ook uit de hoofden van onze leerlingen krijgen en zo het leren te versterken. Door zeer regelmatig actief informatie terug te roepen wordt het geheugen voor deze informatie versterkt en wordt vergeten verzwakt.

Retrieval practice is een veel onderzochte, aantoonbaar effectieve en eenvoudig uit te voeren manier van leren.

Hier zijn drie voorbeelden van retrieval strategieën die al op de eerste dag van de lessen gebruikt kunnen worden en die slechts en paar minuten in beslag nemen.

  1. Twee Dingen. Vraag leerlingen zich twee dingen te herinneren van het afgelopen schooljaar, twee dingen die zij in de vakantie geleerd hebben, twee dingen die ze al weten over de stof van het komende schooljaar
  2. Geheugen Dumps. Laat leerlingen in een minuut alles opschrijven wat zij zich kunnen herinneren over een bepaald onderwerp of al weten van een onderwerp dat dit jaar nieuw gaat zijn. In een biologie klas kan dit bijvoorbeeld zijn alles over voortplanting of evolutie.
  3. Warm Ups. Om kennis te maken zijn ijsbrekers prima maar Warm Ups beter. Leerlingen halen hun eigen informatie en ervaringen terug via grappige vragen die leiden tot een korte discussie of een stemming in de klas. Wat is je minst favoriete ijsje? Waar in de wereld zou je het liefst naar toe reizen en waarom? Zou je liever een zeilboot of een luchtballon hebben en waarom? Welk dier zou een goede muzikant zijn en waarom?

De discussie die volgt na deze activiteiten zorgt voor feedback, die zo belangrijk is voor het leren. Het is aangetoond dat het terughalen van informatie leren verbetert, zelfs voor gerelateerde informatie die niet direct zelf is teruggehaald.

Dus, doe het gewoon en betrek leerlingen direct vanaf dag een bij retrieval practice, in slechts een paar minuten.

Ik ga het in elk geval doen deze komende eerste week, bij al mijn klassen. Ik zal de Twee Dingen en de Geheugen Dumps gebruiken, de Warm Ups dus niet.

Bronnen:
– Retrieval Practice – One Minute
Retrieval Practice – Two Things
Retrieval Practice – Brain Dumps
Retrieval Practice – Warm Ups

PS: Een van de doelen voor dit schooljaar voor mijzelf is het hier delen van leerstrategieën waarvan aangetoond is dat zij een positief effect op leren hebben, met speciale aandacht hoe deze in de dagelijkse praktijk toe te passen. Weten wat werkt en hoe dit toe te passen in de klas. Deze post is de eerste in deze serie. Een uitgebreidere toelichting en een overzicht hoop ik later te schrijven.


Testjekennis

juli 23, 2018

Aan het eind van het schooljaar, of aan het begin van de vakantie, of aan het eind van de vakantie, of aan het begin van het schooljaar (of alle vier) zijn vele van ons in onderwijs bezig met de plannen voor het nieuwe schooljaar. Wat ga ik volgend jaar anders doen? Beter doen? Niet meer doen? Ga ik me concentreren op verbeteren wat ik al goed doe? Ga ik iets nieuws proberen wat ik altijd al van plan was of wat ik ben tegengekomen bij een collega of gelezen heb in een onderwijsblad of een vakblad of gezien heb op sociale media?

Zelf zit ik altijd vol met plannen, waarvan meestal slechts een klein deel verwezenlijkt wordt, simpelweg omdat het teveel plannen zijn. Dat heeft mij geleerd en doen besluiten elk jaar een soort speerpunt te selecteren.

Komend schooljaar zal het speerpunt ‘herhalen en feedback‘ zijn, hoewel dat natuurlijk net zo gemakkelijk twee speerpunten genoemd kunnen worden. Om dat concreet te gaan maken ben ik nu dus bezig met vormen om dit te doen.

Een manier zal zijn nog vaker en gerichter gebruik te maken van testjes om te herhalen.

Testjes om te herhalen zijn voor leerlingen en leraar een manier om te testen hoeveel zij nog van een onderwerp of van een heel voorafgaand leerjaar weten.

Komend schooljaar staat daarom voor al mijn leerlingen in de studiewijzer opgenomen ergens in de eerste twee weken: Testjekennis. Deze testjes gaan over de kennis van het afgelopen jaar, of de afgelopen jaren. Deze testjekennis testen zal ik gaan gebruiken om te bepalen welke onderdelen van het voorafgaande jaar herhaling behoeven en ik zal de leerlingen deze herhaling op verschillende manieren gaan aanbieden en gedurende het jaar opnieuw gaan testen. De leerlingen zullen geen cijfer krijgen voor deze testjekennis testen, wel feedback, zo persoonlijk mogelijk. Bij de testjekennis testen zal ik de vragen vooral richten op de BioKern doelen die wij met een aantal collega’s aan het opstellen zijn. Wat zijn nu de werkelijk wezenlijke onderdelen van ons vak waarvan wij vinden dat alle leerlingen deze dienen te kennen en beheersen? Het vormt een pragmatische samenvatting van de breed geformuleerde kerndoelen die onderdeel vormen van de examenstof en waarvan wij hebben ervaren dat deze ook vaak concreet of verborgen in de examens terugkomen. Deze BioKern doelen zullen ook in onze reguliere toetsen regelmatig terugkeren.


Flip the system 3. Naar een nieuwe opzet van de eindexamens.

april 2, 2018

Hieronder een bijdrage van Dick van der Wateren, integraal overgenomen van de blog onderwijsonderzoek. Dick geeft aan dat dit verhaal een weerslag is van gesprekken die wij hebben gevoerd in onze werkgroep CE-SE, die de afgelopen twee jaar verschillende samenstellingen heeft gekend. Dat het thema eindexamens gevoelig ligt hebben wij herhaaldelijk ervaren in gesprekken met verschillende betrokkenen en blijkt ook uit de soms zeer sterke reacties in de media. Dit heeft Dick doen besluiten onderstaande op persoonlijke titel te schrijven. Ik kan mij in meer dan voldoende mate scharen achter zijn woorden om deze hier te herhalen, met als doel via een gedegen proces tot nog betere eindexamens te kunnen komen.

Aan de vooravond van de centraalexamens kunnen we vaststellen dat toetsing en examinering steeds meer in een kritisch licht komen te staan. Dinsdag 27 maart j.l. organiseerde de Onderwijsraad een ‘Dialoog Toetsing en Examinering’ waarvoor zo’n honderd leraren, leerlingen, schoolleiders, en andere deskundigen waren uitgenodigd om mee te denken. Het advies van de Onderwijsraad zal in de loop van dit jaar verschijnen. Donderdag 29 maart schreef de VO-raad: “Examinering voortgezet onderwijs toe aan herijking”, dat behoorlijk wat stof heeft doen opwaaien.

Toetsrevolutie-hrTwee jaar geleden schreven Dominique Sluijsmans en René Kneyber met een dertigtal onderwijsmensen ‘Toetsrevolutie. Naar een feedbackcultuur in het voortgezet onderwijs.’ In hetzelfde jaar schreven Jelmer Evers en ik twee stukken waarin wij een voorstel deden voor een nieuwe aanpak van het eindexamen vo (hier en hier). Sinds het verschijnen daarvan denkt een groep docenten en schoolleiders (op dit moment zo’n 20 scholen) na over een verdere uitwerking van onze ideeën.

De hier neergelegde gedachten zijn in onze werkgroep CE-SE (Frans Droog, Jasmijn Kester, Leendert-Jan Veldhuyzen en ikzelf) onderwerp van gesprek. Ik heb niettemin besloten, gezien de gevoeligheid van dit thema, dit stuk op persoonlijke titel te publiceren. Gelieve op mij en niet op mijn vrienden te schieten.

In de afgelopen twee jaar is veel gebeurd. We hebben met Kamerleden gesproken. Er zijn moties aangenomen, die het College voor Toetsen en Examens (CvTE) aanspoorden tot meer transparantie en grotere betrokkenheid van individuele vakdocenten bij de totstandkoming van de centraalexamens. We hebben een paar maal met het CvTE overlegd over mogelijkheden om de eindexamens anders op te zetten. Vervolgens zijn we daarover in gesprek gegaan met het Ministerie van OC&W. Al deze partijen zijn geïnteresseerd en willen graag meedenken.

Na de blogs die Jelmer Evers en ik in 2016 schreven en de daarop volgende moties in de Tweede Kamer heeft het CvTE een aantal zaken aan de examenprocedures verbeterd. Die zijn meer transparant geworden en leraren zijn meer dan voorheen betrokken bij het totstandkomen van de centraalexamens. Dat is mooi. We zijn benieuwd of aan andere bezwaren in de komende examenperiode duidelijk tegemoetgekomen is.

We noemden onder andere foute en onduidelijk geformuleerde vragen, lengte en moeilijkheidsgraad van de examens, de validiteit van de examens (‘Toetsen de examens wat ze moeten toetsen?’), lange tekstvragen bij de niet-taalvakken, het beperkte repertoire dat wordt getoetst. Het probleem van de tijdsdruk voor eerste en tweede correctie, met name voor de ‘grote nakijkvakken’ (geschiedenis, Nederlands, maatschappijwetenschap, biologie enz.), zal vermoedelijk nog wel even blijven bestaan. Ook blijven er nog vragen over de N-termen en de gemiddelde examencijfers. De realisering van onze andere voorstellen ligt nog ver weg.

Ons meest fundamentele bezwaar tegen de huidige examenopzet is dat dit leidt tot teaching to the test. Dat is de examenmakers minder aan te rekenen. Het is deels een gevolg van het systeem waarin het CE evenveel gewicht heeft als het SE, waardoor scholen geen risico durven nemen en schoolexamens maken die vrijwel identiek zijn aan de centraalexamens. We kunnen daar tegenin brengen dat die scholen wat meer lef moeten tonen. Ze zijn immers vrij om het schoolexamen naar eigen inzicht vorm te geven. Dat blijkt echter maar beperkt op te gaan. Met name de talenvakken hebben teveel te doen: schrijfvaardigheid, spreekvaardigheid, literatuur, luistervaardigheid en voorbereiden op het CE. Het gevolg is dat het PTA al in klas 4 begint.

Daarbij komt dat onder invloed van onder andere PISA het onderwijsklimaat ingrijpend is veranderd. Er is een enorme druk op scholen komen te staan om te hoog te scoren in allerlei ranglijsten, waaronder die in kranten en weekbladen. De discussie gaat hoe langer hoe minder over de kern van goed onderwijs, maar steeds meer over de opbrengsten en het rendement ervan: opbrengstgericht en efficiënt.

Docenten die de ambitie hebben hun leerlingen te leren denken en niet alleen maar trucs uitvoeren waarmee ze hoog scoren voor het CE wordt het daarmee moeilijk gemaakt. In ons tweede stuk schreven we:

[…] veel docenten zien als bezwaar dat de examenvragen geen betrekking hebben op wat door leraren wordt gezien als de essentie van hun vak. De voorbereiding op de Centraal Examens verwordt dan tot het aanleren van kunstjes en trucs, terwijl leerlingen niet worden ondergedompeld in de rijkdom, de manier van denken en problemen oplossen die de verschillende vakgebieden kenmerken. Ook is er volgens veel docenten die wij spraken te weinig aandacht voor vakoverstijgende kennis en vaardigheden.

We hebben het CvTE en OCW een mogelijk scenario voorgelegd, waarbij het CE minder zwaar weegt dan het SE, bijvoorbeeld een verdeling 1/3 – 2/3. Dat heeft het voordeel dat scholen meer ruimte krijgen om hun onderwijs vorm te geven op de manier die het beste past bij hun visie: meer ruimte voor de pedagogische aspecten naast de cognitieve. Meer ruimte om jonge mensen te helpen goed geïnformeerde en verantwoordelijke deelnemers aan de democratische samenleving en volwassen wereldburgers te worden. Ons voorstel houdt ook in dat de kwaliteit van de schoolexamens gewaarborgd wordt door een systeem van certificering en collegiale intervisie. Inmiddels is dit een van de mogelijke scenario’s die we de komende jaren zouden willen uitproberen.

alternatieve scenario’s

Tijdens een minisymposium op 22 februari met leraren en schoolleiders (de uitgebreide werkgroep CE-SE) hebben we een inventarisatie gemaakt van alle ideeën over de eindexamenproblematiek en mogelijke oplossingen. Daar werden onder andere de volgende problemen vastgesteld:

  • Het huidige examen toetst maar een klein deel van wat leerlingen kennen/kunnen;
  • CE (toetsen op kennisreproductie) sluit niet aan op vervolgopleidingen,
    of wat je leerlingen mee zou moeten geven;
  • CE is met name gericht op trucje/ (kennis) reproduceren en schriftelijke/talige vaardigheden (ipv specifieke vakvaardigheden) die je daarna niet meer nodig hebt;
  • er is een afrekencultuur ontstaan, terwijl bekend is: meten ≠ weten;
  • teaching to the test en daarmee gaat kostbare onderwijstijd verloren;
  • de scheve verhouding SE-CE in sommige vakken, waar de stof van het SE twee keer zoveel omvat, terwijl de gewichtsverdeling 50-50 is;
  • diploma op het laagste niveau leidt tot risicomijding;
  • de waardering in gewicht van de eindtermen is onevenredig,
    • wat knelt voor de docent omdat:
      • je meegaat in de onevenredigheid,
      • je vakinhoudelijke en pedagogische ruimte is ingeperkt,
      • het je programma uit balans trekt en
      • mogelijkheden tot maatwerk worden beperkt;
    • wat knelt voor de leerling omdat:
      • het programma wordt afgestemd op de gemiddelde leerling,
      • talenten niet worden aangesproken en dus geen gebruik gemaakt wordt van intrinsieke motivatie,
      • die wordt klein gehouden (teaching to the test i.p.v. volwassen worden).

Naast Jelmers en mijn voorstel van een verhouding CE : SE van 1/3 : 2/3 (40 : 60, of andere varianten), samen met gecertificeerde schoolexamens, werd tijdens het minisymposium nog een aantal scenario’s bedacht. Die zouden we kunnen combineren in een of meer proefprojecten, die op een aantal scholen een paar jaar kunnen worden uitgeprobeerd. Een paar voorbeelden van oplossingen:

  • Denk na over de vraag wat we onder goed onderwijs verstaan en ontwerp examens (SE en CE) die wat betreft inhoud en vorm recht doen aan dat doel.
  • Verander het afnamemoment: Waarom afsluiten met het CE? Zet dat in als startpunt/basiskennistoets, bijvoorbeeld in het voorlaatste jaar. Het CE krijgt dan de functie van toelating tot het schoolexamenjaar, waarin leerlingen kunnen laten zien wat ze kunnen op het gebied van kritisch en creatief denken, onderzoeken, maatschappelijke betrokkenheid en vakoverstijgende samenwerking. Het schoolexamenjaar is dan te vergelijken met de studie voor een masterscriptie.
  • Examinering naar het model van het rijexamen: eerst theorie en dan praktijk. Er valt ook te denken aan het model zwemdiploma of een gildemodel: je doet pas examen als je er klaar voor bent.
  • Bedenk andere vormen voor examinering buiten de ‘gymzaal’.
  • Onderzoek hoe de leerling meer eigenaar van het eindexamen kan worden. Zie de film Most likely to Succeed over High Tech High in San Diego. Het profielwerkstuk vervangt een deel van het CE en is multidisciplinair.

de vo-raad

Het position paper van de VO-raad Pleidooi voor herijking van de examinering in het vo vraagt om een reactie die ik, nogmaals, op persoonlijke titel geef.

Het is verheugend dat ook de VO-raad de problemen rond de eindexamens signaleert en die wil aanpakken. Een aantal ideeën in het voorstel van de VO-raad klinkt heel aantrekkelijk. Een einde maken aan teaching tot the test, een meer flexibel eindexamenregime, betere mogelijkheden om vakken op een hoger niveau af te sluiten, meer keuzeruimte voor leerlingen en minder versnippering in het examenprogramma. Daar is weinig op tegen.

VO-raad acties

Geintje van de VO-raad.

Ik ga niet mee in een wij-zij denken, zoals je dat op Twitter hier en daar hoort: de VO-raad vertegenwoordigt de werkgevers en alles wat die voorstellen moeten we wantrouwen. Dat neemt niet weg dat we er wel een paar kritische noten over kunnen kraken.

De ideeën van de VO-raad lijken nog te weinig doordacht. Bijvoorbeeld examens op meerdere momenten afnemen is zorgvuldig onderzocht. De toenmalige Staatssecretaris heeft in 2009 besloten het project ‘Meerdere examenmomenten VO’ te beëindigen. De conclusie was dat het onwerkbaar en heel kostbaar is en bovendien tot onaanvaardbaar hoge werkdruk zou leiden. Ook heeft de VO-raad de gevolgen van zo’n flexibele examenopzet voor het onderwijs in de jaren voorafgaand aan het eindexamen niet doordacht. Tegelijk met het position paper werden vragen en antwoorden gepubliceerd, die de standpunten van de VO-raad nog eens verduidelijken. Daarin worden veel van de fundamentele kwesties op de lange baan geschoven.

Een bestuurder, die ik sprak naar aanleiding van het stuk van de VO-raad, vroeg zich af of dit hem zou helpen of juist voor de voeten zou lopen in de zoektocht naar onderwijsvernieuwing op zijn scholen. Hij neigde naar het laatste, in de verwachting dat docenten en schoolleiders van zijn scholen dit als de zoveelste van bovenaf opgelegde proefballon zouden zien, met de nodige onrust vandien.

Dat is dan ook mijn belangrijkste bezwaar tegen het stuk van Rosenmöller c.s., nergens blijkt dat de mensen die deze plannen moeten uitvoeren – leraren – bij het opstellen ervan hebben meegedacht. Dan waren de onwerkbare voorstellen niet in het stuk terechtgekomen en waren ideeën zoals we die in onze werkgroep ontwikkelen er wel in gekomen.

Daarnaast blijft nog een vraag niet genoemd – laat staan beantwoord: Wat is het doel van goed onderwijs dat met een nieuwe examenopzet wordt getoetst? De VO-raad kiest vooral voor een instrumentele benadering van het probleem. Over de vraag wat goed onderwijs inhoudt is de laatste jaren al veel geschreven (zie bijvoorbeeld Biesta, 2015) en dat zou het uitgangspunt moeten zijn.

de onderwijsraad

Het is weinig verrassend dat die vraag door de Onderwijsraad wel expliciet wordt gesteld. Dat mogen we verwachten met leden als Gert Biesta en René Kneyber. Tijdens de ‘Dialoog Toetsing en Examinering’ van de Onderwijsraad op dinsdag 27 maart kwamen dezelfde problemen voorbij als tijdens ons minisymposium een maand eerder.

Liesbeth OnderwijsraadLiesbeth Breek (docent frans, PCC Alkmaar) hield in de deelsessie VO een hartstochtelijk pleidooi voor goed onderwijs en daarbij passende vormen van toetsing en examinering. Ze zei: “Ik hoop dat ons onderwijs onze leerlingen leert om perspectief te nemen, om zich te verplaatsen in de ander, dat het hen in aanraking brengt met dat wat buiten henzelf ligt, dat ons onderwijs hen helpt om verantwoordelijkheid te kunnen en willen dragen voor wat zij straks de wereld in gaan brengen.”Daarvoor is in de eerste plaats nodig dat we onze leerlingen leren denken (Ritchhart, 2015), zowel over het vak als over vakoverstijgende vragen en de wereld buiten school.

In diezelfde sessie werd ook gesuggereerd dat het al veel zou schelen wanneer scholen niet de druk voelden om met elkaar te concurreren met examenresultaten. Het is maar de vraag of slagingspercentages van 98 of zelfs 100% een goede indicatie zijn van de kwaliteit van het onderwijs op een school. In plaats van te vechten voor een groter marktaandeel zouden scholen kunnen afspreken dat een slagingspercentage van bijvoorbeeld 85% een acceptabel minimum is.

Veel van de oplossingen die op 27 maart werden aangedragen lijken op die van onze werkgroep CE-SE. Die zullen hun weg dan ook vinden in het advies dat de Onderwijsraad deze zomer uitbrengt.

Een belangrijk verschil met de aanpak van de VO-raad is dat de Onderwijsraad uitdrukkelijk leraren, leerlingen, schoolleiders en bestuurders uitnodigt om kritisch mee te denken met hun advies. Het is, als ik hen goed heb begrepen, niet de bedoeling dat het advies ontaardt in een bestuurlijke maatregel die over de scholen wordt uitgestort.

proeftuinen

Ik wil er bij alle betrokken partijen – politieke partijen, Ministerie, Onderwijsraad, VO-raad, besturen en schoolleiders – op aandringen om te wachten met de invoering van een nieuwe opzet van de eindexamens tot die in de praktijk grondig is uitgeprobeerd en uitontwikkeld. De titel van deze serie blogs is niet voor niets ‘Flip the System’, naar een idee dat René Kneyber en Jelmer Evers al in het eerste deel van ‘Het Alternatief’ (2013) hebben uitgewerkt. Essentieel aan hun voorstel is dat ingrijpende veranderingen in het onderwijs van onderaf moeten komen en niet door beleidsmakers opgelegd. De hierboven geschetste scenario’s horen tot de meest ingrijpende veranderingen, waarvan eerst maar eens moet worden bewezen dat ze tot een verbetering leiden ten opzichte van de huidige situatie.

alternatief boekenIk pleit er dan ook voor om met een overzichtelijk aantal scholen de verschillende scenario’s uit te proberen, onder regie van ervaren en goed opgeleide docenten en ondersteund door erkende deskundigen op het gebied van toetsing en examinering. Dat kan in de vorm van pilots, experimenten of onder welke naam dit soort projecten bij OC&W nog meer bekend staan. Proeftuinen, wat mij betreft.

Wil een vernieuwde examenopzet in het vo ook maar de geringste kans van slagen hebben, dan zullen leraren en hun scholen van het begin af aan het ontwerp en de uitvoering van deze proeftuinen in eigen hand moeten houden. Daarbij is iedere inhoudelijke en logistieke hulp van het Ministerie, de Onderwijsinspectie en onderwijsbestuurders meer dan welkom. Maar het belangrijkste dat we nodig hebben is vertrouwen in de deskundigheid en professionaliteit van leraren en een minimum aan controle.

Ieder andere opzet, in bestuursgremia bedachte en van bovenaf opgelegde maatregelen, leidt tot voorspelbare narigheid en lost de problemen met de eindexamens niet op.

bronnen

Gert Biesta (2012). Goed onderwijs en de cultuur van het meten. Amsterdam. Boom Lemma Uitgevers.

Gert Biesta (2015). Het prachtige risico van onderwijs. Culemborg. Uitgeverij Phronese.

Jelmer Evers en René Kneyber (2014). Flip the System. Changing education from the ground up. New York. Routledge.

René Kneyber en Jelmer Evers (2013). Het Alternatief: Weg met de afrekencultuur in het onderwijs!. Amsterdam. Uitgeverij Boom.

Ron Ritchhart (2015). Creating Cultures of Thinking. San Francisco. Jossey-Bass.

Dominique Sluijsmans en René Kneyber (2016). Toetsrevolutie. Naar een feedbackcultuur in het voortgezet onderwijs. Culemborg. Uitgeverij Phronese.

VO-raad: Pleidooi voor herijking van de examinering in het vo. https://www.vo-raad.nl/system/downloads/attachments/000/000/566/original/POSITION_PAPER__Pleidooi_herijking_examinering_VO-raad.pdf. Geraadpleegd 1-4-2018.


Nakijkcommissie 1hv4: ‘best lastig, leraar zijn’

maart 8, 2017

Hieronder een gastblog van Natasja Pompen, docente Nederlands, over haar ervaringen met de nakijkcommissie.

“So mevrouw….leraar zijn is echt vet lastig!” Dat is de eerste reactie van de nakijkcommissie uit klas 1hv4. Gewapend met een rode pen gingen zij de so grammatica te lijf….en met goed gevolg. Wat hebben deze leerlingen hier veel van geleerd zeg!

Naar aanleiding van een oproep van Frans Droog, heb ik een nakijkcommissie ingesteld in de hv brugklas. Er zijn verschillende mogelijkheden bij de nakijkcommissie. Ik heb de volgende keuzes gemaakt:

– leerlingen uit de nakijkcommissie maken zelf eerst de toets
– leerlingen uit de nakijkcommissie krijgen zelf ook een cijfer voor de toets
– de nakijkcommissie maakt zelf het nakijkmodel
– ik heb het nakijkmodel nagekeken (en er 2 fouten uitgehaald – heel mooi resultaat, slechts 2 foutjes) en ik heb de normering van de toets bepaald
– de leerlingen hebben de toets nagekeken, de cijfers berekend en de toets nabesproken in de klas

Wat hebben ze hard gewerkt zeg! Ik heb de leerlingen pas na het maken van de toets verteld over de nakijkcommissie. Alle leerlingen mochten zich hier vrijwillig voor opgeven – ik had de keuze uit 18 leerlingen….aantrekkelijke commissie dus, vonden de leerlingen uit 1hv4. Ze wilden bijna allemaal weleens op de stoel van de docent zitten! Ik heb 4 leerlingen gekozen – twee goede leerlingen, een gemiddelde en een wat minder goede leerling.

De leerlingen zijn aan de slag gegaan en hebben eerst het nakijkmodel gemaakt. Daar deden ze een lesuur over. Ik heb dat nakijkmodel bekeken en er dus twee foutjes uitgehaald. Ik heb ook de puntenaantallen bepaald. Dat waren de leerlingen vergeten te doen (mijn instructie op dat punt was niet goed, bleek later).

Toen kon het nakijken beginnen. Wat een gezucht en gesteun! Ze vonden het super lastig om consequent na te kijken. Er werd wat overlegd en besproken. Echt heel nuttig deze werkvorm! Ze zijn hier 2 lesuren mee bezig geweest.

Daarna mochten de leerlingen de toets nabespreken met de klas. Ook die taak namen ze heel serieus. Dit duurde een halve les.

In totaal kost het dus 3,5 les + 1 lesuur om de toets te maken…best veel, maar deze tijdsinvestering weegt absoluut op tegen de opbrengst, denk ik. Ik weet bijna zeker dat deze leerlingen hun volgende so grammatica vele malen beter maken….want, zeg nou zelf, als je de lesstof kunt uitleggen aan een ander en zelfs een ander kunt beoordelen, dan snap je het zelf toch veel beter?

Ik ga zeker door met de nakijkcommissie. En de leerlingen in 1hv4 willen er allemaal in….genoeg vrijwilligers dus!

 

Toelichting

Leerlingen willen liever geen toetsen maken. Docenten willen liever geen toetsen nakijken. Docenten willen wel dat leerlingen iets leren. Leerlingen willen ook iets leren. Eerder schreef ik hier al over dat gedachten zoals deze hebben geleid tot het ontstaan van de Nakijkcommissie, over hoe ‘Nakijkwerk helpt leerlingen lesstof beheersen‘ en plaatste ik de gastblogs ‘Corriger les corrections‘ van Elise Bouman, docente Frans en ‘Nakijkcommissie ervaringen‘ van Pieter Vreugdenhil, docent wiskunde.

In een volgende blog zal ik ingaan op mijn eigen wijze van uitvoeren en ervaringen met de nakijkcommissie tot dusverre en deze vergelijken met die van de anderen. Hierbij zullen ook verschillen tussen vakken, docenten en leerlingen die een mogelijke rol spelen bij de toepassing van een nakijkcommissie aan bod komen.

 

 


Nakijkcommissie ervaringen

december 22, 2016

nakijkcommissie-grades

Leerlingen willen liever geen toetsen maken. Docenten willen liever geen toetsen nakijken. Docenten willen wel dat leerlingen iets leren. Leerlingen willen ook iets leren. Eerder schreef ik hier al over dat gedachten zoals deze hebben geleid tot het ontstaan van de nakijkcommissie, over hoe ‘Nakijkwerk helpt leerlingen lesstof beheersen‘ en plaatste ik het gastblog ‘Corriger les corrections‘ van docente Frans, Elise Bouwman.

Deze keer wil ik graag de ervaringen delen van een van mijn eigen collega’s, die ik hier vandaag over heb geïnterviewd.

Omstandigheden

Pieter is docent wiskunde. Hij heeft de nakijkcommissie ingevoerd bij klas 4-vwo voor het vak wiskunde A. Deze klas bestaat uit 21 leerlingen.

Samenstelling nakijkcommissie

Pieter heeft er de eerste keer voor gekozen de commissie niet volledig random samen te stellen maar te kijken naar het niveau van de leerlingen. Zijn overweging hierbij is het feit dat het bij wiskunde lastig is voor leerlingen die moeite met dit vak hebben om te kunnen beoordelen of berekeningen die niet volgens het model zijn uitgevoerd al of niet (gedeeltelijk) juist zijn. Pieter heeft hij in de les voorafgaand aan de toets verteld welke leerlingen in de nakijkcommissie zouden zitten. De nakijkcommissie bestond uit 5 leerlingen.

Uitvoering

Alle leerlingen hebben de toets gemaakt. In de volgende les hebben de leerlingen van de nakijkcommissie, gebruikmakend van hun eigen antwoorden op de toets, gezamenlijk het antwoordmodel opgesteld. In dit groepsoverleg fungeerde Pieter zelf als gespreksleider. Hij gaf de leerlingen geen nakijkmodel en de antwoordbladen van de leerlingen van de nakijkcommissie zelf, met hierop de aanvullingen/aanpassingen na het overleg fungeerden als het nakijkmodel bij het nakijken. In de daaropvolgende les heeft de nakijkcommissie de toetsen nagekeken, en waar nodig met elkaar overlegd of overlegd met de docent. Er werd per vraag nagekeken. In de derde les na de toets werd de toets besproken. Leerlingen zaten in groepjes aan tafel, de normale opstelling bij de lessen van Pieter, en per groepje was er één lid van de nakijkcommissie beschikbaar.

Ervaringen

Bij de bespreking van de toets door de nakijkcommissie met de andere leerlingen verliep alles soepel en waren er geen onduidelijkheden of grote meningsverschillen met betrekking tot de beoordeling. Er was ook weinig inhoudelijke discussie. Het was geen heel moeilijk en de resultaten waren voor de meeste leerlingen naar tevredenheid.

Een groot voordeel dat Pieter heeft ervaren tijdens de bespreking is dat er nu 5 leerlingen waren om vragen aan te stellen en hij anders zelf een stuk of tien 1-op-1 gesprekken zou hebben gevoerd. Dit zorgde voor een flinke versnelling van de bespreking. Wel heeft het maken van het nakijkmodel en het nakijken zelf (een deel) van de leerlingen natuurlijk tijd gekost.

Pieter vind het op dit moment nog moeilijk om in te schatten of de leerlingen uit de nakijkcommissie de stof uit deze toets nu uiteindelijk beter beheersen. Hij heeft ze hier zelf nog niet specifiek naar gevraagd en zal dit later zeker doen.

De leerlingen uit de nakijkcommissie hebben de toets zelf relatief slecht gemaakt. Een aantal geeft aan minder hard geleerd te hebben omdat zij vooraf wisten dat hun cijfer niet zou meetellen. Dit was enigszins teleurstellend.

Pieter heeft zelf de toetsen ook nagekeken, omdat hij vind dat de docent ten alle tijd verantwoordelijk is voor de cijfers. Gemiddeld kwam hij tot een score die 0,3 punt lager was dan wat de nakijkcommissie had gegeven. Hij ziet dit niet als een op enigerlei wijze bewuste actie van de leerlingen maar meer als gevolg van het feit dat hij een strenge docent is. Een absoluut cijfer bestaat tenslotte ook bij wiskunde toetsen niet.

Toekomst en aanpassingen

Pieter zal zeker doorgaan met de nakijkcommissie dit jaar. Hij heeft al eerder een planning gemaakt voor 5 toetsen, zodat uiteindelijk alle leerlingen aan bod komen en ziet geen reden van dit plan af te wijken.

Op grond van de ervaringen van de eerste ronde zal Pieter een aantal aanpassingen doorvoeren. Zo zal hij de namen van de leden van de nakijkcommissie pas bekend maken nadat alle leerlingen de toets hebben gemaakt. Bij het maken van het nakijkmodel zal hij de leerlingen uit de nakijkcommissie dit eerst zelf laten maken en uitschrijven en het vervolgens vergelijken met dat van hemzelf. Hij zal ook tussentijds gaan evalueren met leerlingen om onderdelen van de uitvoering waar nodig te kunnen bijstellen. Hij zal weer zelf bepalen wie er in de nakijkcommissie zit en dit niet random gaan doen.

Pieter schat in dat bij een moeilijker onderwerp het meer tijd zal gaan kosten voor de nakijkcommissie om tot een gezamenlijk antwoordmodel te komen.

Toevoegingen

In een volgende blog zal ik ingaan op mijn eigen wijze van uitvoeren en mijn ervaringen met de nakijkcommissie en deze vergelijken met die van Pieter. Hierbij zullen ook mogelijke verschillen tussen vakken, docenten en leerlingen die een rol spelen bij de toepassing van een nakijkcommissie en die deels in het interview met Pieter naar voren kwamen besproken worden. Het interviewen van een collega is overigens een leuke en leerzame ervaring, het is toch iets anders dan zomaar een gesprek.

In een volgende gastblog hoop ik ook de ervaringen te kunnen delen van een van mijn andere collega’s, een docente Nederlands, die hier zelf over zal schrijven.

 


Minder leren voor de toets

december 11, 2016

img_2880

Op verzoek hieronder een weergave van mijn lessen in de bovenbouw biologie. Het adresseert onder andere de specifieke vragen hoe je voorkomt dat leerlingen alleen in actie komen de twee weken voor een toetsweek, hoe je leerlingen meer betrekt bij hun eigen leren, hoe je toetsing tot meer leren kunt laten leiden.

Deze blog zal geen kant en klare oplossingen geven, wel een beschrijving van mijn pogingen. Misschien zit er iets bruikbaars tussen.

Creativiteit

Wat moet er? Wat kan er? Wat mag er? Vaak denken docenten dat er veel moet in de examenklassen. En deels is dat terecht. Er zijn de nodige regels met betrekking tot wat er aan stof moet worden behandeld voor een vak en hoe de toetsing hiervan vooraf dient te worden aangegeven. Dit dient te worden beschreven in het Programma van Toetsing en Afsluiting, het PTA. Aan de andere kant kan er ook veel en mag er ook veel.

In het PTA moet worden beschreven hoe en wat er wordt getoetst. Hier kan creatief, zonder onrecht te doen aan het belang van de leerling, sterker nog, met het belang van de leerling in het eerste oog, worden omgegaan. In mijn PTA voor de examenklassen staat de volgende zin onder het schema met de toetsen die worden afgenomen in de toetsweken:

Behalve de hierboven genoemde toetsen met weegfactor 4, kan er voor dit vak per periode ook minimaal 1 kleinere toets worden gegeven. Voor deze kleinere toets(en) geldt een gezaneniijke weegfactor van 1 of 2 per termijn. Deze toetsen kunnen zowel aangekondigd als onaangekondigd zijn.

De aangekondigde toetsen noem ik naar de leerlingen toe testen. Omdat dat is wat het zijn. We testen hoeveel zij op dat moment weten en hoe ver zij zijn met de stof. Het liefst zou ik dit doen zonder dat er een cijfer aan verbonden zit en in 6V is dit ook het geval. Daar zijn deze testen werkelijk (in)formatief. Ik zie waar nog kennis of vaardigheden ontbreken en pas het klassikale deel van mijn lesinhoud daarop aan. Leerlingen zien waar voor hen individueel nog hiaten zitten.

De testen die ik afneem zijn meestal digitaal (ik gebruik hiervoor Edmodo en Socrative). Het maken van deze testen is een investering, die ik nu al een aantal jaren doe en waarvan ik de opbrengst steeds groter zie worden. Een korte test van 5 tot maximaal 10 minuten, die direct kan worden besproken. Soms neem ik een schriftelijk toets af, soms een mondeling.

Variatie

Variërende vormen maken leren en lesgeven leuker. In de examenklassen werk ik, vooralsnog, voornamelijk met een boek als leidraad en houvast voor de leerlingen. Hoe wij werken met dit boek leg ik deels bij de leerlingen.

In het boek staat informatieve tekst, gevolgd door opdrachten. Leerlingen mogen kiezen of zij de opdrachten maken of liever de informatie verwerken via het maken van samenvattingen, op papier of digitaal.

Bij het examen biologie mogen leerlingen, net als bij natuurkunde en scheikunde, gebruik maken van ‘De Binas’. Een naslagwerk waarin veel feiten eenvoudig terug te zoeken zijn. Vooral wanneer je hiermee bekend bent en geoefend hebt. Bij elk onderwerp krijgen mijn leerlingen dus de vraag de corresponderende pagina’s in Binas te bekijken en te vergelijken met de tekst en de figuren in het boek. Waar zijn de overeenkomsten? Waar zijn de verschillen? Wat moet je weten en kennen om de Binas bij een toets of het examen effectief te kunnen gebruiken?

Ik leg zo min mogelijk uit.

Naast het boek gebruiken we het internet. Dit gebruiken we op twee manieren. Ik geef de leerlingen de site met de betreffende informatie en laat hen deze zelfstandig bekijken. Of ik gebruik deze site voor een klassikale uitleg. Voor biologie gebruiken we een aantal standaard sites: bioplek (met veel plezier betaal ik elk jaar weer de 50 euro om vriend van bioplek te mogen zijn) en bozeman biology. Hiernaast gebruiken we sites voor specifieke onderwerpen. Ja, bijvoorbeeld ook Wikipedia.

Naast het boek en het internet gebruiken we de krant. Ik lees dagelijks de krant en als ik iets dat past in een van mijn lessen de komende weken leg ik de krant op mijn bureau of bookmark ik de betreffende pagina op het internet. Dit stukje uit de krant verwerk ik door er een aantal vragen over te formuleren, die de link leggen met de stof uit het boek. Hierbij beantwoorden we dus een zelfverzonnen eindexamen vraag via de concept-context methode. Deze vragen krijgen de leerlingen via Edmodo en de antwoorden leveren zij in via een Google Document dat in een gedeelde Google Drive map staat.

Andere bronnen. Daar waar het kan of past krijgen leerlingen alternatieve bronnen met dezelfde of net iets andere informatie dan in het boek staat. Bijvoorbeeld het naslagwerk dat hoort bij het practicum Bloed. Hierin staat de informatie uit de thema’s Transport en Afweer net iets anders bijeen geschreven en weergegeven.

Soms vertel ik een verhaal. Een persoonlijk verhaal, dat past bij het onderwerp van dat moment. Bij gedrag vertel ik over mijn honden, ik neem ze ook mee naar de klas. Bij erfelijkheid vertel ik over mijn vriend, in wiens familie de ziekte van Huntington voorkomt. Of ik vertel over mijn andere vriend, die een kind heeft met het syndroom van Down. Bij bloedsomloop vertel ik over mijn broer, die dit jaar een hartoperatie heeft gehad. Ik vertel over de collega met MS, de oud-leerling met de ziekte van Crohn. Mijn verhalen duren nooit zo heel lang.

Ik zet in mijn lokaal voorwerpen neer waarvan ik hoop dat zij tot vragen leiden. Pas als de vragen komen ga ik op het onderwerp dat er achter zit. Op dat moment is de luisterwens het grootst. Zo staan er al ruim een jaar van die moestuintjes van een grootgrutter achter in mijn lokaal. Twee weken geleden werden een aantal leerlingen ineens enthousiast en vroegen of zij ze mochten gaan laten ontkiemen. Natuurlijk.
Ik heb vrijwel altijd wat aardappelen in de vensterbank liggen. Die worden dan groen. Dan gaan er dingetjes uitgroeien. Ik zet er dan een paar, gewoon terwijl de leerlingen bezig zijn met hun werk in een grote pot met aarde.
Er staan een aantal opgezette dieren in mijn lokaal. Net als een aantal ooit door leerlingen meegebrachte attributen. De huid van een slang, het skelet van een muis, een uitgedroogde pad, een libelle, twee uitgedroogde mandarijnen (o nee, die kwamen uit mijn eigen jaszak na de vakantie).

Ik leg zo min mogelijk uit.

Regelmatig bevraag ik mijn leerlingen hoe zij les van mij willen. Per jaar en per klas verschillen de uitkomsten en ik probeer hier zo veel mogelijk op in te spelen. Vrijwel standaard is de grote meerderheid voor minder uitleg, zodat er ook minder huiswerk is. ‘Leraren praten te graag.’ Een herkenbare opmerking die mij ertoe heeft doen besluiten mijn uitleg tot een minimum te beperken. De tijd van de leerling is zo kostbaar als die van mij.

Soms leg ik uit voordat de leerlingen de tekst in het boek gelezen hebben. Soms zeg ik dat zij de tekst niet meer hoeven te lezen om de vragen, of de samenvatting te kunnen maken. Soms leg ik uit nadat de leerlingen de tekst in het boek hebben gelezen en de opdrachten of de samenvattingen hebben gemaakt. Dan leg ik uit dat dit een vorm van ‘spaced repetition’ is, een methode die aantoonbaar werkt.

Relatie

Ik vertrouw mijn leerlingen. Dat zie ik als de basis voor het vertrouwen dat ik van hen wil krijgen.

Ik weet wat ik weet. Ik weet waar ik verstand van heb en waarvan wat minder. Ik vind dingen maar realiseer mij dat andere mensen andere dingen vinden. Dit kunnen collega’s zijn of leerlingen. Ik probeer ruimte te geven buiten wat ik zelf vind. Mijn grenzen geef ik duidelijk aan. Wederzijds respect is een van mijn sleutels. Soms moet ik even de baas spelen, fijner is de (bege)leider te zijn.

De eerste 5 minuten van de les mogen leerlingen zelf beslissen hoe lang zij nodig hebben voor de overgang tussen de lessen. De verwerking van de les ervoor, het voorbereiden voor het nieuwe vak dat hoort bij het lokaal waar zij nu in zitten. Na 5 minuten volgt er een signaal, dit kan klassikaal, dit kan via een rondje en een persoonlijk woord.

Ik vertel mijn leerlingen herhaaldelijk wat mij beweegt de dingen te doen die ik doe. Ik benoem de (wetenschappelijke) achtergronden achter mijn keuze’s. Ik benoem de zekerheden en de mogelijke keuze’s.

Ik loop per les minstens drie rondjes door de klas. Leerlingen met vragen komen niet naar mijn bureau, ik loop naar hen toe. Ik pak een stoel of hurk om op ooghoogte antwoord te kunnen geven. Tijdens mijn rondjes let ik vooral op de ‘stille’ leerlingen die moeite hebben met vragen stellen. Ik probeer hen veilig uit te dagen. Ik let ook op de ‘luie’ leerlingen, die misschien net even te gemakkelijk denken dat het wel goed komt.

De door mij meest gestelde vragen aan leerlingen: ‘Vind je zelf dat je op dit moment goed bezig bent?’ ‘Ben je deze les goed bezig geweest?’

Ik maak vrij veel (flauwe?) grappen. En projecteer elke maandag de stand van de eredivisie.

De vragen

Werk je planmatig? Ja en nee. Ja, ik zorg voor de variatie. Nee, de variatie ligt niet vast. Het gaat deels op gevoel. Bij een aantal onderwerpen moeten leerlingen wel de vragen maken en is samenvatten geen optie. Bij een aantal onderwerpen weet ik zeker dat ik uitleg ga geven. Ik weet dan niet zeker of ik dat voor de eerste verwerking van de leerlingen of daarna ga doen. Het moment van uitleg kan beslist worden door het aantal vragen dat ik in een klas krijg. Een van mijn regels voor mijzelf is de regel van drie. Als ik drie keer dezelfde vraag krijg is klassikale uitleg het gevolg. Waarbij nooit iedereen hoeft te luisteren, maar wel iedereen stil moet zijn.

Zijn alle leerlingen altijd aan het werk? Nee, natuurlijk niet, dat kan ook niet. Het is niet realistisch om te verwachten dat mensen van 08.15 uur tot 16.oo of soms zelfs 16.45 uur actief leren.

Moeten alle leerlingen tijdens jouw lessen altijd (aan jouw vak) werken? Nee. In samenspraak, waarbij resultaten en effecten op mede-leerlingen belangrijke peilers zijn, mogen leerlingen keuze’s maken. Hoe zij leren en wanneer zij leren. Slechte resultaten, veroorzaakt door verkeerde keuze’s tijdens de lessen biologie kunnen leiden tot ingrijpen van mijn kant.

Is het wel eens stil in jouw lokaal? Heel soms, tijdens een leeruurStil is het op een kerkhof, niet op een plek waar geleerd wordt.

Neem je wel eens orde maatregelen? Ja. Ik neem wel eens een mobiel in, via mijn mobiele mobielen doos. Ik zet wel eens een leerling even buiten het lokaal. Ik haal wel eens tweetallen uit elkaar. Ik zet wel eens leerlingen vooraan in het lokaal. Ook hier licht ik toe, met een toefje humor. Leerlingen die vooraan in het lokaal zitten halen hogere cijfers. De reden om achteraan in het lokaal te gaan zitten is nooit dat je daar de leerkracht beter kunt horen.

Nog meer vragen? Ik beantwoord ze graag!


%d bloggers liken dit: