Zelf aan zet met het evaluatiespel
Hoe zorg je dat je een creatief ontwikkelproces goed afrondt met het projectteam en dat je de lessen boven tafel krijgt die je tijdens het proces samen hebt geleerd? Daarvoor is het evaluatiespel in het leven geroepen.
Onderzoeker bij het iXperium/CoE, Madeleine Hulsen vertelt wat het evaluatiespel inhoudt en welke voordelen deze manier van evalueren met zich meebrengt. “Het evaluatiespel is ontwikkeld om iXperium designteams op een interactieve en positieve manier af te ronden. Het is één van de ingrediënten van het iXperium/CoE en heeft tot doel om op een onderzoeksmatige én creatieve manier leerarrangementen voor gepersonaliseerd leren met en over ict te ontwerpen die passen bij vragen die leven in de onderwijspraktijk. Een designteam bestaat onder meer uit leraren, onderzoekers en ict-experts.”
Reflecteren en lessen trekken
Ze vervolgt: “Zulke ontwerpprocessen kennen soms een grillig verloop en daar valt veel van te leren. Met het evaluatiespel creëer je een terugblik naar belangrijke momenten van het proces, om samen op te reflecteren en daar lessen uit te trekken. Wat hebben we gemaakt, wat hebben we geleerd, wat hebben we veranderd in ons gedrag of in de organisatie? Wat waren verwachtingen en waarom zijn ze wel of niet uitgekomen?”
Processtappen in beeld
Het evaluatiespel is een soort speelbord met nummertjes, dat eerst in papieren vorm is ontwikkeld en dat later online via Google Jamboard is opgezet. Madeleine Hulsen: “De nummertjes staan voor de stappen die zijn gezet tijdens het ontwikkeltraject. Het bord ziet eruit als een pad dat je aflegt en dat past symbolisch goed voor het proces dat we samen zijn doorgegaan: het is nooit een rechte lijn. De stappen die op het bord een plekje krijgen zijn bijvoorbeeld de startbijeenkomst en de verschillende fases die we doorlopen in een designteam, zoals het vooronderzoek, het opstellen van de werkhypothese, ontwerpen, experimenten en evalueren. Denk bij het vooronderzoek bijvoorbeeld aan een bezoek aan een andere school voor inspiratie of een conferentie. Ook halen we tijdens het proces feedback op bij studenten of docenten. Een eerste versie van het ontwerp van een leerarrangement wordt getest in de praktijk en eventueel bijgesteld. Dat zijn allemaal stappen op het bord.”
Gelijkwaardig gesprek
Het evaluatiespel heeft een unieke meerwaarde. Iedereen komt aan het woord en het is gemakkelijk om je inbreng vanuit jouw expertise Het evaluatiespel heeft een unieke meerwaarde. “Iedereen komt aan het woord en het is gemakkelijk om je inbreng vanuit jouw expertise te hebben. De procesbegeleider maakt voorafgaand aan de evaluatiesessie een lijst met alle stappen van het proces en koppelt die stappen aan nummertjes op het bord. Alle teamleden krijgen kaartjes: drie lampjes en drie hartjes, die zij op het evaluatiebord kunnen plaatsen, bij een stap die voor hen cruciaal is geweest. De lampjes staan voor inzichten en de hartjes voor betekenisvolle ervaringen. Dit kunnen zowel positieve als negatieve ervaringen zijn. Mooie dingen die je hebt meegemaakt, inspirerende locaties of gesprekken, maar ook frustraties.
Er komen nieuwe inzichten boven en alles komt bij elkaar als een compleet proces.
Na het plaatsen van de lampjes en hartjes gaan we hierover praten. De stappen waar juist geen lampjes of hartjes staan, zijn volgens Madeleine ook interessant: “Waarom bleken die niet cruciaal? Zo krijg je een gelijkwaardig en open gesprek over wat het designteam heeft opgeleverd, de ups en downs in het proces, sterke punten en verbeterpunten. Er komen nieuwe inzichten boven en alles komt bij elkaar als een compleet proces.”
Positieve ervaringen
“We hebben nu verschillende evaluaties met het evaluatiespel gedaan en de ervaringen van deelnemers zijn heel positief. Deze manier van evalueren is minder statisch dan in een kringetje bijvoorbeeld één voor één je ervaringen uitwisselen. We lopen gezamenlijk het afgelegde pad door en praten over de stappen die we tegenkomen. Ook is het makkelijker om door te vragen: wat zat er achter een bepaalde ervaring? Wat is daarmee gedaan? Dat het evaluatiespel digitaal te gebruiken is, blijkt een extra voordeel. Iedereen krijgt makkelijk toegang en kan zelf op het digitale bord schuiven met zijn kaartjes.”
Zelf aan de slag
Het evaluatiespel is samen met een aantal collega’s specifiek ontwikkeld voor de iXperium designteams, vanuit de storyline methode. Toch kan de methode als inspiratie dienen om ook andere processen, projecten en trajecten te evalueren. “Het spel past goed bij trajecten waarbij je in een multidisciplinair team hebt samengewerkt,” aldus Madeleine. Er staat een voorbeeld van het bord op de website van het iXperium. Daarnaast kun je ook aan de slag met de online versie via Google Jamboard. Speciaal voor externen is een handleiding gemaakt waarmee zij aan de slag kunnen.
Nieuwe manier van evalueren
Irma van der Neut, senior onderzoeker bij IVA Onderwijs, hielp mee bij het ontwerpen van het evaluatiespel. “Om meer te weten over hoe iXperium designteams het onderzoekend ontwerpen van onderwijs ervaren en wat het hen oplevert, doen we na afloop een evaluatie met elk team. Eerst deden we dat met een individuele vragenlijst voor elk teamlid, maar dat leverde niet de juiste informatie op. Mensen vonden het vervelend om in te vullen en ze hadden er zelf weinig aan.” Ze gaat veder: “We zijn op zoek gegaan naar een manier van evalueren waar de leden van designteams zelf ook iets aan hebben en die ons diepere informatie oplevert. Daarbij hebben we ons laten inspireren door de storyline methode, dat is een interviewmethode waarmee je mensen kunt laten terugblikken op een proces.”
Meer weten
Neem contact op met Madeleine Hulsen. Zij is sinds 2018 werkzaam als onderzoeker bij het iXperium/CoE en houdt zich voornamelijk bezig met het onderzoek naar en de methodiek van de iXperium designteams. Meer informatie over de iXperium designteam methodiek lees je op de website van het iXperium.
