Validatie van educatieve games

en

In de moderne maatschappij bestaat er een groeiende belangstelling voor applied games die zijn gericht op een educatieve toepassing. In de wetenschappelijke literatuur worden dit vaak educatieve games ("educational games") genoemd. Educatieve games kunnen leerlingen onderdompelen in een relevante, authentieke, concrete leeromgeving. Dergelijke leeromgevingen maken, veel meer dan boeken of frontaal klassikaal onderwijs, "ervarend leren" mogelijk (Jiusto & DiBiasio, 2006; Smith & O'Neil, 2003). Verondersteld wordt dat educatieve games daarmee goed appelleren aan de zogenaamde 21st Century Skills. Dat zijn vaardigheden zoals autonomie en zelfsturend leren, samenwerken, probleem oplossen, empatisch begrip, flexibiliteit en ondernemerschap (Trilling & Fadel, 2009). Met educatieve games kunnen leerlingen als het ware direct ervaren en beleven hoe dingen werken en hoe de wereld in elkaar zit door daar actief mee aan de slag te gaan. Het aantal verschillende mogelijke onderwerpen of leerdoelen is bijzonder groot: denk aan reken- en taalspelletjes, maar bijvoorbeeld ook aan leren vliegen, een militaire operatie uitvoeren, een bedrijf runnen, onderhandelen, een crisis managen, of een chirurgische ingreep beoefenen.

Vanwege de groeiende belangstelling voor applied en educatieve games is het belangrijk te weten hoe kan worden nagegaan of zij effectief zijn. Dat is belangrijk voor ontwikkelaars van games en voor opleiders om te kunnen beslissen wanneer zij wel of niet een game zullen ontwikkelen of gaan gebruiken. De term "validatie" wordt gebruikt voor onderzoek naar de leereffecten van een game. In dit artikel gaan we nader in op de eigenschappen en kenmerken van educatieve games, en bespreken we het belang van validatie. Ook behandelen we methoden voor het verrichten van validatieonderzoek en benoemen we enkele problemen en valkuilen.

"Verondersteld wordt dat educatieve games daarmee goed appelleren aan de zogenaamde 21st Century Skills."

Educatieve gaming verschilt van (desktop) trainingssimulaties en andere vormen van (computer-based) training door de doelbewuste toevoeging van spelelementen. Met spelementen (zoals competitie, boeiende verhaallijnen; attractieve video en audio; beloning) wordt geprobeerd om de betrokkenheid of bevlogenheid van de lerende te verhogen en diens motivatie om het spel te blijven spelen te vergroten (Csikszentmihali, 1990, 1999; Deen, 2015; Ryan & Deci, 2000; Wouters, 2014). De gedachte daarbij is dat een verhoogde motivatie leidt tot een hogere oefenbereidheid (drempelverlaging) en tot een hogere concentratie tijdens de trainingsessies. Dit gaat gepaard met een verhoogd activatieniveau van het brein met als waarschijnlijk gevolg dat leereffecten worden versterkt (Korteling, Helsdingen en Theunissen, 2013).

Wat maakt een educatieve simulatie tot een educatieve game?

Vaak wordt gedacht dat educatieve gaming bij uitstek een geschikt leermiddel is omdat het gebruik maakt van game-technologie. Maar het is niet zozeer de technologie die een eventuele meerwaarde aan het leren biedt, want die technologie wordt al sinds tijden ook toegepast in "gewone" trainingssimulatoren. Wat educatieve games écht onderscheidt van andere leeromgevingen, is de doelbewuste toevoeging van spelelementen. Figuur 1 toont hoe op basis van combinaties van de kennisgebieden "simulatie", "onderwijs", en "spel" verschillende onderwijsvormen kunnen worden onderscheiden. Door onderwijskundige faciliteiten te koppelen aan simulatie, kan de simulatie beter voor leren en trainen worden gebruikt: "educatieve simulatie". Door spelelementen aan simulaties toe te voegen kan het plezier dat aan de simulatie kan worden beleefd worden vergroot: "entertainment gaming". Door zowel spel- als onderwijselementen te combineren met simulatie wordt de leerwaarde vergroot omdat het oefenen leuk én leerzaam is: "educatieve gaming" (Figuur 2). Anders gezegd: het doelbewust toevoegen van spelelementen aan educatieve simulatie maakt het tot een educatieve game (Korteling, Helsdingen & Theunissen, 2013).

Figuur 1: verschillende onderwijsvormen als combinaties van Simulatie, Spel, en Onderwijs

Spelend leren is niet per definitie simpel

De populariteit van computerspellen, de brede verspreiding en de relatief bescheiden aanschafkosten suggereren dat educatieve games gemakkelijk voor training kunnen worden ingezet. Dat lijkt echter een te eenvoudige voorstelling van zaken. Educatieve gaming is, door de toevoeging van spelelementen, juist relatief complex. Het stelt hoge eisen aan de techniek (door bijvoorbeeld de inbedding van educatieve add-ons in een game); aan de competenties van de instructeurs (lesgeven met games vergt een eigen aanpak); en aan de leeromgeving (soms zijn rollenspelers of begeleiders nodig om het gewenste spelverloop te bewerkstelligen). Kortom: het effectief integreren van simulatie, spel en didactiek maakt het vaak moeilijker om educatieve games dan conventionele trainingsimulaties te ontwikkelen. Daarom is een educatieve game niet voor alle opleidingen en trainingen de geschiktste keuze.

Figuur 2: kinderen bezig met een educatieve game

Beloftes waarmaken op basis van validatieonderzoek

Het vaststellen of een educatieve game echt doet waarvoor hij is bedoeld, wordt validatie genoemd. De vraag is dus: worden de leerdoelen met een educatieve game op een goede en doelmatige manier gehaald?

Naar de leerwaarde van trainingsimulatoren wordt al tientallen jaren onderzoek verricht (bijv. Salas & Bowers, 2001). Hun educatieve doelmatigheid is door de jaren heen inmiddels overduidelijk bewezen. Voor educatieve gaming is het echter nog geen uitgemaakte zaak of deze onderwijsvorm (kosten-)effectief is. Harteveld (2012) concludeert op basis van een groot aantal wetenschappelijke effect- en validatiestudies (bijv: Akl, et al, 2010; Bekebrede et al., 2011; Connolly et al, 2012, Egenfeldt-Nielsen, 2006; Hays, 2005; Ke, 2009; Sitzmann, 2011; Vogel et al., 2006) dat educatieve games een meerwaarde kunnen hebben ten opzichte van andere leermiddelen, maar dat nog uitgezocht moet worden hoe dit potentieel benut en aangetoond moet worden. Vaak blijken de leerwinsten van educatieve games ten opzichte van andere leervormen nogal beperkt. Of in een gegeven geval een educatieve game tot succesvol leren leidt hangt vaak sterk af van de technische mogelijkheden en de didactische eisen. Als bijvoorbeeld de leerdoelen voortbouwen op ervaringskennis van leerlingen, of als de leerlingen van de doelgroep goed in staat zijn om conceptueel te denken en makkelijk verbanden kunnen leggen, dan is het gebruik van spel vaak helemaal niet zo nodig. In zulke gevallen kan de stof beter en sneller op een traditionele manier worden overgebracht, bijvoorbeeld schriftelijk, door e-learning, of door visualisaties of simulaties (Korteling, Helsdingen en Theunissen, 2013). Aan de andere kant is de laagdrempeligheid van gaming erg geschikt voor leerlingen met motivatieproblemen (pubers) of met verstandelijke beperkingen (Korteling & van den Bosch, 2015).

"Daarom is een educatieve game niet voor alle opleidingen en trainingen de geschiktste keuze."

Als het voor een specifieke opleiding nodig is dat cursisten oefenen, dan is het verstandig na te gaan of dit het best bereikt kan worden met een educatieve game, of dat wellicht een traditionele trainingsimulatie zonder spelelementen geschikter is (Korteling & van den Bosch, 2015). Welke keuze ook gemaakt wordt, het is belangrijk te kunnen onderbouwen, of aan te tonen, dat het leermiddel echt goed zal werken.

Validiteit op verschillende niveaus van leren, Kirkpatrick

Hoe komen we er nu achter of een game, toegepast op een bepaalde leersituatie, valide is? In het onderwijs bewerkstelligt een valide leermiddel: goed en effectief leren. Om die vraag te kunnen beantwoorden moet eerst duidelijk zijn wat onder leereffectiviteit moet worden verstaan. Volgens het piramidemodel van Kirkpatrick (2006) kan de effectiviteit van een leertraject of leermiddel op verschillende niveaus worden gemeten (Alliger & Janak, 1989; Bates, 2004):

Figuur 3: Vier niveaus waarop het effect van een leertraject gemeten kan worden (Kirkpatrick, 1998)
  1. Reactions: Reactie of beleving van de leerling over de training, of over het trainingsmiddel, doorgaans gemeten met behulp van vragenlijsten of interviews;
  2. Learning: Directe leereffecten van de training zelf (dus de behaalde scores en prestatie-resultaten tijdens de training, of direct aansluitend op de training);
  3. Transfer: Gedrag of prestatie in de praktijk. Dit wordt ook wel "leeroverdracht" genoemd;
  4. Results: Effecten van de training op de organisatie als geheel

Transfer of training

Studies naar de effecten van educatieve games beperken zich in veel gevallen tot niveaus 1 en 2 (Cohn et al., 2009). Daarbij wordt dus gemeten wat de effecten zijn binnen de leersituatie. Op de vraag of eventuele effecten van training doorwerken in de praktijk kan geen antwoord worden gegeven. In dat geval spreken we over de leeroverdracht of "transfer of training", en dat is waar het in het onderwijs natuurlijk echt om gaat (of zou moeten gaan). transfer of training is de mate waarin kennis en vaardigheden geleerd tijdens training, ook in praktijk worden gebracht bijvoorbeeld in een vervolgcursus of in een beroepssituatie (bijv. Baldwin & Ford, 1988; Gielen, 1995). Ook bij educatieve games is leeroverdracht naar de praktijk het primaire doel. Het is natuurlijk leuk als je, zoals bij entertainment games, het spelletje steeds beter leert spelen en je tegenstanders bijvoorbeeld allemaal verplettert. Maar deze progressie en het (bijbehorende) plezier blijven secundaire zaken die ondersteunend zijn voor het behalen van de (leer)doelen die - althans bij een serieus spel - buiten het spel zélf liggen.

Het doel van trainen is uiteraard om mensen de kennis en vaardigheden te leren die ze nodig hebben. Maar het komt in sommige gevallen ook voor dat de training mensen niet helpt, maar juist hindert. Dat wordt negatieve leeroverdracht, of negatieve transfer-of-training genoemd. Negatieve leeroverdracht kan bijvoorbeeld betekenen dat door oefenen met een game die als leuk en motiverend wordt ervaren (niveau 1), aantoonbare verbetering tijdens de training wordt bereikt (niveau 2). Echter, toegepast in de praktijk (niveau 3) kunnen deze leereffecten juist tot slechtere, in plaats van betere, prestaties leiden. Er is dan sprake van leereffecten die tegengesteld zijn aan de bedoeling van de game.

Bij negatieve transfer kan het oefenen met het spel leiden tot het maken van meer fouten en ongelukken in de praktijk. Dat kan desastreuze gevolgen hebben, bijvoorbeeld als het gaat om het leren verrichten van chirurgische ingrepen (Graafland, Schraagen & Schijven, 2012). Een ander voorbeeld van negatieve leeroverdracht vond plaats bij het in gebruik nemen van simulatoren waarmee Nederlandse militairen konden leren rijden in een Leopard tank, eind jaren '80. Naar aanleiding van klachten van instructeurs over grote verschillen tussen de rijsimulator en het rijden in een echte tank, werd door TNO aangetoond dat leerling-bestuurders na simulatortraining een parkoers met een echte tank minder nauwkeurig reden dan leerlingen zonder training (Breda & Boer, 1989). Vooral de ruimtelijke dimensies van voertuigen werden verkeerd ingeschat waardoor bestuurders bijvoorbeeld paaltjes omver reden en tegenliggers de stuipen op het lijf joegen door te veel op de linkerkant van de weg te rijden. De oorzaak van de negatieve leereffecten was gelegen in een niet-natuurgetrouwe simulatie. De fabrikant had voor de simulatie van het buitenbeeld van de rijsimulator gebruik gemaakt van technologie, componenten en wiskundige modellen die eerder waren ontwikkeld voor vliegsimulatoren Maar de eisen aan beeldsimulatie voor het leren rijden zijn heel anders dan die voor het leren vliegen. Inmiddels loopt het Nederlandse leger voorop door gebruik van trainingsimulatoren en educatieve games in een groot aantal leertrajecten.

Figuur 4: Gevolgen van negatieve leeroverdracht

Validatieonderzoek voor het onderwijs

Ook voor het onderwijs is onderzoek naar de validiteit van educatieve games, van groot belang. Het objectief vaststellen van transfer of training kan de (meer)waarde van games aantonen. De analyse van meetresultaten kan gebruikers (en ontwikkelaars) inzicht geven in de sterke en zwakke punten van games voor onderwijskundige doelstellingen. Echter, niet alle vaardigheden laten zich even makkelijk meten, vooral niet als het om de 21st Century Skills gaat. Hoe meet je bijvoorbeeld ondernemerschap, empathie of leiderschap? Of hoe meet je of iemand goed communiceert of proactief samenwerkt? Dat zijn de vaardigheden waar het bij het trainen van bestuurders, managers, consultants, politiemensen en hulpverleners op aankomt. Onderzoek naar de validiteit van trainingen in dit type vaardigheden is vrij ingewikkeld en niet makkelijk uit te voeren (Korteling et al., 2014; Salas et al., 2009).

Voor validatie van training moet een adequaat experimenteel design gehanteerd worden. In de ideale situatie is er een "experimentele groep" van voldoende omvang die met behulp van een game traint en daarnaast een controlegroep (vergelijkingsgroep) die op de conventionele of standaard-manier les krijgt (Campbell & Stanley, 1963). Hierbij wordt doorgaans bij beide groepen zowel een voormeting als een nameting uitgevoerd, waarbij de prestatiemetingen zoveel mogelijk hetzelfde blijven. Een controlegroep die helemaal geen training volgt is niet geschikt omdat er dan geen vergelijking mogelijk is met alternatieve vormen van training, of met de standaard manier van trainingen (Ackerman et al., 2010).

Helaas worden in het algemeen bij evaluatiestudies van trainingprogramma's of trainingsmiddelen nog weinig gebruik gemaakt van een goede experimentele opzet (bijv. Akl et al., 2010; Salas et al., 2003, 2009; Sitzman, 2011). Daarvoor zijn verschillende oorzaken aan te wijzen. Eén daarvan is dat in de onderwijspraktijk niet altijd gewerkt kan worden met een controlegroep. Dat kan bijvoorbeeld zijn omdat een training geheel nieuw is of omdat de oude training niet meer gegeven wordt. Een ander frequent voorkomend probleem is dat het lastig blijkt om in een natuurlijke onderwijssituatie goed de trainingseffecten te kunnen meten. Daarnaast wordt het parallel opzetten van twee of meer goed vergelijkbare leertrajecten vaak belemmerd door allerlei praktische zaken, zoals vastliggende lesschema's, geen controle hebben over onverwachte gebeurtenissen die zich tijdens lessen kunnen voordoen, logistieke beperkingen, te weinig leerlingen of gebrek aan personeel dat voldoende geschoold is voor het begeleiden van onderzoek (Boldovici, Bessemer & Bolton, 2002; Cohn et al., 2009). Door dit soort problemen is het vaak niet goed mogelijk om objectief te kunnen vaststellen wat er nu precies is geleerd, en in hoeverre eventuele effecten zijn toe te schrijven aan het gebruikte leermiddel.

Inzicht krijgen in oorzaken van bevindingen

Als het lukt om een goede vergelijking te maken tussen de onderwijsresultaten van een gaming groep en die van een controlegroep, dan is het verstandig om verder te kijken dan alleen de transfer of training. Het is immers ook interessant te weten waardoor bepaalde (goede of slechte) leereffecten ontstaan zijn (Connolly et al, 2012). Die kunnen namelijk worden bepaald door heel veel mogelijke factoren. Een mogelijkheid is bijvoorbeeld dat de effecten alleen optreden bij bepaalde personen en bij andere niet, of minder. Dan is het goed om te kijken naar de relatie tussen effectgrootte en persoonskenmerken (bijv. leeftijd, intelligentie, vooropleiding). Een eventueel effect kan ook verband houden met andere aspecten van de onderwijsleersituatie die op zichzelf niets of weinig met de game te maken hebben. Het kan bijvoorbeeld zijn dat een eventueel leereffect vooral veroorzaakt wordt door het gebruik van een bepaalde onderwijstechniek die in de game gebruikt wordt, zoals het reflectie na afloop, of het spelen van de duivel's advocaat (Korteling, Oprins & Venrooij, 2014). Validatieonderzoek levert dus niet alleen informatie op over de leereffecten en leeroverdracht van een game, het kan ook inzicht geven in de onderliggende processen die verantwoordelijk zijn voor de effecten.

Bij validatie van een educatieve game wordt natuurlijk vooral gekeken naar de kwaliteit van de game als leermiddel. Die wordt door drie factoren bepaald:

  1. de kwaliteit van de simulatie
  2. de kwaliteit van de onderwijskundige opzet en faciliteiten, zoals de inbedding van de game in het totale leertraject, mogelijkheden voor instructies, prestatiemetingen en feedback.
  3. de kwaliteit van de spelelementen in de game

De simulatietechnologie moet geschikt zijn om mensen de kennis en vaardigheden zodanig te leren dat zij die in de praktijk goed en zelfstandig kunnen toepassen. Natuurgetrouwheid (ook wel realisme of fidelity genoemd) is daarvoor een noodzakelijke voorwaarde. De simulatie moet een leersituatie aanbieden die voor het behalen van de leerdoelen van belang zijn. Als een game of simulatie de taakkenmerken niet op de juiste manier weergeeft, dan zal dit minder positieve transfer opleveren (en kan er zelfs negatieve transfer optreden). Een goede kwaliteit van spelmatige en didactische factoren zijn wat dat betreft minder noodzakelijk, maar voor positieve transfer of training natuurlijk wél zeer wenselijk omdat ze het leerproces bevorderen (Korteling, Helsdingen & Theunissen, 2013)

Natuurgetrouwheid

Omdat natuurgetrouwheid zo'n belangrijke eis is, gaan we er hier iets dieper op in. Natuurgetrouwheid kan betrekking hebben op drie vormen van overeenkomst met de werkelijkheid: fysieke-, functionele- en psychologische natuurgetrouwheid (bijv. Alexander et al., 2005)

  • Fysieke natuurgetrouwheid betreft de gelijkenis tussen de simulatie en de werkelijkheid met betrekking tot uiterlijke fysische kenmerken (bijvoorbeeld: zijn de bedieningsmiddelen hetzelfde als in werkelijkheid, of ziet de omgeving er hetzelfde uit?).
  • Functionele natuurgetrouwheid geeft aan in hoeverre de taak in de simulatie op dezelfde wijze kan worden uitgevoerd als in de werkelijkheid. Op basis van een goed (kloppend) onderliggend model verlopen interacties tussen leerling en simulatie op dezelfde wijze als in de werkelijke wereld onder gelijksoortige omstandigheden ("gedragsovereenkomst").
  • Psychologische natuurgetrouwheid betekent dat de leerling de simulatie op dezelfde manier beleeft als in de werkelijkheid, inclusief ervaringen als: stress, inspanning, plezier en betrokkenheid.

Het doorslaggevende belang van natuurgetrouwheid betekent overigens niet dat een game niet van de werkelijkheid mag afwijken. In bepaalde gevallen mogen er zelfs forse verschillen tussen simulatie en werkelijkheid zijn, bijvoorbeeld in de weergave van de fysieke eigenschappen van de omgeving als het gaat om het leren van een cognitieve taak. De gesimuleerde wereld in de game kan ook een vereenvoudigde en/of makkelijkere versie van de echte wereld zijn, of kan voor beginnende leerlingen extra (ondersteunende) informatie aanbieden die er in het echt niet is (zie bijv. Visschedijk & van der Hulst, 2011). Dit laatste is een effectieve methode als de taak te moeilijk is voor beginners. Echter, een gevaar is dat leerlingen de extra informatie gaan beschouwen als onderdeel van de taak zelf, en er daardoor in de taakuitvoering afhankelijk van worden. Aanbevolen wordt daarom om ondersteunende informatie uitsluitend te gebruiken in de beginfase en de ondersteuning gaandeweg de training te verminderen. Uiteindelijk is het essentieel dat de voor de leerdoelen kritische taakaspecten in de game zoveel mogelijk overeenstemmen met de werkelijkheid. Dat zorgt ervoor dat de vaardigheden die nodig zijn om in de game goed te presteren dezelfde zijn als die nodig zijn om in de echte wereld goed te functioneren. Alleen dán kan er transfer of training optreden.

Referenties

Alexander, A.L., Brunyé, T., Sidman, J. & Weil, S.A. (2005). From gaming to training: A review of studies on fidelity, immersion, presence, and buy-in and their effects on transfer in PC-based simulations and games. Woburn, MA: Aptima, Inc.
Akl, E.A., Pretorius, R.W., Sackett, K., Scott Erdley, W. Bhoopath, P., Alfarah, Z., & Nemann, H.J. (2010). The effect of educational games on medical students' learning outcomes: a systematic review. BEME guide no 14.
Alliger, G. M., & Janak, E. A. (1989). Kirkpatrick's levels of training criteria: thirty years later. Personnel Psychology, 42, 331-342.
Baldwin, T.T, & Ford, J.K. (1988). transfer of training: a review and directions for future research. Personnel Psychology, 41, 63-105.
Bates, R. (2004). A critical analysis of evaluation practice: the Kirkpatrick model and the principle of beneficence. Evaluation and Program Planning 27, 341-347.
Bekebrede, G., Warmelink, H. J. G., & Mayer, I. S. (2011). Reviewing the need for gaming in education to accommodate the net generation. Computers & Education, 57(2), 1521-1529.
Boldovici, J.A., Bessemer, D.W., and Bolton, A.E. (2002). The elements of training evaluation. Alexandria, VA: U.S. Army Research Institute for the Behavioral and Social Sciences.
Breda, L. van, Boer, J.P.A. (1988). Validation study Leopard II training simulator. TNO report IZF 1888-M7E. Soesterberg: Instituut voor Zintuigfysiologie.
Campbell, D.T. & Stanley J.C. (1963). Experimental and quasi-experimental designs for research. Chicago, Illinois: Rand McNally & Company.
Cohn, J., Kay, S., Milham, L, Bell Carroll, M., Jones, D. Sullivan, J., & Darken, R. (2009). Training effectiveness evaluation: from theory to practice. In D. Schmorrow, J. Cohn, & D. Nicholson (Eds). The PSI Handbook of Virtual Environments for Training and Education. Pp 157-172.
Connolly, T. M., Boyle, E. A., MacArthur, E., Hainey, T., & Boyle, J. M. (2012). A systematic literature review of empirical evidence on computer games and serious games. Computers & Education, 59(2), 661-686.
Csikszentmihali, M. (1990). Flow: the psychology of optimal experience. New York: Harper & Row.
Deen, M. (2015). G.A.M.E. Games Autonomy Motivation Education: How autonomy-supportive game design may improve motivation to learn. Eindhoven University of Technology Library ISBN: 978-90-386-3776-1.
Egenfeldt-Nielsen, S. (2006). Overview of research on the educational use of video games. Digital Kompetanse, 1(3), 184-213.
Gielen, E. W. M. (1995). transfer of training in a corporate setting (doctoral thesis). Enschede; University Twente.
Graafland, M., Schraagen, J. M., & Schijven, M. P. (2012). Systematic review of serious games for medical education and surgical skills training. British Journal of Surgery, 99(10), 1322-1330.
Harteveld, C. (2012). Making sense of Virtual Risks: a Quasi-Experimental Investigation into Game-Based Training. Amsterdam: IOS Press
Hays, R. T. (2005). The effectiveness of instructional games: a literature review and discussion. Technical Report 2005-004. Naval Air Warfare Training Systems Division. Orlando, U.S.A.
Jiusto, S & DiBiasio, D. (2006). Experiential learning environments: Do they prepare our students to be self-directed, life-long learners? Journal of Engineering Education, 95, 195-204.
Ke, F. (2009). A qualitative meta-analysis of computer games as learning tools. In R. E. Ferdig (Ed.), Handbook of research on effective electronic gaming in education (Vol. I, pp. 1-32).
Kirkpatrick, D.I. (1998). Evaluating Training Programs: The Four Levels. 3rd ed, San Francisco: Berrett-Koehler.
Kirkpatrick, D.I. (2006). Evaluating Training Programs: The Four Levels 3rd edition San Francisco: Berrett-Koehler.
Korteling, J.E., Bosch, K van den (2015). Conventionele simulatie versus gaming. TNO memo, Soesterberg: TNO Human Factors (Concept).
Korteling, J.E., Helsdingen, A.S., Theunissen, N.C.M. (2013). Serious Games @ Work: Learning job-related competencies using serious gaming. In A. Bakker & D. Derks (Eds) The Psychology of Digital Media at Work. Psychology Press LTD / Taylor & Francis Group. (pp 123 - 144).
Korteling, J.E., Oprins, E.A.P.B., Venrooij, W. (2014). Evaluatie van leerinterventies en teamfunctioneren in dynamische teams. Rapport TNO-2014 R10243. Soesterberg: TNO Behavioral & Societal Sciences
Ryan, R. M., & Deci, E. L. (2000). Self-determination theory and the facilitation of intrinsic motivation, social development, and well-being. American psychologist, 55(1), 68-78.
Salas, E., Milham, L.M., & Bowers, C.A. (2003). Training evaluation in the military: misconceptions, opportunities, and challenges. Military Psychology, 15, 3-16.
Salas, E., Rosen, M.A., Held, J.D., & Weissmuller, J.J. (2009). Performance Measurement in Simulation-Based Training: A Review and Best Practices. Simulation and gaming, 40(3), 328-376.
Sitzmann, T. (2011). A meta-analytic examination of the instructional effectiveness of computer-based simulation games. Personnel Psychology, 64, 489-528
Smith, P.A.C. & O'Neil, J. (2003). A review of action learning literature 1994-2000. Part 1: Bibliography and comments. Journal of Workplace Learning, 15, 63-69.
Trilling, B & Fadel, C. (2009). 21st Century Skills: learning for life in our times. San Francisco, CA: John Wiley.
Visschedijk, G., C., & van der Hulst, A. (2011). Hoe realistisch moet een serious game zijn? Homo Ludens Magazine. http://homoludensmagazine.nl/artikel.php?titel=hoe-realistisch-moet-een-serious-game-zijn.
Vogel, J., Vogel, D.S., Cannon-Bowers, J., Bowers, C.A., Muse, K., & Wright, M. (2006). Computer gaming and interactive simulations for learning: a meta-analysis. Journal of Educational Computing Research, 34, 229-243.
Wouters, P. (2014). Hoe effectief zijn serious games eigenlijk? Homo Ludens Magazine http://homoludensmagazine.nl/artikel.php?titel=hoe-effectief-zijn-serious-games-eigenlijk.