Digitaal lesmateriaal vanuit het perspectief van de student

In deze blogpost het eindverslag van het onderzoek dat ik in het kader van de Leergang TEL gedaan heb.

Aanleiding voor het onderzoek
Binnen de ICT-Academie van het Koning Willem I College werken we alle lange tijd met een ELO. Enige jaren terug was dit Blackboard. De laatste twee jaar is dit N@tschool. Door het gebruik van een ELO wordt meer en meer lesmateriaal digitaal aangeboden aan onze studenten.

De gangbare manier van aanbieden op dit moment zijn pdf-jes. In het schooljaar 2009-2010 is door een aantal docenten begonnen met het aanbieden van het lesmateriaal in de vorm van een website waarin met name interactie, hyperlinks en video’s het materiaal verrijken. Het lesmateriaal wordt ontwikkel in eXe Learning. Ondertussen zijn er diverse templates ontwikkeld om het lesmateriaal dezelfde look and feel te geven.

In de wandelgangen is de discussie ontstaan over het nut van de nieuwe manier van het aanbieden van lesmateriaal. De ene docent heeft liever een reader die hij of zij uitdeelt, de andere gaat voor pdf-jes en weer een ander gaat voor materiaal gemaakt in eXe Learning. Tijd om de subjectieve discussie een objectieve richting te geven door de studenten te vragen wat ze wel/niet prettig vinden en waarvan ze het meeste leren.

Probleemstelling
Uit bovenstaande aanleiding rolt als vanzelfsprekend de volgende probleemstelling:

Welke voordelen en/of nadelen ervaren de studenten van de ICT-Academie, en waarvan vinden ze dat ze het meeste leren als gekeken wordt naar:

  1. de huidige manier van het plaatsen van (lineair) lesmateriaal binnen het ELO (N@tschool) van de ICT-Academie van het Koning Willem I College aan de hand van .pdf documenten, en
  2. de nieuwe voorgestelde manier aan de hand van (hyperlinked) lesmateriaal gemaakt met eXe Learning (zie onderstaande plaatjes),

zodat voor komende schooljaar een onderbouwde keuze gemaakt kan worden voor één van beide manieren binnen de ICT-Academie en de gekozen manier zo effectief mogelijk in te zetten.

Lesmateriaal met .pdf documenten in N@tschool          Lesmateriaal gemaakt met eXe Learning in N@tschool

Dit onderzoek is uitgevoerd bij de studenten van leerjaar 1 van de opleiding Medewerker Beheer ICT (ongeveer 65 studenten) aan de ICT-Academie van het Koning Willem I College. Van deze studenten zijn er 64 mannelijk, en 1 student vrouwelijk. De grootste groep studenten is tussen de 16 en 17 jaar oud. Een klein deel van de studenten is ouder vanwege doorstroom vanuit de opleiding Medewerker ICT, zittenblijven, instroom vanuit een andere opleiding of ROC of terugstroom vanuit hogere opleidingen.

Het lesmateriaal in eXe Learning is als onderdeel van de Leergang TEL ontwikkeld, en hier te vinden.

Onderzoekvragen
De onderzoeksvragen zijn als volgt:

Wat zijn de voor- en nadelen die de studenten ervaren met:

  1. de huidige manier van werken – .pdf documenten in N@tschool;
  2. de nieuwe manier van werken – materiaal gemaakt in eXe Learning.

Met welke manier van werken ervaren de studenten de meeste leerwinst:

  1. de huidige manier van werken – .pdf documenten in N@tschool;
  2. de nieuwe manier van werken – materiaal gemaakt in eXe Learning.

Gebruikte begrippen
De hoofdbegrippen die nadere uitleg behoeven in dit onderzoek zijn (cursief afgebeeld):

Lesmateriaal met .pdf documenten is lesmateriaal waarin tekst met plaatjes (voornamelijk screenshots om een volgorde van handelingen weer te geven) gebruikt worden met soms hyperlinks naar aanvullende bronnen (bijvoorbeeld Wikipedia). Het lesmateriaal is lineair van opzet, oftewel: het materiaal wordt van bladzijde 1 t/m bladzijde x stap-voor-stap doorgenomen. Klik hier voor een voorbeeld van een pdf-document.

Lesmateriaal gemaakt met eXe Learning is lesmateriaal dat in de vorm van een website aan de student aangeboden wordt. Het lesmateriaal bevat naast tekst en plaatjes (voornamelijk screenshots) vooral videoinstructies, gerichte vragen over die instructie, interactie met de student in de vorm van zelfinschatters aan het begin en aan het einde en opdrachten om voorkennis te activeren. Het materiaal is niet lineair van opzet, maar bevat kleine blokjes instructie die via hyperlinks aan elkaar gekoppeld zijn. Klik hier voor het compleet ontwikkelde lesmateriaal dat in dit onderzoek gebruikt is.

Doel van het onderzoek is de mening van de student omtrent voor- en nadelen van beide vormen van lesmateriaal te achterhalen alsook welke vorm de meeste leerwinst biedt. Onder leerwinst wordt verstaan dat een studenten op basis van de aangeboden studietaken zich uiteindelijk kennis en vaardigheid eigen maakt, en deze via de projectopdracht leert in te zetten in de beroepscontext. In de studietaken en projectopdracht zijn de leerdoelen SMART beschreven en gekoppeld aan het kwalificatiedossier, en derhalve te matchen aan de “diplomaeisen”. Een student start op een bepaald niveau en behaald via de studietaken en projectopdracht uiteindelijk het benodigde eindniveau, zoals beschreven in het kwalificatiedossier.

De volgende sub-begrippen zijn onder andere nieuwe elementen die in het materiaal gemaakt in eXe Learning toegevoegd zijn ten opzichte van het materiaal in pdf-jes. Deze behoeven dan ook een nadere uitleg:

Een zelfinschatter is een instrument waarin de student gevraagd wordt om een uitspraak te doen over de bij hem/haar reeds aanwezig kennis/vaardigheid die in het project nodig is. Het idee achter de zelfinschatter is dat de student vooraf een beeld krijgt van de onderwerpen die aan bod komen, en dus aan het eind beheerst moeten worden. Op deze manier wordt gepoogd het belang van het onderwerp duidelijk te krijgen en zo de motivatie (zowel extrinsiek of intrinsiek – zie onder andere mijn verslag van de kick-off van de Leergang LDM door Monique Boekaerts, maar ook het artikel uit Wikipedia over Motivatie) van de student om het onderwerp te leren positief te beïnvloeden. Daarnaast wordt achteraf de zelfinschatter nogmaals afgenomen om achteraf het beeld te bepalen hiervan. Het idee is dat bij lage scores op bepaalde onderwerpen de student nogmaals onderdelen van het lesmateriaal gaat oefenen. Klik hier voor een voorbeeld van een studietaak waarin de zelfinschatter gebruikt wordt.

Opdracht om voorkennis te activeren zijn vragen die directe feedback geven over het gegeven antwoord. Bij een goed antwoord wordt een positieve reactie gegeven. Bij een fout antwoord wordt verwezen naar de onderwerpen uit eerder lesmateriaal, en mogelijke bronnen om alsnog de benodigde voorkennis op te halen. Klik hier voor een voorbeeld van een studietaak waarin voorkennis geactiveerd wordt. Het belang van voorkennis activeren stamt uit het cognitivisme waarin de werking van de hersenen geschetst wordt als een samenspel tussen het Kort Sensorisch Geheugen, Korte Termijn Geheugen, Lange Termijn Geheugen en het Werkgeheugen. Doordat nieuwe kennis aan bestaande kennis gekoppeld moet worden, moet de bestaande kennis (voorkennis) vooraf geactiveerd worden.

Een videoinstructie is opname van opeenvolgende handelingen op een pc om tot een bepaald eindresultaat te komen. De handelingen worden duidelijk aangekondigd door middel van een kopje. Op deze manier wordt de volgorde van handelingen duidelijk. Het gebruik van video lijkt een grote toegevoegde waarde voor het onderwijs te zijn, aldus recente onderzoeken. Zo sluit video aan bij de belevingswereld van studenten, wordt video mogelijk efficiënter verwerkt door onze hersenen, maakt video just-in-time onderwijs mogelijk, is video authentiek en kent video geen transfer gap. Voor meer achtergrond en uitleg over video en de mogelijke voordelen zie: “Het waarom van video in de les” dat ik op 4 juni 2009 geschreven heb. Klik hier voor een voorbeeld van een studietaak met een videoinstructie.

Onderzoeksopzet
Op basis van de onderzoeksvragen is zowel een kwalitatief als kwantitatief onderzoeksopzet uitgewerkt. Beide bevatten de vragen die respectievelijk tijdens een interview gesteld zijn, of die via Google Docs afgenomen zijn.

Het kwalitatieve onderzoek is door een interview afgenomen aan 1 student (jongen, 17 jaar, student van de opleiding Medewerker Beheer ICT).

Voor de diverse thema’s in het interview: gebruik van boeken, gebruik van pdf-jes en gebruik van eXe Learning lesmateriaal is steeds de vraag gesteld: “Wat vind je prettig?”, “Wat vind je niet prettig?”, “Wat zie je als voordelen?” en “Wat zie je als nadelen?”. Bij de vragen over het eXe Learning lesmateriaal is ingezoomd op de nieuwe elementen die in het eXe Learning materiaal opgenomen zijn. Op het thema lezen van beeldscherm of papier is apart ingegaan. Ten slotte is gevraagd met welke vorm van leren de student het meeste leerwinst ervaart, en waarom dit zo is. Het interview heeft in totaal 36 minuten geduurd.

Tijdens het interview is stap-voor-stap de vragen doorgenomen met de student. Tijdens het interview zijn de antwoorden kort genoteerd bij de betreffende thema’s en deelaspecten. Waar nodig zijn de antwoorden samengevat door de interviewer om bij de geïnterviewde te checken of het juist en compleet genoteerd is. Tevens is van het interview via een iPhone het geluid opgenomen (deze is op te vragen om mijn uitwerking te controleren). Op een later tijdstip zijn de aantekeningen uitgewerkt in een blogpost zonder conclusies te trekken. Vervolgens is in deze post een eerste aanzet gegeven voor mogelijk conclusies (inzichten).

Het kwantitatieve onderzoek is via Google Docs afgenomen (klik op Google Docs om de enquête zelf in te zien, de ruwe resultaten van de enquête zijn eveneens opvraagbaar in de vorm van het toevoegen als lezer van het document in Google Docs).

In de enquête kwamen de volgende thema’s aan bod: 1. gebruik van interactie met deelaspecten zelfinschatter aan het begin, zelfinschatter aan het eind, voorkennis activeren, 2. het gebruik van video met deelaspecten wat vind je prettig om van te leren, is video leerzaam, de manier van aanbieden (hyperlinked of embedded), en de gebruikte elementen in video, 3. de opzet van het leerarrangement met het deelaspecten hyperlinked of lineair, en ten slotte 4. lezen van beeldscherm of papier met deelaspecten eisen van de klant en de studietaken. De enquête telde 62 vragen.

Van de ongeveer 65 studenten hebben er 27 de enquête ingevuld (42% respons). De afname groep is de eerder beschreven 1e jaars studenten van de opleiding Medewerker Beheer ICT. Op een later tijdstip (na de sluitingstijd van de afname) zijn de resultaten zonder conclusies te trekken uitgewerkt in een blogpost. Doordat gekozen is om alle vragen te scoren op een 5-puntsschaal (helemaal mee eens tot helemaal mee oneens), en de kracht van Google Docs, zijn de resultaten direct in grafiek beschikbaar. Helaas zijn in de originele post de grafieken verdwenen. In deze post is na de uitwerking tevens een eerste aanzet gemaakt in mogelijk conclusies (inzichten).

Als laatste slag zijn beide onderzoeken gecombineerd in de eindconclusies. Deze zijn te vinden in deze post.

Resultaten van het onderzoek
1. Kwalitatief onderzoek
Opgemerkt moet worden dat het interview, zoals eerder beschreven, slechts bij 1 student is afgenomen.

In het interview is dieper op een aantal aspecten ingezoomd waaronder het verschil tussen boeken, pdf-jes en het materiaal in eXe Learning. Het grote voordeel van een boek of geprint materiaal is dat je dit naast de pc kunt leggen. Dit is overzichtelijker. Daarnaast kun je aantekeningen maken. De student geeft aan de keuze te willen hebben om te printen of niet.

Het voordeel van pdf-jes of eXe Learning ten opzichte van het boek is de mogelijkheid om via hyperlinks snel naar achtergrond materiaal te kunnen klikken. Als grote voordeel noemt de student het gebruik van embedded video (minder snel afgeleid) en het overzicht dat door de niet-lineaire opzet aanwezig is (het materiaal is immers via hyperlinks logisch gekoppeld) in het eXe Learning materiaal.

Om ook onderweg (zonder internetverbinding) te kunnen werken met het eXe Learning lesmateriaal, wil de student de mogelijkheid hebben om het materiaal ook off-line te bekijken, zoals met pdf-jes makkelijk te realiseren is.

Over de zelfinschatter aan het begin en de zelfinschatter aan het eind is de student enthousiast: “Het geeft je de mogelijkheid om te zien wat je allemaal gaat leren, en wat je geleerd hebt. Je ziet hierdoor de vooruitgang die je geboekt hebt. Dat geeft een fijn gevoel.”

De studietaak waarin voorkennis geactiveerd wordt is waardevol, echter heeft de student ook de behoefte aan een objectieve meting achteraf waarin de docent zijn mening geeft. De zelfinschatter aan het eind waarin de student zijn eigen inschatting moet maken, is blijkbaar niet voldoende.

Een groot deel van het interview gaat over het gebruik van video. De student komt keer op keer hierop terug, omdat dit naar zijn mening de grootste winst is van het eXe Learning materiaal: het gebruik van embedded video. De student geeft de volgende voordelen: “1. van video leer je sneller, 2. je ziet de volgorde van de taken die je moet uitvoeren duidelijk voor je, 3. je onthoudt meer en 4. je doet het tegelijk mee, waarna je het zelf in het project moet herhalen, dus weet je het gelijk.”.

De student geeft als tip om altijd YouTube te gebruiken voor de video´s omdat dit een bekende site is voor studenten.

Als gekeken wordt naar het lezen van beeldscherm of van papier dan is hier de student duidelijk. Studietaken met lange teksten en plaatjes graag printbaar maken, want dan kun je het naast je pc leggen. Echter, studietaken met video kan beter (is natuurlijk niet printbaar) van beeldscherm gelezen worden.

Opgemerkt moet worden dat printen slechts voor een aantal studietaken mogelijk was in het eXe Learning materiaal.

2. Kwantitatieve onderzoek
Het merendeel (67%) van de studenten aan dat de zelfinschatter aan het begin een duidelijk beeld heeft opgeleverd van hetgeen geleerd moet worden. En op basis hiervan een goed beeld heeft gekregen van hun eigen kennis/vaardigheid op dat gebied. Tevens heeft men op basis hiervan een goede schatting kunnen maken over de hoeveelheid werk. Hierdoor is het overgrote deel (71%) gemotiveerder aan de slag gegaan. Tevens is men het project leuker gaan vinden, en heeft men de projecttijd beter benut.

Met betrekking tot de zelfinschatter aan het eind geeft het merendeel (77%) aan een duidelijk beeld gekregen te hebben wat ze wel/niet geleerd hebben. Een groot deel van de studenten (78%) geeft aan dat ze sommige onderdelen van het lesmateriaal opnieuw gedaan hebben aan de hand van dit zelfinzicht. Iets meer dan de helft (62%) geeft aan dat men hierdoor meer zelfvertrouwen heeft gekregen, waarbij (82%) het overgrote deel kan inschatten of men wel/niet de Proeve van Bekwaamheid (het afsluitende summatieve onderdeel van een volledige kerntaak) gaat halen. De (over de gehele linie) lagere score op meer zelfvertrouwen heeft hier een mogelijk verband. Immers, als een student erachter komt dat hij/zij niet gaat slagen, dan geeft dit een lager zelfvertrouwen, echter heeft men tevens de mogelijkheid om alsnog lesmateriaal opnieuw te doen. Zoals eerder verteld doet een groot deel (78%) van de studenten dit. Uiteindelijk geeft bijna driekwart (71%) van de studenten aan meer geleerd te hebben door de zelfinschatter aan het eind.

Het onderdeel voorkennis activeren levert een goed beeld van de benodigde voorkennis, aldus het overgrote deel van de studenten (82%). Eveneens een goed beeld van de status van hun eigen voorkennis. Op basis van dit inzicht heeft het overgrote deel (81%) “oud” lesmateriaal opnieuw gedaan. Grote winst van dit onderdeel is men (81%) meer zelfvertrouwen heeft gekregen in een goede afloop van het project, alsook meer geleerd te hebben hierdoor (81% van de studenten heeft deze mening).

Over het gebruik van videoinstructies zijn de studenten enthousiast: men vindt het leren via video prettig (92%), leert meer door video (92%), en leert sneller door het gebruik van video (93%). Dit is in lijn men de voorkeur voor leren, waarbij alle studenten video prefereren boven tekst met plaatjes (89%) en tekst (70%). Als men video inzet, dan hebben de student de voorkeur voor het embedden van video’s in plaats van het gebruik van hyperlinks. Met name het argument dat men minder snel is afgeleid door andere video’s speelt hier de belangrijkste rol (92%). Tevens hebben studenten een duidelijk voorkeur voor video’s met gesproken tekst (96%) en geschreven tekst (89%) als uitleg bij de beelden. De mening over waar men het meeste van leert is in lijn met de voorkeur van de student.

Ook over het hyperlinked karakter van het lesmateriaal is men tevreden. Bijna alle studenten (respectievelijk 93% en 96%) vinden het prettig om door te kunnen klikken naar achtergrondmateriaal en het prettig dat het lesmateriaal in blokjes is opgesplitst. Met betrekking tot de leerwinst geeft men aan dat men hierdoor meer leer (respectievelijk 93% en 85%).

Als gekeken wordt naar het lezen van beeldscherm of van papier dan is hier eveneens een duidelijk inzichten te vinden: de student wil de keuze hebben om te printen of van beeldscherm te lezen. Wat blijkt? 100% van de studenten vindt het prettig de eisen van de klant kunnen printen, maar eveneens vindt 96% het prettig om van het scherm de eisen te lezen. Over hetgeen leerzamer is, heeft men een iets sterkere voorkeur voor afdrukken (93%) dan voor beeldscherm (85%). Bij de studietaken is een soortgelijk patroon terug te vinden: 92% vindt het prettig om studietaken te kunnen printen en vindt 85% het prettig om van het scherm te lezen. Ook hier geldt een iets grotere voorkeur voor printen (92%), dan voor beeldscherm (89%).

Opgemerkt moet worden dat printen slechts voor een aantal studietaken mogelijk was in het eXe Learning materiaal.

Als gekeken wordt naar het kwantitatief en kwalitatief onderzoek dan blijkt dat de resultaten volledig in lijn met elkaar zijn: de nieuwe elementen in het eXe Learning materiaal zijn waardevol vanuit  het perspectief van de student. Zowel vanuit wat de student prettig vindt, als wat leerzamer is.

Conclusies
Als gekeken wordt naar de probleemstelling dan kan geconcludeerd worden dat:

Studenten geven duidelijk de voorkeur geven aan het leren via de nieuwe voorgestelde manier aan de hand van (hyperlinked) lesmateriaal gemaakt met eXe Learning boven de huidige manier van het plaatsen van (lineair) lesmateriaal binnen het ELO (N@tschool) van de ICT-Academie van het Koning Willem I College aan de hand van .pdf documenten.

Als via de onderzoeksvragen gekeken wordt naar de rede hiervan, dan voegen de nieuwe elementen in eXe Learning, te weten:

  1. de zelfinschatter aan het begin;
  2. de zelfinschatter aan het eind;
  3. de studietaak waarin voorkennis geactiveerd wordt;
  4. het gebruik van videoinstructie
  5. kleine blokjes tekst die via hyplelinks logisch gekoppeld zijn.

een duidelijk voordeel op voor de studenten. Men vindt het een prettige manier van leren alsook vindt men deze manier van leren leerzamer.

Het enige nadeel van het gebruik van het (hyperlinked) lesmateriaal gemaakt met eXe Learning dat men ervaart is niet al het materiaal te printen was. Ook het off-line bekijken (onderweg) is lastig.

De resultaten van zowel het kwalitatief als kwantitatief onderzoek bevestigen bovenstaande conclusies.

Aanbevelingen
Op basis van de conclusie wordt aanbevolen om print en offline mogelijkheden te onderzoeken en toe te voegen aan het eXe Learning materiaal. De student wil zelf de keuze hebben voor beide mogelijkheden.

Het kwantitatief onderzoek uitgevoerd bij een beperkte groep studenten op één niveau (MBO Bol-3 niveau) en binnen één opleiding. De groep is te beperkt om de conclusies zomaar door te trekken naar andere niveau’s en opleidingen. Met name het feit dat dat groep (op een na) uit jongens bestond binnen een ICT-opleiding maakt dat de conclusies niet 1-op-1 door te trekken zijn. Onderzoek op andere niveau’s, binnen andere opleidingen en een andere doelgroep is noodzakelijk in de toekomst.

Het kwalitatief onderzoek is te beperkt doordat het slechts bij één student is afgenomen. Ondanks het feit dat de conclusies in lijn zijn met het kwantitatieve onderzoek is meer kwalitatief onderzoek nodig. Met name te sterkte voorkeur voor video en de uitgesproken voorkeur voor printen en offline mogelijkheden behoeven meer onderzoek.

Discussie
Als gekeken wordt naar de voorkeur voor leren [1] die de .net generatie heeft: interactiviteit, informatie zoeken en verwerken, voorkeur voor beelden, spelen van games en mobiel communiceren kan gesteld worden dat het lesmateriaal in eXe Learning voor een deel aan deze voorkeur tegemoet komt. Het huidige lesmateriaal bevat geen games en geen mogelijkheden voor mobiel communiceren. Onderzoek naar mogelijkheden om dit soort zaken toe te voegen is interessant. Alsook onderzoek naar de voor- en nadelen en de leerwinst hiervan. Dit alles in het licht van kritiek op het bestaan van de .net generatie [2].

Als gekeken wordt naar het type gebruik van interactieve media door jongeren [4] dan zijn er vier typen te onderscheiden: 1. browsing, 2. performing, 3. interchanging en 4. authoring. Interessant is om te kijken hoe vanuit deze invalshoek het eXe Learning materiaal verrijkt kan worden in de toekomst. Alsook onderzoek naar de voor- en nadelen en de leerwinst van deze mogelijkheden.

Met betrekking tot het effectief zoeken van informatie en het op waarde schatten van deze informatie (betrouwbaarheid) zal kritisch naar het eXe Learning materiaal gekeken moeten worden. Dit omdat effectief zoeken en het op waarde schatten geen vanzelfsprekendheid is voor studenten [3]. In het eXe Learning materiaal wordt (deels) een beroep gedaan op deze vaardigheden.

Literatuur

  1. Leren van Jongeren, Surf onderwijsreeks, Prof. dr. Wim Veen en Frans Jacobs M.A., november 2005;
  2. Gibt es eine Net Generation, Rolf Schulmeister, Hamburg 2008;
  3. De digitale wereld, een nieuwe kijk op leren, Drs. Metje Jantje Groeneveld.
  4. Jongeren en interactieve media, Kennisnet Onderzoeksreeks, Kennisnet.