Het wiel van data science

Beschikbaarheid van data

Voor de ontwikkeling van analyses en visualisaties kan publieke studiedata verzameld worden van bijvoorbeeld DUO. Daarnaast krijgen studenten gaandeweg met veel informatiestromen en -systemen te maken: systemen die bezoek aan open dagen en proefstuderen faciliteren, systemen voor aanmelding en inschrijving, voor matching met een matchingsvragenlijst, voor studieresultaten, enzovoort. Elk apart geven ze een gefragmenteerd beeld, maar gecombineerd ontvouwen zich patronen. Deze bronnen kunnen verzameld, gecombineerd en verrijkt worden om een completer beeld te kunnen krijgen van de ontwikkeling van studenten, vanaf de middelbareschooltijd tot en met het afstuderen.

Compliance met wetgeving en veiligheidscriteria is een randvoorwaarde voor dit onderdeel van het wiel. Hiervoor is het van belang dat data veilig en zoveel mogelijk automatisch geleverd worden, er een grondslag is voor de bewerking in lijn met de AVG, en er duidelijk is wie er verantwoordelijk is voor de verzameling. Een goed voorbeeld hiervan is de Code of Practice Privacy & Ethiek, Student Analytics van de VU.

Actiegerichte inzichten

Als de studiedata die wordt aangeleverd zorgvuldig en in lijn met de AVG is verzameld en gecombineerd, wordt de volgende stap mogelijk: het ontwikkelen van actiegerichte inzichten. Een verkenning van verbanden en trends is daarin de eerste stap. Of die ook statistisch houtsnijden wordt daarna onderzocht. Het is hier extra belangrijk dat de aangeleverde data goed verzameld en gecombineerd is – dat de data klopt, is opgeschoond, op de juiste manier gekoppeld en uniform ingedeeld; zo niet, dan trek je hier ook verkeerde conclusies.  Op basis van de verkenning en verdiepende analyses, kan een verhaal verteld worden over de betekenis en wat die zouden kunnen betekenen voor de praktijk van het onderwijs.

Validiteit is daarbij de kernwaarde, want als die niet op orde is, dan zullen eventuele conclusies en aanbevelingen ook onjuist zijn.  Medewerkers die hieraan werken moeten bekend zijn met data science technieken, vertrouwd zijn met statistische analyses, uitkomsten goed kunnen visualiseren, en – het belangrijkste van alles – op basis van deze elementen het goede verhaal kunnen schrijven.

Impact op onderwijs en beleid

Uiteindelijk gaat het om de impact van adviezen op het onderwijs. Interventies kunnen gericht zijn op onderwijs en docenten zelf, door verbetering van onderwijs, vakken en curricula, of op studenten, zoals betere begeleiding of informatievoorziening. Belangrijk is dat maatregelen die genomen worden ook gevolgd worden en geëvalueerd. Dit is op zichzelf weer input voor een volgende cyclus, met een nieuw verhaal.

Strategie en ethiek zijn hier leidend. Passen de voorgenomen maatregelen wel bij de identiteit en ambities van de onderwijsinstelling, en zijn eventuele interventies ook ethisch onderbouwd? Het is hiervoor belangrijk dat medewerkers vertrouwen hebben in de inzichten die ontwikkeld zijn, en begrijpen hoe ze inzichten kunnen, mogen en willen gebruiken in hun werk ten gunste van het onderwijs en studenten.

VU Case: Verbetering van student- en scriptiebegeleiding voor de bachelor Culturele Antropologie

Een belangrijk type analyse dat de VU gebruikt is een curriculum analyse, die laat zien hoe studenten door een studie stromen. Onderstaande figuur laat op de x-as de studiejaren met onderwijsperioden zien en op de y-as het aantal studiepunten dat studenten behalen. De gekleurde lijnen tonen studenten die nominaal studeren, met vertraging hun diploma behalen of eerder zijn uitgevallen. De stippellijn laat de meest behaalde punten zien van de top 10% van alle studenten; hoe rechter deze lijn, hoe gelijkmatiger de studie te volgen is door studenten en de studieresultaten vastgelegd worden.

De grafiek voor deze opleiding laat zien dat studenten die nominaal of na 4 afstuderen de eerste 1,5 jaar gelijk opgaan. Pas in het 2e semester van het tweede studiejaar ontstaat er een klein verschil tussen deze twee groepen studenten van 6 studiepunten, dat halverwege het 3e jaar groter wordt. De histogram laat zien dat beide groepen ongeveer even groot zijn.

Een bespreking van het onderzoek met de opleidingsdirecteur en studieadviseurs leerde dat in 2e semester van het tweede studiejaar – daar waar de lijnen golven – de studenten extern onderwijs. De resultaten daarvan worden aan het eind van deze periode geregistreerd. Studenten die deze onderwijsperiode ingaan met een achterstand halen dat veelal niet tijdig genoeg in, waardoor ze net te weinig punten halen om met hun scriptie te beginnen in jaar 3. Omdat de scriptie maar één keer per jaar wordt aangeboden, moeten deze studenten noodgedwongen een jaar wachten voor een volgende kans.

Opleidingsdirecteur, Dr. Ellen Bal: ‘De analyse bevestigde mijn indruk dat het bachelor thesis traject te vrijblijvend was en we er veel uitval zagen. Dat hebben we gerepareerd en daarvoor had ik veel aan deze analyse.’ Op basis van deze nieuwe inzichten is de voorlichting voorafgaand aan het externe onderwijs verbeterd, en wordt het scriptie traject strakker begeleid. In plaats van individuele begeleiding maken studenten deel uit van een thesiskring samen met een paar anderen, onder begeleiding van een docent.

Daarnaast nemen ze deel aan tweewekelijkse bijeenkomsten voor alle studenten. In plaats van één eindcijfer ontvangen studenten nu ook deelcijfers voor verschillende onderdelen van het proces. Ten slotte is de keuze voor een thema minder vrij en vrijblijvend. De verwachting is dat hiermee minder studenten vertraging zullen hebben in hun studie, en de cohesie van de studentenpopulatie behouden blijft. Daarnaast is het curriculum in het tweede jaar aangepast. In toekomstige analyses zal het effect van deze aanpassingen weer nader onderzocht worden.

Bron: De Nieuwe Meso (2019, september, nummer 3), Van data naar informatie en inspiratie, Student analytics