Artikelen

Verslag webinar process mining in onderwijs

Spreker: Roland Ettema, Open Universiteit en lid van de zone Studiedata

Process mining: een nieuwe technologische ontwikkeling binnen het onderwijs. Maar wat houdt het precies in? Op 11 mei organiseerde de zone Veilig en betrouwbaar studiedata benutten een webinar over het thema process mining in onderwijs. Op het gebied van data en processen biedt deze ontwikkeling legio toepassingsmogelijkheden voor het onderwijs. Roland vertelde je er tijdens het webinar alles over en liet in een aantal demonstraties zien hoe dit in zijn werk gaat.

Kijk de opname van het webinar terug

Of bekijk alleen de presentatie

Het monitoren van processen
Process mining is een techniek waarbij je processen kunt monitoren op basis van logfiles wat nu relevanter wordt omdat het onderwijs steeds flexibeler wordt ingericht. De eerste ervaring van het toepassen van process mining in het onderwijs is opgedaan bij de TU Eindhoven. Maar ook bij de Open Universiteit (OU) werkt men al vanaf het ontstaan met een flexibel onderwijsmodel. Studenten schrijven zich niet per jaarmaar per cursus in, waardoor het relevant is voor de OU om het pad dat de student aflegt te volgen. Op basis van deze paden kan de OU interveniëren met advies, tips of formele keuzes.

De OU begon 5 jaar geleden om met behulp van process mining een afspiegeling te maken van het werkelijke studietraject van studenten. Iedere student laat in onze ICT-systemen een digitaal spoor achter. Bijvoorbeeld tijdens hetin- en uitschrijvingen voor onderwijsactiviteiten, het volgen van vakken en/of deelnemen aan tentamens. Met process mining is die afspiegeling gemakkelijker te maken.

Het loggen van gebeurtenissen
Belangrijk voor process mining is dat het applicatie landschap er klaar voor is. Neem het voorbeeld van de OU: hier laten ze op dit moment de systemen bij belangrijke gebeurtenissen loggen. Dit wil zeggen dat elke aanmelding van een student, bijvoorbeeld voor een studie, vak of tentamen, een regel wordt in een eventlog. Doordat alle systemen de logfiles op een plek in de infrastructuur neerzetten, ontstaat een centrale logfile. Vervolgens gebruikt de OU een process mining tool om de anonieme onderwijssporen die studenten achterlaten te bestuderen. Process mining wordt enkel toegepast om inzichten te verwerven om een rapport, dashboard of analyse maken. De technologie is daarmee een belangrijke schakel in onze analyse aanpak om tot een informatieproduct te komen.

Op dit moment komen alle eventlogs samen in een CSV (comma-separated value) bestand waar de OU via hun infOUhub architectuur uit kan putten. De InfOUhub heeft inmiddels hun oude Business Intelligence omgeving vervangen. Daarmee zijn we nu al verder gekomen dan via traditioneel BI op basis van een datawarehouse omdat we een procesmodel uit de CSV bestanden hebben gehaald. Dat model geeft ons een beeld van hoe de werkelijkheid is, en waar deze mogelijk afwijkt van de vastgesteld procedures.

Process mining gebruiken? Wijs drie zaken aan
Een tool voor process mining is in essentie eenvoudig te gebruiken. Je moet hierin minimaal drie zaken aanwijzen:

  • Een timestamp: wanneer vond iets plaats
  • Een case ID: wie is het subject
  • Een gebeurtenis: wat gebeurde er op dat moment (gerelateerd aan het case ID)

Je kunt vervolgens bijvoorbeeld zien hoeveel studenten een bepaalde stap (gebeurtenis) zetten en hoe lang dit duurt (timestamp). Ook is het mogelijk om met filters bepaalde informatie te exporteren uit de process mining tool. Wel is belangrijk dat als je met eventlogs werkt van verschillende systemen dat men dezelfde tijdregistratie (klok) hanteert zodat de timestamp klopt.

Houden docenten zich hier ook mee bezig?
Bij de OU is het een aparte afdeling die zich bezighoudt met process mining. Docenten zelf houden zich uitsluitend bezig met het onderwijs zelf, en niet met het monitoren van dergelijke processen. Ze gebruiken wel de rapporten die de aparte afdeling verstrekt waarbij process mining in de ontwikkeling is toegepast.

Welke tool gebruiken jullie hiervoor?
De tool Disco (commercieel) is van Fluxicon (gelieerd aan Universiteit Eindhoven). Fluxicon komt vanuit de wetenschap en draagt de wetenschap weer een warm hart toe door academische licenties te verstrekken. Disco is een zeer geschikte tool om mee te beginnen, het is erg laagdrempelig. Wil je vervolgens dieper op process mining ingaan op het niveau van de huidige state-of-the-art inzichten van wetenschappers, dan is ProM uitermate geschikt. Merk daarbij op dat ProM een platform voor wetenschappers is en minder geschikt is voor operationele doeleinden.

Hoe is de OU begonnen met het loggen van systemen?
Bij de OU startten ze met het loggen van 6 gebeurtenissen, maar ondertussen zitten ze op 37 waar er nog 10 bijkomen. Hoe meer verschillende gebeurtenissen je logt hoe beter je een beeld krijgt van de werkelijkheid. De verschillende gebeurtenissen die de OU logt hebben zij weergegeven in een metrokaart (zie afbeelding 1). Intern is hier een dashboard van beschikbaar zodat men kan klikken per event om de data te zien. Intern is hier een dashboard van beschikbaar zodat men kan klikken op een metrostation (event) om de bijbehorende data te zien. Verder is het loggen van events een centraal onderdeel van de digitale transformatie waarvoor de OU het Azure platform gekozen heeft.

202105 Metrokaart OU

Afbeelding 1: metrokaart met beschikbare data van de OU

Ligt er een relationele database achter?
Roland licht toe dat ze tot op heden geen relationeel model gebruiken in hun BI aanpak. Voorzichtig keren ze er wel langzaam naar terug via een canonical datamodel. Zij willen dit voor snellere toegang tot contextinformatie van het event. Denk aan het volgende: Persoon A woonde op adres X ten tijde van inschrijving in 2019. Echter persoon A woont nu op adres Y. Enerzijds wens je te werken met context informatie ten tijde van het event, anderzijds wil je werken met actuele context informatie van de persoon. Voor dat laatste kan het canonical data model handig zijn omdat je veel sneller aan de data kunt komen t.o.v. het doorspitten van de eventlog.

Nieuwe toepassingen door process mining binnen de OU
Door procesmining toe te passen in de OU zijn er ook nieuwe aanvullende technieken en toepassingen ontstaan. Een goed voorbeeld hiervan is de conformance analyse. In deze analyse vind je een pad van hoe een student volgens het onderwijsmodel zou moeten studeren: het curriculum. Aan de rechterkant staat een weergave van hoe studenten in de werkelijkheid studeren, de logfile. Door de logfile te ‘drukken’ op het curriculum kun je visueel zien hoeveel studenten afwijken van het pad. Dus kom je te weten: in hoeverre studeert de student ‘conform’ het model?

Een ander voorbeeld van een aanvullende techniek/toepassing is decohort analyse. Hierbij staat de volgende vraag centraal: welke groepen van studenten (met hun kenmerken) volgen dezelfde studiepaden? Hiervoor gebruikte de OU de tool ProM, om clusters aan te brengen van studenten met ongeveer hetzelfde spoor. De laatste ontwikkelingen zijn om process mining te combineren met statistiek. Door de conformance analyse te combineren (getal tussen 0.1) met verschillende doelvariabelen, zoals het studietempo, studiesucces en welbevinden, kun je onderzoeken of er een relatie ligt tussen het curriculum en een gewenst doel.

Verder is als spin-off van process mining ook een pilot uitgevoerd met een recommender system. Het doel hierbij was om geautomatiseerd een vervolgcursus te adviseren. Door de laatste inschrijving via process mining eruit te halen en deze in de recommender te stoppen konden ze de aanbeveling vergelijken met de uiteindelijk gekozen cursus.

Doen jullie dit ook op het niveau van een cursus om een docent te ondersteunen bij het afstemmen van onderwijs? Bijv. beheerst een student onderdeel A voor het naar onderdeel B gaat?
Roland geeft aan dat zij process mining inderdaad ook gaan inzetten bij hun leermanagementsysteem (LMS). Ook binnen een LMS laat een student een digitaal spoor achter. Deze sporen zijn voor ons cruciaal om te beoordelen hoe de student om gaat met onze digitale didactiek. De OU schaalt op dit moment hierin verder op door samenwerking tussen onderwijswetenschappen, expertise centrum onderwijs en de IT organisatie.

Heb je ook met privacy issues van doen?
Nee, gebeurtenissen en persoonsdata staan apart met een sleutel ertussen. Het is geen probleem om de events separaat te bestuderen van de persoonsgegevens.

Kun je iets zeggen over de datakwaliteit?
In het begin vroeg Roland een programmeur om de drie velden voor het logfile (timestamp, case ID en gebeurtenis). Vervolgens bouw je dat uit met meer velden. De instap is  eenvoudig maar gaande in het traject moet je bevindingen terug leggen zowel bij de programmeurs maar ook richting de administratie. Inmiddels heeft de OU ook daar een eigen audit module voor waarin zij ‘onregelmatigheden’ in de data kunnen opmerken.

Heeft de OU zaken aangepast naar aanleiding van bevindingen door procesmining?
Ja, om enkele zaken te noemen:

  • Het is niet meer mogelijk om je als student aan te melden via de telefoon voor een cursus of examen. Dit zorgde voor missende data en studentpaden die niet lijken te kloppen (een resultaat voor een tentamen waarvoor geen inschrijving bekend is).
  • Continue data bewaking. Via een auditing module monitoren wij afwijkingen in het proces, zoals volgorde fouten (bijv. een studie starten zonder aanmelding). Daar spreken we de administratie weer op aan.
  • Nieuwe events, er was vraag naar nieuwe events tussen verzoek tot toelating en de toelating zelf. Op fijnmazigere wijze kan men nu de communicatie tussen student en OU volgen.

Meer weten
Wil je aan de slag met process mining, en wil je hiervoor nog meer informatie? Als verdiepende stap na het webinar zal Roland vanuit de zone een masterclass process mining in het onderwijs organiseren. Hierin gaan de deelnemers zelf actief aan de slag met onderwijsdata om hier meer ervaring in op te doen. Zodra er een datum is voor deze masterclass komt dit op versnellingsplan.nl te staan. Heb je nu al een vraag of wil je je interesse in de masterclass kenbaar maken? Stuur dan een email naar Iris Bijman (i.bijman@vu.nl). Hopelijk tot dan!

Maak kans op een licentie van DataCamp

Ben je werkzaam bij een hoger onderwijsinstelling en werk je met studiedata of heb je hier interesse in? Dan maak je nu kans op een jaar gratis cursussen via DataCamp! De zone Studiedata geeft 10 licenties weg. Deze licenties maken onderdeel uit van een pilot om in de toekomst DataCamp landelijk aan te bieden.

Lees verder Lees verder

Simulatiedataset voor universiteiten

Wil je aan de slag met privacygevoelige studentdata? Daarvoor heeft de zone Studiedata een simulatiedataset ontwikkeld. De dataset is bedoeld voor universiteiten en bestaat uit synthetische studentdata. Deze data zijn gebaseerd op de echte data van een universiteit, maar zijn dusdanig afgeleid dat je ze niet meer terug kunt herleiden tot echte studenten. Door deze dataset te gebruiken kun je ook buiten je eigen instelling algoritmes en analyses delen zonder dat de privacy van je studenten in het geding komt.

Lees verder Lees verder