Conclusies deLearyous-project: natuurlijke dialoog (op dit moment) onmogelijk!
Vorige week is het deLearyous-project “afgesloten” door een bezoek van twee projectdeelnemers aan het Koning Willem I College. In een aantal eerdere posts heb ik over dit project geschreven. Vanuit het Koning Willem I College heb ik zitting gehad in de gebruikersgroep van het project.
Doel van het deLearyous-project was om:
een 3D Virtuele omgeving te bouwen om interpersoonlijke communicatie te oefenen met virtuele karakters.
De basis van het deLearyous-project vormde de Roos van Leary. De gebruiken van de 3D Virtuele omgeving heeft een dialoog met een virtueel karakter. De uitdaging is om het virtuele karakter van tegen-boven stap-voor-stap naar samen te krijgen en hem/haar zo mee te krijgen voor een verandering. Door het eigen gedrag aan te passen, kun je het gedrag van de ander beïnvloeden.
In de spelopzet (zie foto hierboven) was gekozen om drie “levels” aan te bieden:
- herkennen van gedrag van het virtuele karakter op de Roos van Leary;
- beïnvloeden van het gedrag van het virtuele karakter door toepassing van de Roos van Leary (oefenen);
- beïnvloeden van het gedrag van het virtuele karakter door toepassing van de Roos van Leary (toetsen);
In onderstaande foto’s zie je de eerste twee levels “live” gepresenteerd:
Herkennen van het gedrag van het virtuele karakter op de Roos van Leary
beïnvloeden van het gedrag van het virtuele karakter door toepassing van de Roos van Leary (oefenen)
Tijdens de bouw van de applicatie zijn een groot aantal technische (on)mogelijkheden ervaren door de projectgroep.
Probleem 1
In een te groot aantal geteste situaties was de inschatting van de positie van de gebruiker op de Roos van Leary door de applicatie niet accuraat genoeg. Op basis van input via een toetsenbord wordt in slechts één op de drie gevallen de positie van de gebruiker goed bepaald in ad hoc situaties. Bij getrainde zinnen ligt is de inschatting door de applicatie hoger: acht op de tien.
Probleem 2
Na de inschatting van de positie van de gebruiker op de Roos van Leary moet een keuze gemaakt worden voor een goede respons door het virtuele karakter. Ook hier laat de (on)mogelijkheden van de technologie het project in de steek. Te vaak is de keuze die gemaakt wordt niet kloppend genoeg. Hierdoor ontstaat er een onnatuurlijke dialoog. De verwachting vooraf was dat dit accurater zou zijn. Chatbots op het internet werken bijvoorbeeld redelijk goed (bijvoorbeeld Cleverbot), omdat de applicatie leert. Na heel veel input heeft de applicatie heel veel geleerd en komt zo tot steeds betere respons. Voor het deLearyous-project is dit leren door de applicatie niet acceptabel, omdat het in het begin slecht werkt en na twee jaar veel beter. De applicatie moet meteen goed werken in een trainingssituatie. Het kost te veel tijd en geld om de applicatie vooraf te laten met proefpersonen. Daarnaast moeten er verschillende scenario’s geoefend kunnen worden. Bij elk nieuw scenario begint het leren opnieuw.
Probleem 3
In het begin van het project is ervoor gekozen om non-verbale signalen niet te genereren voor het virtuele karakter. Dit omdat de eisen die aan de hardware gesteld kunnen worden in de gebruikersgroep beperkt waren. De applicatie moest immers onder de arm meegenomen kunnen worden om op diverse plekken ingezet te kunnen worden. Deze ambitie is aan het begin losgelaten.
Samengevat kan worden dat:
De huidige (on)mogelijkheden van de technologie (van kunstmatige intelligentie) maakt het onmogelijk om een natuurlijke dialoog te simuleren tussen een gebruiker van de 3D Virtuele omgeving en het virtuele karakter.
Ondanks dat het project niet een kant-en-klaar trainingsproduct (was niet het doel van het project) heeft opgeleverd, heb ik toch veel geleerd tijdens dit project door de internationale samenwerking met het e-Media Lab, Group T International University College Leuven en CLiPS, Universiteit Antwerpen en Opikanoba (subcontractor) en de leden van de gebruikersgroep. De vele discussies in de gebruikersgroep over de Roos van Leary, de leerdoelen en de volgorde van leren bij het eigen maken van de Roos van Leary en het bepalen van de casus voor de applicatie waren erg leerzaam. Ook het inzicht dat ik verkregen heb in de (on)mogelijkheden van de huidige stand van de technologie in deze casus was zeer leerzaam. Ook “falen” is leren.
One comment