Problem: Na podlagi video posnetkov študentov med lekcijo v razredu je potrebno izdelati model, ki napoveduje njihovo pozornost (oziroma engagement – angažiranost). Upoštevati je potrebno različne vizualne znake (aktivnosti, kot so pisanje, poslušanje), znake telesa (body language), mimiko obraza, ter znake distrakcij (motnje, utrujenost..).
Podatki: Obstajajo video posnetki 18 študentov med enako lekcijo dolžine 20 minut. Na voljo so tudi točke skeleta (telesa) in obraza, ter smer pogleda.
Način dela: Označitev različnih obdobij pozornosti študenta (nizka, srednja, visoka), ter označitev različnih vizualnih znakov (aktivnosti, motenj). Na podlagi teh podatkov lahko naučimo model strojnega učenja, da napoveduje stopnjo pozornosti ter angažiranosti. Vizualizacija stopnje distrakcije, stopnje utrujenosti, stopnje aktivnosti, stopnje pozornosti skozi čas.
Varianta 2: Avtomatizirana detekcija aktivnosti in znakov z uporabo modelov strojnega vida (npr. na podlagi videa, ali točk telesa, z uporabo metod strojnega vida in umetne inteligence). Izdelava modelov za napovedovanje angažiranosti študentov iz teh avtomatsko zajetih značilk.
Literatura:
- Analiza učnih procesov in tehnologije poučevanja
- Raziskovalna tema modeliranje človekovega obnašanja
- Članek Predicting students’ attention in the classroom from Kinect facial and body features
- članek MDNN: Predicting Student Engagement via Gaze Direction and Facial Expression in Collaborative Learning
- članek Automatic student engagement measurement using machine learning techniques: A literature study of data and methods
- članek The-Power-of-Body-Language-in-Education-A-Study-of-Teachers-Perceptions
Mentor: dr. Janez Zaletelj