Применение учебной аналитики в высшем образовании: датасеты, методы и инструменты

Накапливание  больших  объёмов  образовательных  данных  на  платформах вузов  и  социальных  медиа  приводит  к  необходимости  разработки  инструментов  для  из-влечения закономерностей из образовательных данных, которые могут быть использованы для  понимания  поведенческих  паттернов  обучающихся  и  преподавателей,  для  улучшения методик  преподавания  и  качества  учебного  процесса,  а  также  для  разработки  обоснован-ных стратегий развития вузов и формирования их политики. В данной статье приводится анализ и систематизация датасетов из открытых репозиториев с учётом решаемых на их основе задач учебной аналитики. В частности, в статье отмечается преобладание датасетов, направленных на решение задач аналитики на уровне понимания поведения студентов, в то же время датасеты, направленные на решение задач аналитики на уровне понимания потребностей преподавателей и административно-управленческого персонала вузов, практически отсутствуют. Между тем, полный потенциал инструментов учебной аналитики может быть раскрыт только при внедрении комплексного подхода к анализу образовательных  данных,  учитывающего  потребности  всех  участников  и  организаторов  учебного  процесса.

В предлагаемой обзорной статье рассматриваются методы учебной аналитики для решения задач, связанных с исследованием паттернов социального взаимодействия между обучающимися и преподавателями, и инструменты учебной аналитики  – от внедрения простых дашбордов  до  сложных  фреймворков,  исследующих  различные  уровни  учебной  аналитики. Отмечается, что вузы в целом заинтересованы во внедрении инструментов учебной аналитики,  которые  способны  улучшить  качество  учебного  процесса  за  счёт  разработки  стратегий адресной поддержки отдельных групп обучающихся, однако преподаватели относятся  к  таким  инициативам  с  осторожностью  из-за  недостатка  навыков  анализа  данных  и правильной интерпретации результатов анализа. Новизна данного аналитического обзора связана с рассмотрением учебной аналитики на разных уровнях её реализации в контексте подходов к открытости, обработке и анализу образовательных данных.

Данная статья будет интересна разработчикам инструментов учебной аналитики, научно-педагогическим  работникам,  административно-управленческому  персоналу вузов  с точки зрения формирования представления о целостности процесса аналитики вуза с учётом различных уровней реализации аналитики, направленных на понимание потребностей всех участников учебного процесса.

1. Doneva R., Gaftandzhieva S., Bandeva S. Best practices for using data analytics tools in Universities: State-of-play // CEUR Workshop Proc.: Education and Research in the Information Society. 2021. Vol. 3061. P. 100–108. URL: https://www.researchgate.net/publication/357690041_Best_Practices_for_Using_Data_Analytics_Tools_in_Universities_State-of-play (дата обращения: 11.03.2024).

2. Scheffel M., Drachsler H., Stoyanov S., Specht M. Quality indicators for learning analytics // Educational Technology & Society. 2014. Vol. 17. No. 4. P. 117–132. URL: https://www.jstor.org/stable/jeductechsoci.17.4.117 (дата обращения: 11.03.2024).

3. Stofor O. Learning analytics in the current University context // Journal of Public Administration, Finance and Law. 2021. Vol. 21. P. 89–98. DOI: 10.47743/jopafl-2021-21-10

4. Вилкова К.А., Захарова У.С. Учебная аналитика в традиционном образовании: её роль и результаты // Университетское управление: практика и анализ. 2020. Т. 24. № 3. C. 59–76. DOI: 10.15826/umpa.2020.03.026

5. Susnjak T., Ramaswami G., Mathrani A. Learning analytics dashboard: a tool for providing actionable insights to learners // International Journal of Educational Technology in Higher Education. 2022. Vol. 19. Article no. 12. DOI: 10.1186/s41239-021-00313-7

6. Yilmaz N., Sekeroglu B. Student performance classification using artificial intelligence techniques // 10th International Conference on Theory and Application of Soft Computing, Computing with Words and Perceptions. Advances in Intelligent Systems and Computing. 2020. Vol. 1095. DOI: 10.1007/978-3-030-35249-3_76

7. Martins M.V., Tolledo D., Machado J., Baptista L.M.T., Realinho V. Early prediction of student’s performance in Higher Education: a case study // Trends and Applications in Information Systems and Technologies. WorldCIST 2021. Advances in Intelligent Systems and Computing. 2021. Vol. 1365. Springer, Cham. DOI: 10.1007/978-3-030-72657-7_16

8. Suzan M.H., Samrin N.A., Biswas A.A,. Pramanik A. Students’ adaptability level prediction in online education using machine learning approaches // 12th International Conference on Computing Communication and Networking Technologies (ICCCNT). 2021. P . 1–7. DOI: 10.1109/ICCCNT51525.2021.9579741

9. Geasela Y.M., Bernanda D.Y., Andry J.F., Jusuf C.K., Winata S., Everlin L.Sh. Analysis of student mental health dataset using mining techniques // Journal of Computer Science. 2024. Vol. 20. No. 1. P. 121–128. DOI: 10.3844/jcssp.2024.121.128

10. Sharma U., Manchanda N. Predicting and improving entrepreneurial competency in University students using machine learning algorithms // 2020 10th International Conference on Cloud Computing, Data Science & Engineering (Confluence). 2020. P. 305–309. DOI: 10.1109/Confluence47617.2020.9058292

11. Kuzilek J., Hlosta M., Zdrahal Z. Data Descriptor: Open University Learning Analytics Dataset // Scientific Data. 2017. Vol. 4. Article no. 170171. DOI: 10.1038/sdata.2017.171

12. Prasojo L.D., Habibi A., Yaakob M.F.M., Pratama R., Yusof M.R., Suyanto A.M., Hanum F. Dataset relating to the relationship between teacher selconcept and teacher efficacy as the predictors of burnout: A Survey in Indonesian education // Data in Brief. 2020. Vol. 30. DOI: 10.1016/j.dib.2020.105448

13. Alblawi A.S., Alhamed A.A. Big data and learning analytics in higher education: Demystifying, acquisition, storage, NLP and analytics // 2017 IEEE Conference on Big Data and Analytics. 2017. P. 124–129. DOI: 10.1109/ICBDAA.2017.8284118

14. Daniel B.K., Butson R. Technology enhanced analytics (TEA) in Higher Education // International Conference on Educational Technologies (ICEduTech). Kuala Lumpur, Malaysia, Nov 29-Dec 1, 2013. P. 89–96. URL: https://www.learntechlib.org/p/158207/ (дата обращения: 1 1.03.2024).

15. Pei Z.-J., Han L., Gu J.-Q. Application of big data in higher education for learning analytics // 2017 3rd Conference on Education and Teaching in Colleges and Universities. Advances in Social Science, Education and Humanities Research (ASSEHR). 2017. Vol. 93. P. 100–103. DOI: 10.2991/cetcu-17.2017.25

16. Salma J.E.L., Maach A., Ghanami D.E. Learning analytics framework for adaptive E-learning system to monitor the learner’s activities // International Journal of Advanced and Applications. 2019. Vol. 10, No. 8. P. 275–284. DOI: 10.14569/IJACSA.2019.0100835

17. Joshi A., Desai P., Tewari P. Learning analytics framework for measuring students’ performance and teachers’ involvement through problem based learning in engineering education // Procedia Computer Science. 2020. Vol. 172. P. 954–959. DOI: 10.1016/j.procs.2020.05.138

18. Cukurova M., Khan-Galaria M., Millan E., Luckin R. A Learning analytiсs approach to monitoring the quality of online one-to-one tutoring // Journal of Learning Analytics. 2022. Vol. 9. No. 2. P. 105–120. DOI: 10.18608/jla.2022.7411

19. Shreeram N.V, Muthukumaravel Dr.A. Student career prediction using decision tree and random forest machine learning classifiers // Proc. of the First International Conference on Computing, Communication and Control System, I3CAC 2021, 7-8 June 2021, Bharath University, Chennai, India. 2021. DOI: 10.4108/eai.7-6-2021.2308621

20. Abdallah T.B., Elleuch I., Guermazi R. Student behavior recognition in classroom using deep transfer learning with VGG-16 // Procedia Computer Science. 2021. Vol. 192. P. 951–960. DOI: 10.1016/j.procs.2021.08.098

21. Dann C., O’Neill S., Getenet S., Aboufarw K., Verma N., Chakraborty S., et al. Machine learning system to guide teacher reflection on behavior management skills // Proc. of Innovate Learning Summit. United States: Association for the Advancement of Computing in Education (AACE). Retrieved May 10, 2024. P . 302–314. URL: https://www.learntechlib.org/p/220299/ (дата обращения: 11.03.2024).

22. Kagklis V., Karatrantou A., Tantoula M., Panagiotakopoulos C.T. A Learning analytics methodology for detecting sentiment in student Fora: A Case study in distance education // European Journal of Open, Distance and e-Learning. 2015. Vol. 18. No. 2. P. 74–94. DOI: 10.1515/eurodl-2015-0014

23. Andrade-Girуn D., Sandivar-Rosas J., Marín-Rodriguez W., Susanibar-Ramirez E., Toro-Dextre E., Ausejo-Sanchez J., et al . Predicting student dropout based on machine learning and deep Learning: A Systematic Review // EAI Endorsed Transactions on Scalable Information Systems. 2023. Vol. 10. No. 5. DOI: 10.4108/eetsis.3586

24. Кустицкая Т.А., Носков М.В., Вайшнтейн Ю.В. Прогнозирование успешности обучения: проблемы и задачи // Наука и школа. 2023. № 4. C. 71–83. DOI: 10.31862/1819-463X-2023-4-71-83

25. Monte J.A.C., Rodríguez M.C.B, Chamorro M.A. Drop-Out Prediction in Higher Education using Imbalanced multiclass dataset // Journal for Re Attach Therapy and Development Diversities. 2023. Vol. 10s. No. 2. P. 1583–1591. DOI: 10.53555/jrtdd.v6i10s(2).1255

26. Granados D.O., Ugalde J., Salas R., Torres R., Loìpez-Gonzales J.L. Visual-predictive data analysis approach for the academic performance of students from a Peruvian University // Applied Sciences. 2022. Vol. 12. Article no. 11251. DOI: 10.3390/app122111251

27. Alsariera Y.A., Baashar Y., Alkawsi G., Mustafa A., Alkahtani A.A., Nor’ashikin A. Assessment and evaluation of different machine learning algorithms for predicting student performance // Computational Intelligence and Neuroscience. 2022. Vol. 2022. Article ID 4151487. 11 p. DOI: 10.1155/2022/4151487

28. Alhazmi E., Sheneamer A. Early predicting of students performance in Higher Education // IEEE Access. 2016. Vol. 4. DOI: 10.1109/ACCESS.2023.3250702

29. Realinho V., Machado J., Baptista L., Martins M.V. Predicting student dropout and academic success // Data. 2022. Vol. 7. No. 11. P. 146. DOI: 10.3390/data7110146

30. Koshal R., Koshal M., Gupta A. Students’ academic performance: an interaction of inputs from the students, schools, and voters // Perspectives on Global Development and Technology. 2004. Vol. 3. No. 3. P. 375–394. DOI: 10.1163/1569150042442520

31. Orji F.A., Vassileva J. Machine learning approach for predicting students’ academic performance and study strategies based on their motivation // arXiv: 2210.08186. 2022. DOI: 10.48550/arXiv.2210.08186

32. Ojajuni O., Ayeni F., Akodu O., Ekanoye F., Adewole S., Ayo T., Misra S., Mbarika V. Predicting student academic performance using machine learning // Lecture Notes in Computer Science. 2021. Vol. 12957. DOI: 10.1007/978-3-030-87013-3_36

33. Шухман А.Е., Парфенов Д.И., Легашев Л.В., Гришина Л.С. Анализ и прогнозирование успеваемости обучающихся при использовании цифрово й образовательной среды // Высшее образование в России. 2021. Т. 30. № 8-9. С. 125–133. DOI: 10.31992/0869-3617-2021-30-8-9-125-133

34. Носков М.В., Вайнштейн Ю.В., Сомова М.В., Федотова И.М. Прогностическая модель оценки успешности предметного обучения в условиях цифровизации образования // Вестник Российского университета дружбы народов. Серия: Информатизация образования. 2023. Т. 20. № 1. С. 7–19. DOI: 10.22363/2312-8631-2023-20-1-7-19

35. Gafarov F.M., Rudneva Ya.B., Sharifov U.Yu., Trofimova A.V., Bormotov P.M. Analysis of students’ academic performance by using machine learning tools // International Scientific Conference “Digitalization of Education: History, Trends and Prospects” (DETP 2020), Advances in Social Science, Education and Humanities Research. 2020. Vol. 437. P. 570–575. DOI: 10.2991/assehr.k.200509.104

36. Tsai Y.-S., Poquet O., Gašević D., Dawson Sh., Pardo A. Complexity leadership in learning analytics: drivers, challenges and opportunities // British Journal of Educational Technology. 2019. Vol. 50. No. 6. P. 2839–2854. DOI: 10.1111/bjet.12846

37. Picciano A.G. The evolution of big data and learning analytics in American Higher Education // Journal of Asynchronous Learning Networks. 2012. Vol. 16. No. 3. P. 9–20. DOI: 10.24059/olj.v16i3.267

38. Tsai Y.-S., Rates D., Moreno-Marcos P.M., Muñoz-Merino P.J., Scheffel J.I., Drachsler M., Kloos H.C.D., Gašević D. Learning analytics in European higher education–trends and barriers // Computers & Education. 2020. Vol. 155. Article no. 103933. DOI: 10.1016/j.compedu.2020.10393

39. Wong B.T.M. Learning analytics in higher education: an Analysis of case studies // Asian Association of Open Universities Journal. 2017. Vol. 12. No. 1. P. 21–40. DOI: 10.1108/AAOUJ-01-2017-0009

40. Krstevski J., Mihajlov D., Chorbev I. Student data analysis with RapidMiner // ICT Innovations 2011 Web Proceedings. 2011. P. 19–28. URL: https://proceedings.ictinnovations.org/attachment/paper/217/student-data-analysis-with-rapidminer.pdf (дата обращения: 11.03.2024).

41. Martin F., Ndoye A. Using learning analytics to assess student learning in online courses // Journal of University Teaching & Learning Practice. 2016. Vol. 13. No. 3. DOI: 10.53761/1.13.3.7

42. Gao F. Teaching research on learning motivation of database course based on cloud teaching platform // Advances in Social Science, Education and Humanities Research. 2019. Vol. 322. P. 350–353. DOI: 10.2991/iserss-19.2019.287

43. Susnjak T., Ramaswami G., Mathrani A. Learning analytics dashboard: a Tool for providing actionable insights to learners // International Journal of Educational Technology in Higher Education. 2022. Vol. 19. No. 12. 23 p. DOI: 10.1186/s41239-021-00313-7

44. Kaliisa R., Dolonen J.A. CADA: a Teacher-facing learning analytics dashboard to foster teachers’ awareness of students’ participation and discourse patterns in online discussions // Technology, Knowledge and Learning. 2023. Vol. 28. P. 937–958. DOI: 10.1007/s10758-022-09598-7

45. McCormick J., Tillberg-Webb H. Analyzing online asynchronous discussions with a visual data analytic tool (SNAPP) // Staff Scholarship. 2012. Vol. 2. URL: https://digitalcommons.lesley.edu/cgi/viewcontent.cgi?article=1002&context=staff_scholarship (дата обращения: 11.03.2024).

46. Pyasi S., Gottipati S., Shankararaman V. SU-FAT – an analytics tool for gaining insights from student feedback comments // 2018 IEEE Frontiers in Education Conference (FIE). P. 1–9. DOI: 10.1109/FIE.2018.8658457

47. Gronberg N., Knutas A., Hynninen T., Hujala M. An Online tool for analyzing written student feedback // Koli Calling ‘20: Proc. of the 20th Koli Calling International Conference on Computing Education ResearchNovember. 2020. No. 40. P. 1–2. DOI: 10.1145/3428029.3428565

48. Fan Y., Tao W. SCB-dataset: A dataset for detecting student classroom behavior // arXiv: 2304.02488v1. 2023. 4 p. DOI: 10.48550/arXiv.2304.02488

49. Harindranathan P., Folkestad J. Learning analytics to inform the learning design: supporting instructor’s inquiry into student learning in unsupervised technology-enhanced platforms // Online Learning. 2019. Vol. 23. No. 3. P. 34–55. DOI: 10.24059/olj.v23i3.2057

50. Phillips R., Preston G., Roberts P., Cumming-Potvin W., Herrington J., Maor D., Gosper M. Using academic analytic tools to investigate studying behaviours in technology-supported learning environments // Proc. of the 27th Annual Conference of the Australasian Society for Computers in Learning in Tertiary Education, ASCILITE 2010. Sydney, NSW, Australia. 5 Dec 2010 – 8 Dec 2010. P. 761–771. URL: https://core.ac.uk/download/pdf/11235658.pdf (дата обращения: 11.03.2024).

51. Razavi M., McDonald A., Mehta R., Sasangohar F. Evaluating Mental stress among college students using heart rate and hand acceleration data collected from wearable sensors // arXiv:2309.11097v1. 2023. DOI: 10.48550/arXiv.2309.11097

52. Maseleno A., Sabani N., Huda M., Ahmad R., Jasmi K.A., Basiron B. Demystifying learning analytics in personalised learning // International Journal of Engineering & Technology. 2018. Vol. 7. No. 3. P. 1124–1129. DOI: 10.14419/ijet.v7i3.9789

53. Joseph L., Abraham S., Mani B.P., Rajesh N. Exploring the effectiveness of learning path recommendation based on Felder-Silverman learning style model: A Learning Analytics Intervention Approach // Journal of Educational Computing Research. 2022. Vol. 60. No. 6. P. 1464–1489. DOI: 10.1177/07356331211057816

54. Macfadyen L., Dawson S., Pardo A., Gašević D. Embracing big data in complex educational systems: The learning analytics imperative and the policy challenge // Research & Practice in Assessment. 2014. Vol. 9. P. 17–28. URL: http://www.rpajournal.com/dev/wp-content/uploads/2014/10/A2.pdf (дата обращения: 11.03.2024).

55. Tsai Y.-S., Moreno-Marcos P.M., Jivet I., Scheffel M., Tammets K., Kollom K., Ga šević D. The SHEILA framework: Informing institutional strategies and policy processes of learning analytics // Journal of Learning Analytics. 2018. Vol. 5. No. 3. P. 5–20. DOI: 10.18608/jla.2018.53.2

56. Vigentini L., Liu Y.T.D., Arthars N., Dollinger M. Evaluating the scaling of LA tool through the lens of te SHEILA framework: A comparison of two cases from tinkerers to institutional adoption // The Internet and Gigher Education. 2020. Vol. 45. Article no. 100728. DOI: 10.1016/j.iheduc.2020.100728

57. Carungay S.M., Lasian L., Lopez D.J., Malit R.M. A Proposed framework for sustainable and impactful higher education institutions // The Asian Conference on Education. 2020. DOI: 10.22492/issn.2186-5892.2023.22

58. Simanca F.A.H., Arteaga I.H., Puin M.E.U., Garrido F.B., Paez J.P., Míndez J.C., Alvarez A. Model for the collection and analysis of data from teachers and students supported by academic analytics // Procedia Computer Science. 2020. Vol. 177. P. 284–291. DOI: 10.1016/j.procs.2020.10.039

59. López-Belmonte J., Pozo-Sánchez S., Fuentes-Cabrera A., Trujillo-Torres J.-M. Analytical Competences of teachers in big data in the era of digitalized learning // Education Sciences. 2019. Vol. 9. No. 3. P. 177. DOI: 10.3390/educsci9030177

60. Hoyos A.A.C., Velásquez J.D. Teaching analytics: current challenges and future development // IEEE Revista Iberoamericana de Tecnologias del Aprendizaje. 2020. Vol. 15. P. 1–9. DOI: 10.1109/RITA.2020.2979245

61. Ndukwe I.G., Daniel B.K. Teaching analytics, value and tools for teacher data literacy: a systematic and tripartite approach // International Journal of Educational Technology in Higher Education. 2020. Vol. 17. Article No. 22. DOI: 10.1186/s41239-020-00201-6

62. Булычева П.А., Ошмарина О.Е., Шадрина Е.В. Выявление академически неуспешных студентов на первом году обучения в университете на примере НИУ ВШЭ – Нижний Новгород // Вестник Нижегородского университета им. Н.И. Лобачевского. Серия: Социальные науки. 2016. Т. 2. № 42. C. 136–143. URL: http://www.unn.ru/pages/e-library/vestnik_soc/18115942_2016-2(42)unicode/17.pdf (дата обращения: 11.03.2024).

63. Горюнова Е.С., Иванова А.С., Степаненко А.А., Фещенко А.В. Опыт применения инструментов оценки и практик управления качеством электронного обучения (кейс Томского государственного университета) // Открытое образование. 2022. Т. 26. № 4. C. 4–18. DOI: 10.21686/1818-4243-2022-4-4-18

64. Bellini C., Santis A.D., Sannicandro K., Minerva T. Data management in learning analytics: terms and perspectives // Journal of e-Learning and Knowledge Society. 2019. Vol. 15. No. 3. P. 133–144. DOI: 10.20368/1971-8829/1135021

65. Osakwe J., Ujakpa M., Ankome T. Learning analytics tools for enhancing students’ performance: A Global perspective. In: IST-Africa 2022 Conference Proceedings. 2022. 12 p. DOI: 10.23919/ IST-Africa56635.2022.9845553

66. Zandvliet D. Towards effecive learning analytics for Higher Education: Returning Meaningful Dashboards to Teachers. Master’s thesis, Vrije Universiteit, Amsterdam. 39 p. URL: https://ictinstitute.nl/wp-content/uploads/2020/09/5.-Zandvliet-Learning-Analytics-Dash-boards_2585387_FINAL.pdf (дата обращения: 11.03.2024).

67. Adejo O., Connolly T. Learning analytics in Higher Education Development: A Roadmap // Journal of Education and Practice. 2017. Vol. 8. No. 15. P. 156–163. URL: https://www.iiste.org/Journals/index.php/JEP/article/view/37046/38086 (дата обращения: 11.03.2024).

68. McCoy C., Shin P.C. Teachers as producers of data analytics: A Case Study of a Teacher-Focused Educational Data Science Program // Journal of Learning Analytics. 2016. Vol. 3. No. 3. P. 193–214. DOI: 10.18608/jla.2016.33.10