Разработка и перспективы развития национальной интеллектуальной системы тестирования общеязыковых компетенций (ИСТОК) на базе нейросетевых решений

В статье представлены результаты апробации интеллектуальной системы тестирования общеязыковых компетенций (ИСТОК), разработанной учёными-тестологами, лингвистами, специалистами по методике преподавания иностранных языков и искусственному интеллекту. Данная система включает в себя как тесты для подтверждения заявленного уровня владения английским языком как иностранным, так и адаптивный тест на определение этого уровня. Все тестовые материалы откалиброваны в соответствии с Общеевропейской шкалой языковых компетенций. ИСТОК представляет собой адаптивную систему тестирования, развёрнутую на базе нейросетевых решений, охватывает проверку рецептивных и продуктивных речевых навыков (чтение, аудирование, говорение и письмо) искусственным интеллектом, а именно – нейролингвистическими моделями. В процессе подготовки к тестированию были созданы базы данных, обеспечивающие тестирование проверочными материалами, разработаны критерии оценивания, алгоритмы выявления ошибок различного типа искусственным интеллектом, валидатор для определения уровня владения языком. Результаты протестированных испытуемых (более 5 000) показали высокую надёжность и объективированную валидность тестового контроля. Новый подход к проверке языковых компетенций может быть использован как в процессе проведения оценки в высших учебных заведениях, так и для определения или подтверждения уровня владения языком персонала, занятого в различных сферах профессиональной деятельности, а принципы обучения и практического использования нейролингвистических моделей найдут широкое применение в различных областях прикладных исследований.

1. Common European Framework of Reference for Languages: Learning, teaching, assessment. Language Policy Unit, Strasbourg. 2001. 278 p. URL: https://rm.coe.int/common-europeanframework-of-reference-for-languages-learning-teaching/16809ea0d4 (дата обращения: 12.07.2023).

2. Weir C.J. Language Testing and Validation: An Evidence-Based Approach. Houndgrave, Hampshire, UK: Palgrave-Macmillan. 2005. 316 p. URL: https://ztcprep.com/library/tesol/Language_Testing_and_Validation/Language_Testing_and_Validation_(www.ztcprep.com).pdf (дата обращения: 12.07.2023).

3. Аванесов В.С. История педагогической теории измерений // Образовательные технологии. Москва. 2012. № 4. С. 28–38. URL: https://www.iedtech.ru/files/journal/2012/4/pedagogical-theory-of-measurement.pdf (дата обращения: 12.07.2023).

4. Fernández Álvarez M. Language Testing in the Digital Era // E. Martín-Monje, I. Elorza, B. García Riaza (Eds.), Technology-Enhanced Language Learning for Specialized Domains. Practical applications and mobility . London and New-York: Routledge: 2016. P. 61–72. ISBN: 9781138565135.

5. Lim G.S. Developing and Validating a Mark Scheme for Writing // Cambridge ESOL: Research Notes: No. 49. August 2012. P. 6–10. URL: https://www.cambridgeenglish.org/images/23166-researchnotes-49.pdf (дата обращения: 12.07.2023).

6. Taylor L. Examining Speaking. Research and Practice in Assessing Second Language Speaking. Cambridge: University of Cambridge Press. 2011. 408 p. ISBN-10: ‎ 0521736706. ISBN-13: ‎ 9780521736701.

7. Makovskaya L.G. Approaches to assessing language skills at higher educational institutions // Евразийский Союз Учёных. 2020. № 7-7 (76). С. 74–83. DOI: 10.31618/ESU.2413-9335.2020.7.76.945

8. Shohamy E. The Power of the Tests: the Impact of Language Tests on Teaching and Learning // NFLC Occasional Papers: June 1993. URL: https://www.researchgate.net/publication/240324351_The_Power_of_Tests_A_Critical_Perspective_on_the_Use_of_Language_Tests (дата обращения: 12.07.2023).

9. Адаптивное тестирование в системах дистанционного обучения // Наука и образование: Электронное научное издание. МГТУ им. Н.Э. Баумана. 2007. № 4. URL: http://engineering-science.ru/doc/65577.html (дата обращения: 12.07.2023).

10. Гданский Н.И., Альтиментова Д.Ю. Адаптивные методы тестирования знания при компьютерных формах обучения: монография. М.: Издательство РГСУ, 2015. 220 c. URL: https://viperson.ru/uploads/attachment/ file/951375/Gdanskiy__Al_timentova_Tituly__vvedenie__oglavlenie__bibliografiya.pdf (дата обращения: 12.07.2023).

11. Meunier L. Computer-adaptive language tests (CALT) offer a great potential for functional testing. Yes why don’t test // CALICO Journal. 1994. Vol. 11. No. 4. P. 23–39. DOI: 10.1558/cj.v11i4.23-39

12. Laupichler M.C., Aster A., Schirch J., Raupach T. Artificial intelligence literacy in higher and adult education: A scoping literature review // Computers and Education: Artificial Intelligence. 2022. Vol. 3. Article no. 100101. DOI: 10.1016/j.caeai.2022.100101

13. Колдаев В.Д., Волков А.С., Павлов Р.И. Технология применения адаптивного тестирования IT-специалистов коммерческой фирмы // Научный журнал. 2017. № 5 (18). C. 83– 86. EDN: YNWSIJ.

14. Suraworachet, W., Zhou, Q., Cukurova, M. Impact of combining human and analytics feedback on students’ engagement with, and performance in, reflective writing tasks // Int J Educ Technol High Educ. 2023. Vol. 20. No. 1. DOI: 10.1186/ s41239-022-00368-0

15. Firoozi T., Mohammadi H., Gierl M. J. Using active learning methods to strategically select essays for automated scoring // Educational Measurement: Issues and Practice. 2022. Vol. 1. No. 10. DOI: 10.1111/emip.12537

16. Ouyang L., Wu J., Jiang X., Almeida D., Wainwright C.L., Mishkin P. et al. Training language models to follow instructions with human feedback. 2022. DOI: 10.48550/arXiv.2203.02155

17. Carolus A., Augustin Y., Markus A., Wienrich C. Digital interaction literacy model – Conceptualizing competencies for literate interactions with voice-based AI systems // Computers and Education: Artificial Intelligence. 2023. Vol. 4. Article no. 100114. DOI: 10.1016/j.caeai.2022.100114

18. Dittrich L., Aagaard T., Hjukse H. The perceived affordances of simulation-based learning: online student teachers’ perspectives // Int J Educ Technol High Educ. 2022. Vol. 19. No. 60. DOI: 10.1186/s41239-022-00366-2

19. Xu W., Ouyang F. The application of AI technologies in STEM education: a systematic review from 2011 to 2021 // IJ STEM Ed. 2022. Vol. 9. No. 59. DOI: 10.1186/s40594-022-00377-5

20. Göktepe Yıldız S., Göktepe Körpeoğlu S.. Prediction of students’ perceptions of problem solving skills with a neuro-fuzzy model and hierarchical regression method: A quantitative study // Educ Inf Technol. 2023. Vol. 28. No. 8879–8917. DOI: 10.1007/s10639-022-11446-1

21. Immekus J.C., Jeong Ts., Yoo J.E. Machine learning procedures for predictor variable selection for schoolwork-related anxiety: evidence from PISA 2015 mathematics, reading, and science assessments // Large-scale Assess Educ. 2022. Vol. 10. No. 30. DOI: 10.1186/s40536-022-00150-8

22. Kaminskienė L., Järvelä S., Lehtinen E. How does technology challenge teacher education? // Int J Educ Technol High Educ. 2022. Vol. 19. No. 64. DOI: 10.1186/s41239-022-00375-1

23. Nan Xue. Analysis Model of Spoken English Evaluation Algorithm Based on Intelligent Algorithm of Internet of Things // Comput Intell Neurosci. 2022. Mar 27. Article no. 8469945. DOI: 10.1155/2022/8469945

24. Xin Wang. Research on Open Oral English Scoring System Based on Neural Network // Comput Intell Neurosci. 2022. Apr 23. Article no. 1346543. DOI: 10.1155/2022/1346543

25. Lei L., Wang H. Design and Analysis of English Intelligent Translation System Based on Internet of Things and Big Data Model // Comput Intell Neurosci. 2022. May 19. Article no. 6788813. DOI: 10.1155/2022/6788813