vovrВысшее образование в России (Vysshee obrazovanie v Rossii = Higher Education in Russia)Vysshee Obrazovanie v Rossii = Higher Education in Russia0869-36172072-0459Moscow Polytechnic University10.31992/0869-3617-2023-32-8-9-147-166vovr-4550Research ArticleСтатьиРазработка и перспективы развития национальной интеллектуальной системы тестирования общеязыковых компетенций (ИСТОК) на базе нейросетевых решенийDevelopment and Prospects of National Intelligent System for Testing General Language Competencies Deployed Through Neural Network Solutionshttps://orcid.org/0000-0002-6306-8892БазановаЕ. М.BazanovaE. M.

канд. пед. наук, доцент, руководитель Департамента иностранных языков, директор Центра языковой подготовки и тестирования МФТИ

141701, Россия, Московская обл., г. Долгопрудный, Институтский переулок, д. 9

Cand. Sci. (Pedagogy), Associate Professor, Head of the Department of Foreign Languages

9 Institutsky lane, Moscow region, Dolgoprudny, 141701

bazanova.em@mipt.ruГоризонтоваА. В.GorizontovaA. V.

канд. ист. наук, старший преподаватель Департаментаиностранных языков

141701, Россия, Московская обл., г. Долгопрудный, Институтский переулок, д. 9

Cand. Sci. (History), Senior Lecturer of the Department of Foreign Languages

9 Institutsky lane, Moscow region, Dolgoprudny, 141701

gorizontova.av@mipt.ruhttps://orcid.org/0000-0001-5444-3091ГрибоваН. Н.GribovaN. N.

канд. филол. наук, заместитель руководителя по административной работе Департамента иностранных языков

141701, Россия, Московская обл., г. Долгопрудный, Институтский переулок, д. 9

Cand. Sci. (Philology), Deputy Head of the Department of Foreign Languages

9 Institutsky lane, Moscow region, Dolgoprudny, 141701

gribova.nn@mipt.ruhttps://orcid.org/0000-0002-9512-1256ЧикакеТ. М.ChikakeT. M.

исследователь, преподаватель-исследователь Физ-тех-школы прикладной математики и информатики

141701, Россия, Московская обл., г. Долгопрудный, Институтский переулок, д. 9

Researcher and Senior Lecturer at Phystech School of Applied Mathematics and Informatics

9 Institutsky lane, Moscow region, Dolgoprudny, 141701

tendaichikake@phystech.eduhttps://orcid.org/0000-0002-3030-481XСамосюкА. В.SamosyukA. V.

инженер Лаборатории гибридных интеллектуальных систем

141701, Россия, Московская обл., г. Долгопрудный, Институтский переулок, д. 9

Engineer of the Laboratory of Hybrid Intelligent Systems

9 Institutsky lane, Moscow region, Dolgoprudny, 141701

alexeysamosyuk@phystech.eduМосковский физико-технический институт (Национальный исследовательский университет) (МФТИ)РоссияMoscow Institute of Physics and Technology (National Research University)Russian Federation202313092023328-9147166Copyright © Базанова Е.М., Горизонтова А.В., Грибова Н.Н., Чикаке Т.М., Самосюк А.В., 20232023Базанова Е.М., Горизонтова А.В., Грибова Н.Н., Чикаке Т.М., Самосюк А.В.Bazanova E.M., Gorizontova A.V., Gribova N.N., Chikake T.M., Samosyuk A.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vovr.elpub.ru/jour/article/view/4550

В статье представлены результаты апробации интеллектуальной системы тестирования общеязыковых компетенций (ИСТОК), разработанной учёными-тестологами, лингвистами, специалистами по методике преподавания иностранных языков и искусственному интеллекту. Данная система включает в себя как тесты для подтверждения заявленного уровня владения английским языком как иностранным, так и адаптивный тест на определение этого уровня. Все тестовые материалы откалиброваны в соответствии с Общеевропейской шкалой языковых компетенций. ИСТОК представляет собой адаптивную систему тестирования, развёрнутую на базе нейросетевых решений, охватывает проверку рецептивных и продуктивных речевых навыков (чтение, аудирование, говорение и письмо) искусственным интеллектом, а именно – нейролингвистическими моделями. В процессе подготовки к тестированию были созданы базы данных, обеспечивающие тестирование проверочными материалами, разработаны критерии оценивания, алгоритмы выявления ошибок различного типа искусственным интеллектом, валидатор для определения уровня владения языком. Результаты протестированных испытуемых (более 5 000) показали высокую надёжность и объективированную валидность тестового контроля. Новый подход к проверке языковых компетенций может быть использован как в процессе проведения оценки в высших учебных заведениях, так и для определения или подтверждения уровня владения языком персонала, занятого в различных сферах профессиональной деятельности, а принципы обучения и практического использования нейролингвистических моделей найдут широкое применение в различных областях прикладных исследований.

The article presents the results of approbation of the intellectual system for testing general language competences (ISTOK) developed by testologists, linguists, specialists in methodology of teaching foreign languages and in artificial intelligence. This system includes a range of tests assessing language ability at levels from A2 to C1 of the Common European Framework of Reference (CEFR), as well as an adaptive placement test. All test materials are calibrated according to the CEFR. ISTOK is an adaptive testing system deployed through neural network solutions and providing assessment of receptive and productive language skills (reading, listening, speaking and writing) by using artificial intelligence and/or neurolinguistic models. The process of ISTOK development implied, apart from writing test items, putting together databases of writing and speaking assignments marked by professional assessors and assessment criteria for productive skills, as well as algorithms to identify various types of mistakes with the help of artificial intelligence. The results of various testing cohorts with the total number of test takers exceeding 5,000 demonstrated high reliability and objectified test validity. The new approach to language skills testing can be used for various purposes in higher education institutions, as well and to identify and/or confirm language proficiency of personnel in different organisations and businesses, while the principles of training and practical use of neurolinguistic models will find wide application in various fields of applied research.

языковое тестированиеадаптивное тестированиемашинное обучениенейролингвистическая модельлингвистический корпусбазы данныхнейросетевые решенияинтеллектуальная система тестирования общеязыковых компетенцийlanguage testinglanguage assessmentlanguage skills testingadaptive testingmachine learningneuro-linguistic modellinguistic corpusdatabasesneural network solutionsintellectual system of testing common language competenciesReferencesCommon European Framework of Reference for Languages: Learning, teaching, assessment. Language Policy Unit, Strasbourg. 2001. 278 p. URL: https://rm.coe.int/common-europeanframework-of-reference-for-languages-learning-teaching/16809ea0d4 (дата обращения: 12.07.2023).Common European Framework of Reference for Languages: Learning, Teaching, Assessment. Language Policy Unit, Strasbourg. (2001). 278 p. Available at: https://rm.coe.int/common-european-framework-of-reference-for-languages-learning-teaching/16809ea0d4 (accessed 12.07.2023).Weir C.J. Language Testing and Validation: An Evidence-Based Approach. Houndgrave, Hampshire, UK: Palgrave-Macmillan. 2005. 316 p. URL: https://ztcprep.com/library/tesol/Language_Testing_and_Validation/Language_Testing_and_Validation_(www.ztcprep.com).pdf (дата обращения: 12.07.2023).Weir, C.J. (2005). Language Testing and Validation: An Evidence-Based Approach. Houndgrave, Hampshire, UK: Palgrave-Macmillan. 316 p. Available at: https://ztcprep.com/library/tesol/Language_Testing_and_Validation/Language_Testing_and_Validation (accessed 12.07.2023).Аванесов В.С. История педагогической теории измерений // Образовательные технологии. Москва. 2012. № 4. С. 28–38. URL: https://www.iedtech.ru/files/journal/2012/4/pedagogical-theory-of-measurement.pdf (дата обращения: 12.07.2023).Avanesov, V.S. (2012). [History of Pedagogical Theory of Measurements]. Educational Technologies. No. 4, pp. 28-38. Available at: https://www.iedtech.ru/files/journal/2012/4/pedagogical-theory-of-measurement.pdf (accessed 12.07.2023). (In Russ.).Fernández Álvarez M. Language Testing in the Digital Era // E. Martín-Monje, I. Elorza, B. García Riaza (Eds.), Technology-Enhanced Language Learning for Specialized Domains. Practical applications and mobility . London and New-York: Routledge: 2016. P. 61–72. ISBN: 9781138565135.Fernández Álvarez, M. (2016). Language Testing in the Digital Era. In E. Martín-Monje, I. Elorza, B. García Riaza (Eds.), Technology-Enhanced Language Learning for Specialized Domains. Practical applications and mobility. London and New-York: Routledge: pp. 61-72. ISBN: 9781138565135.Lim G.S. Developing and Validating a Mark Scheme for Writing // Cambridge ESOL: Research Notes: No. 49. August 2012. P. 6–10. URL: https://www.cambridgeenglish.org/images/23166-researchnotes-49.pdf (дата обращения: 12.07.2023).Lim, G.S. (2012). Developing and Validating a Mark Scheme for Writing: Cambridge ESOL: Research Notes: No. 49 / August 2012: pp. 6-10. Available at: https://www.cambridgeenglish.org/images/23166-research-notes-49.pdf (accessed 12.07.2023).Taylor L. Examining Speaking. Research and Practice in Assessing Second Language Speaking. Cambridge: University of Cambridge Press. 2011. 408 p. ISBN-10: ‎ 0521736706. ISBN-13: ‎ 9780521736701.Taylor, L. (2011). Examining Speaking. Research and Practice in Assessing Second Language Speaking. Cambridge: University of Cambridge Press. 408 p. ISBN-10: 0521736706. ISBN-13: 978-0521736701.Makovskaya L.G. Approaches to assessing language skills at higher educational institutions // Евразийский Союз Учёных. 2020. № 7-7 (76). С. 74–83. DOI: 10.31618/ESU.2413-9335.2020.7.76.945Makovskaya, L.G. [Approaches to Assessing Language Skills at Higher Educational Institutions] Eurasian Union of Scientists. (2020). No. 7-7 (76), pp. 74-83. DOI: 10.31618/ESU.24139335.2020.7.76.945 (In Russ.).Shohamy E. The Power of the Tests: the Impact of Language Tests on Teaching and Learning // NFLC Occasional Papers: June 1993. URL: https://www.researchgate.net/publication/240324351_The_Power_of_Tests_A_Critical_Perspective_on_the_Use_of_Language_Tests (дата обращения: 12.07.2023).Shohamy, E. (1993). The Power of the Tests: the Impact of Language Tests on Teaching and Learning.: NFLC Occasional Papers: June 1993. Available at: https://www.researchgate.net/publication/240324351_The_Power_of_Tests_A_Critical_Perspective_on_the_Use_of_Language_Tests (accessed 12.07.2023).Адаптивное тестирование в системах дистанционного обучения // Наука и образование: Электронное научное издание. МГТУ им. Н.Э. Баумана. 2007. № 4. URL: http://engineering-science.ru/doc/65577.html (дата обращения: 12.07.2023).Adaptive Testing in Distance Learning Systems (2007). [Science and Education: Electronic scientific edition]. Bauman Moscow State Technical University. No. 4. Available at: http://engineering-science.ru/doc/65577.html (accessed 12.07.2023). (In Russ.).Гданский Н.И., Альтиментова Д.Ю. Адаптивные методы тестирования знания при компьютерных формах обучения: монография. М.: Издательство РГСУ, 2015. 220 c. URL: https://viperson.ru/uploads/attachment/ file/951375/Gdanskiy__Al_timentova_Tituly__vvedenie__oglavlenie__bibliografiya.pdf (дата обращения: 12.07.2023).Gdanskiy, N.I., Altimentova, D.Yu. (2015). Adaptive Methods of Knowledge Testing in Computer-based Forms of Learning: Monograph. Moscow: RGSU Publishing House. 220 p. Available at: https://viperson.ru/uploads/attachment/file/951375/Gdanskiy__Al_timentova_Tituly__vvedenie__oglavlenie__bibliografiya.pdf (accessed 12.07.2023). (In Russ.).Meunier L. Computer-adaptive language tests (CALT) offer a great potential for functional testing. Yes why don’t test // CALICO Journal. 1994. Vol. 11. No. 4. P. 23–39. DOI: 10.1558/cj.v11i4.23-39Meunier, L. (1994). Computer-Adaptive Language Tests (CALT) Offer a Great Potential for Functional Testing. Yes Why Don’t Test: CALICO Journal. Vol. 11, no. 4, pp. 23-39, doi: 10.1558/cj.v11i4.23-39Laupichler M.C., Aster A., Schirch J., Raupach T. Artificial intelligence literacy in higher and adult education: A scoping literature review // Computers and Education: Artificial Intelligence. 2022. Vol. 3. Article no. 100101. DOI: 10.1016/j.caeai.2022.100101Laupichler, M.C., Aster, A., Schirch, J., Raupach, T. (2022). Artificial Intelligence Literacy in Higher and Adult Education: A Scoping Literature Review, Computers and Education: Artificial Intelligence. Vol. 3, article no. 100101, doi: 10.1016/j.caeai.2022.100101Колдаев В.Д., Волков А.С., Павлов Р.И. Технология применения адаптивного тестирования IT-специалистов коммерческой фирмы // Научный журнал. 2017. № 5 (18). C. 83– 86. EDN: YNWSIJ.Koldaev, V.D., Volkov, A.S., Pavlov, R.I. (2017). [Technology of Application of the Adaptive Testing of the IT-specialists of the Commercial Firm] Scientific Journal. No. 5 (18), pp. 83-86. Available at: https://www.elibrary.ru/download/elibrary_29149277_15922677.pdf (accessed 12.07.2023). (In Russ.).Suraworachet, W., Zhou, Q., Cukurova, M. Impact of combining human and analytics feedback on students’ engagement with, and performance in, reflective writing tasks // Int J Educ Technol High Educ. 2023. Vol. 20. No. 1. DOI: 10.1186/ s41239-022-00368-0Suraworachet, W., Zhou, Q., Cukurova, M. (2023). Impact of Combining Human and Analytics Feedback on Students’ Engagement with, and Performance in, Reflective Writing Tasks. Int J Educ Technol High Educ. Vol. 20, no. 1, doi: 10.1186/s41239-022-00368-0Firoozi T., Mohammadi H., Gierl M. J. Using active learning methods to strategically select essays for automated scoring // Educational Measurement: Issues and Practice. 2022. Vol. 1. No. 10. DOI: 10.1111/emip.12537Firoozi, T., Mohammadi, H., Gierl, M. J. (2022). Using Active Learning Methods to Strategically Select Essays for Automated Scoring. Educational Measurement: Issues and Practice. Vol. 1, no. 10, doi: 10.1111/emip.12537Ouyang L., Wu J., Jiang X., Almeida D., Wainwright C.L., Mishkin P. et al. Training language models to follow instructions with human feedback. 2022. DOI: 10.48550/arXiv.2203.02155Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C.L., Mishkin, P. et al. (2022). Training Language Models to Follow Instructions with Human Feedback, doi: 10.48550/arXiv.2203.02155.Carolus A., Augustin Y., Markus A., Wienrich C. Digital interaction literacy model – Conceptualizing competencies for literate interactions with voice-based AI systems // Computers and Education: Artificial Intelligence. 2023. Vol. 4. Article no. 100114. DOI: 10.1016/j.caeai.2022.100114Carolus, A., Augustin, Y., Markus, A., Wienrich, C. (2023). Digital Interaction Literacy Model – Conceptualizing Competencies for Literate Interactions with Voice-Based AI Systems, Computers and Education: Artificial Intelligence. Vol. 4, article no. 100114, doi: 10.1016/j.caeai.2022.100114Dittrich L., Aagaard T., Hjukse H. The perceived affordances of simulation-based learning: online student teachers’ perspectives // Int J Educ Technol High Educ. 2022. Vol. 19. No. 60. DOI: 10.1186/s41239-022-00366-2Dittrich, L., Aagaard, T., Hjukse, H. (2022). The Perceived Affordances of Simulation-Based Learning: Online Student Teachers’ Perspectives. Int J Educ Technol High Educ. Vol. 19, no. 60, doi: 10.1186/s41239-022-00366-2Xu W., Ouyang F. The application of AI technologies in STEM education: a systematic review from 2011 to 2021 // IJ STEM Ed. 2022. Vol. 9. No. 59. DOI: 10.1186/s40594-022-00377-5Xu, W., Ouyang, F. (2022). The Application of AI Technologies in STEM Education: A Systematic Review from 2011 to 2021. IJ STEM Ed. Vol. 9, no. 59, doi: 10.1186/s40594-02200377-5Göktepe Yıldız S., Göktepe Körpeoğlu S.. Prediction of students’ perceptions of problem solving skills with a neuro-fuzzy model and hierarchical regression method: A quantitative study // Educ Inf Technol. 2023. Vol. 28. No. 8879–8917. DOI: 10.1007/s10639-022-11446-1Göktepe Yıldız, S., Göktepe Körpeoğlu, S. (2023). Prediction of Students’ Perceptions of Problem Solving Skills with a Neuro-Fuzzy Model and Hierarchical Regression Method: A Quantitative Study. Educ Inf Technol. Vol. 28, no. 8879–8917, doi: 10.1007/s10639-022-11446-1Immekus J.C., Jeong Ts., Yoo J.E. Machine learning procedures for predictor variable selection for schoolwork-related anxiety: evidence from PISA 2015 mathematics, reading, and science assessments // Large-scale Assess Educ. 2022. Vol. 10. No. 30. DOI: 10.1186/s40536-022-00150-8Immekus, J.C., Jeong, Ts., Yoo, J.E. (2022). Machine Learning Procedures for Predictor Variable Selection for Schoolwork-Related Anxiety: Evidence from PISA 2015 Mathematics, Reading, and Science Assessments. Large-scale Assess Educ. Vol. 10, no. 30, doi: 10.1186/s40536-02200150-8Kaminskienė L., Järvelä S., Lehtinen E. How does technology challenge teacher education? // Int J Educ Technol High Educ. 2022. Vol. 19. No. 64. DOI: 10.1186/s41239-022-00375-1Kaminskienė, L., Järvelä, S., Lehtinen, E. (2022). How Does Technology Challenge Teacher Education? Int J Educ Technol High Educ. Vol. 19, no. 64, doi: 10.1186/s41239-022-00375-1Nan Xue. Analysis Model of Spoken English Evaluation Algorithm Based on Intelligent Algorithm of Internet of Things // Comput Intell Neurosci. 2022. Mar 27. Article no. 8469945. DOI: 10.1155/2022/8469945Nan Xue. (2022). Analysis Model of Spoken English Evaluation Algorithm Based on Intelligent Algorithm of Internet of Things. Comput Intell Neurosci. Mar 27, article no. 8469945, doi: 10.1155/2022/8469945Xin Wang. Research on Open Oral English Scoring System Based on Neural Network // Comput Intell Neurosci. 2022. Apr 23. Article no. 1346543. DOI: 10.1155/2022/1346543Xin Wang. (2022). Research on Open Oral English Scoring System Based on Neural Network. Comput Intell Neurosci. Apr 23, article no. 1346543, doi: 10.1155/2022/1346543Lei L., Wang H. Design and Analysis of English Intelligent Translation System Based on Internet of Things and Big Data Model // Comput Intell Neurosci. 2022. May 19. Article no. 6788813. DOI: 10.1155/2022/6788813Lei, L., Wang, H. (2022). Design and Analysis of English Intelligent Translation System Based on Internet of Things and Big Data Model. Comput Intell Neurosci. May 19, article no. 6788813, doi: 10.1155/2022/6788813

The authors declare that there are no conflicts of interest present.