vovrВысшее образование в России (Vysshee obrazovanie v Rossii = Higher Education in Russia)Vysshee Obrazovanie v Rossii = Higher Education in Russia0869-36172072-0459Moscow Polytechnic University10.31992/0869-3617-2024-33-1-128-148vovr-4751Research ArticleСтатьиЛингвопедагогический дизайн тестовых заданий открытого типа в условиях цифровизацииLinguo-Pedagogical Design of Open Question Items in the Context of Digitalizationhttps://orcid.org/0000-0002-0908-1818АликинаЕ. В.AlikinaA. V.

Аликина Елена Вадимовна – д-р пед. наук, доцент, зав. кафедрой «Иностранные языки, лингвистика и перевод»

614990, Россия, Пермь, Комсомольский пр., 29

Elena V. Alikina – Dr. Sci. (Pedagogics), Head of the Department of Foreign Languages, Linguistics and Translation

Komsomolsky proezd, 29, Perm, 614990

elenaalikina@yandex.ruhttps://orcid.org/0000-0001-5503-8784МальцевД. В.MaltsevD. V.

Мальцев Дмитрий Викторович – канд. техн. наук, доцент, начальник отдела обеспечения учебного процесса учебно-методического управления

614990, Россия, Пермь, Комсомольский пр., 29

Dmitry V. Maltsev – Cand. Sci. (Engineering), Associate Professor

Komsomolsky proezd, 29, Perm, 614990

mdv@pstu.ruПермский национальный исследовательский политехнический университет (ПНИПУ)РоссияPerm National Research Polytechnic UniversityRussian Federation202430012024331128148Copyright © Аликина Е.В., Мальцев Д.В., 20242024Аликина Е.В., Мальцев Д.В.Alikina A.V., Maltsev D.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vovr.elpub.ru/jour/article/view/4751

В статье представлен междисциплинарный подход к разработке и созданию тестовых заданий открытого типа для проведения оценочных процедур в соответствии со стратегией цифровой трансформации и новыми требованиями государственной аккредитации образовательных программ высшего образования. Раскрывается содержание авторских терминов, среди которых «лингвопедагогическое мастерство», «лингвопедагогический дизайн», «лингвистическая корректность» и «методическая грамотность тестовых заданий». На основе наукометрического анализа, выполненного по базе научной электронной библиотеки elibrary, определяются хронологическая активность и предметная соотнесённость публикаций отечественных исследователей о тестировании студентов. По результатам опроса преподавателей 11 региональных вузов обобщаются основные трудности в подготовке контрольно-измерительных материалов. Осуществляется разбор примеров тестовых заданий по дисциплинам, преподаваемым в многопрофильном политехническом вузе. Методами эрратологического анализа выявляются типичные погрешности в формулировках вопросов, эталонных ответах и оценочных критериях, а также обобщаются их причины. Для моделирования лингвопедагогического дизайна тестовых заданий применена концепция эпистемической ситуации, описаны четыре её компонента – онтологический (предметно-содержательное определение объектов и элементов контроля), методологический (выбор типов и видов заданий в зависимости от уровня измеряемых результатов обучения), коммуникативно-прагматический (обеспечение понятности текста тестового задания) и технологический (техническая реализация автоматизированной проверки свободного ответа). Предложены приёмы корректировки тестовых заданий с помощью современных цифровых сервисов. На основании результатов проведённого исследования авторами сформулированы рекомендации по осуществлению лингвопедагогического дизайна тестовых заданий открытого типа с ориентацией на их внедрение в цифровой среде.

Interdisciplinary approach to the development and creation of open question items for assessment procedures in accordance with the digital transformation strategy and the new requirements for state accreditation of educational programs of higher education has been presented in the article. It has been revealed the content of the author’s terms including linguo-pedagogical mastery, linguo-pedagogical design, linguistic correctness and methodological literacy of test tasks. On the basis of scientometric analysis carried out due to the scientific electronic library elibrary it has been determined the chronological activity and subject correlation of publications of native researchers on testing students. Based on the results of a survey of teachers from 11 regional universities the main difficulties in the preparation of testing and assessment materials are summarized. Examples of test items in disciplines taught at a multidisciplinary polytechnic university are analyzed. Typical errors in the wording of questions, reference answers and evaluation criteria have been identified by the methods of erratological analysis and the reasons for their appearance have been summarized. To model the linguo-pedagogical design of test tasks the concept of an epistemic situation is used, its four components are described: ontological (subject-content definition of objects and elements of control), methodological (selection of types and types of tasks depending on the level of measured outcomes of learning), communicative-pragmatic (ensuring the comprehensibility of the text of the test task) and technological (technical implementation of the automated check of free response). Methods of test tasks modification with the help of modern digital services are proposed. As a result of the study, the authors formulate recommendations for the implementation of the linguo-pedagogical design of open question items with a focus on their implementation in the digital environment.

цифровизацияаккредитациядиагностическая работалингвопедагогический дизайнтестированиетестовые заданиязадания открытого типаавтоматизация оцениванияdigitalizationaccreditationdiagnostic worklinguo-pedagogical designtestingtest itemsopen question itemsautomation of assessmentReferencesБанных Г.А., Костина С.Н. Концептуализация понятия цифровой зрелости университета в контексте цифровой трансформации высшего образования // Вестник Майкопского гос. технологического ун-та. 2022. Т. 14. № 1. С. 110–120. DOI: 10.47370/2078-1024-2022-14-1-110-120Bannyh, G.A., Kostina, S.N. (2022). Conceptualization of the Concept of Digital Maturity of the University in the Context of Digital Transformation of Higher Education. Vestnik Majkopskogo gosudarstvennogo tekhnologicheskogo universiteta = Bulletin of the Maikop State Technological University. Vol. 14, no. 1, pp.110-120, doi: 10.47370/2078-1024-2022-14-1-110-120 (In Russ., abstract in Eng.).Мальцев Д.В., Лазукова Е.А., Репецкий Д.С. Осознанный выбор профессии как доминантный мотив обучения в университете // Перспективы науки и образования. 2022. №6 (60). С. 10–28. DOI: 10.32744/pse.2022.6.1Mal’cev, D.V., Lazukova, E.A., Repeckij, D.S. (2022). Conscious Choice of Profession as the Dominant Motive of Studying at the University. Perspektivy nauki i obrazovaniya = Prospects of Science and Education. No. 6 (60), pp. 10-28, doi: 10.32744/pse.2022.6.1 (In Russ., abstract in Eng.).Байкина Е.А. Организационно-педагогические условия проектирования системы оценочных средств в компетентностно-ориентированных образовательных программах вуза // Известия Волгоградского гос. пед. ун-та. 2022. № 1(164). С. 45–51. EDN WRELZE.Bajkina, E.A. (2022). Organizational and Pedagogical Conditions for Designing the System of Evaluative Means in the Competence Based Educational Programs of the University. Izvestiya Volgogradskogo gosudarstvennogo pedagogicheskogo universiteta = Proceedings of the Volgograd State Pedagogical University. No. 1 (164), pp. 45-51. Available at: https://www.elibrary.ru/download/elibrary_48117687_43531319.pdf (accessed 08.11.2023). (In Russ., abstract in Eng.).Дарда И.В., Зернов В.А. Перспективы государственной аккредитации вузов в контексте «регуляторной гильотины» // Высшее образование сегодня. 2020. № 6. С. 2–7. DOI: 10.25586/RNU.HET.20.06.P.02Darda, I.V., Zernov, V.A. (2020) [Prospects of State Accreditation of Universities in the Context of the “Regulatory Guillotine”]. Vysshee obrazovanie segodnya = Higher Education Today. No. 6, pp. 2-7. DOI: 10.25586/RNU.HET.20.06.P.02 (In Russ.).Варламова Т.А., Гохберг Л.М., Озерова О.К. и др. Образование в цифрах: 2023: краткий статистический сборник // Нац. исслед. ун-т «Высшая школа экономики». М.: ИСИЭЗ ВШЭ. 2023. 132 с. URL: https://www.hse.ru/primarydata/ovz2023 (дата обращения: 08.11.2023).Varlamova, T.A., Gohberg, L.M., Ozerova, O.K. (2023). Education in Numbers: 2023 : A Short Statistical Collection; National research. un-t “Higher School of Economics”. Moscow: ISIEZ VSHE. 132 p. Available at: https://www.hse.ru/primarydata/ovz2023 (accessed 08.11.2023). (In Russ.).Исаева Т.Е. Оценочная компетенция вузовского преподавателя: содержание и смысл // Высшее образование в России. 2014. № 10. С. 106–112. EDN SZEHWN.Isaeva, T.E. (2014). Evaluation Competence of a University Teacher: Content and Purposes. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 10, pp. 106-112. Available at: https://www.elibrary.ru/download/elibrary_22536479_63008706.pdf (accessed 08.11.2023). (In Russ., abstract in Eng.).Атабекова А.А. Лингвистический дизайн web-страницы: семиотические аспекты представления информации (на материале русского и английского языков) // Вестник Российского университета дружбы народов. Серия: Лингвистика. 2003. № 4. С. 90–98. EDN ILAFMN.Atabekova, A.A. (2003). Linguistic Design of a Web-Site: Semiotic Aspects of Information’s Representation (in Russian and English). Vestnik Rossijskogo universiteta druzhby narodov. Seriya: Lingvistika = Bulletin of the Peoples’ Friendship University of Russia. Series: Linguistics. No. 4, pp. 90-98. Available at: https://www.elibrary.ru/download/elibrary_10008145_48076913.pdf (accessed 08.11.2023). (In Russ., abstract in Eng.).Чернобай Е.В., Ефимова Е.А., Корешникова Ю.Н., Давлатова М.А. Педагогический дизайн: российская и зарубежная исследовательская повестка // Национальный исследовательский университет «Высшая школа экономики», Институт образования. М.: НИУ ВШЭ. 2022. 44 с. URL: https://ioe.hse.ru/pubs/share/direct/593673038.pdf (дата обращения: 08.11.2023).Chernobaj, E.V., Efimova, E.A., Koreshnikova, YU.N., Davlatova, M.A. (2022). Pedagogicheskij dizajn: rossijskaya i zarubezhnaya issledovatel’skaya povestka [Pedagogical Design: A Russian and Foreign Research Novel]. Moscow: HSE, 44 p. https://ioe.hse.ru/pubs/share/direct/593673038.pdf (accessed 08.11.2023). (In Russ.).Шингарева-Славина Е.А. Лингвистическая корректность в эпоху тотальной компьютерной толерантности и роль учёного в разрешении этого конфликта // Известия Российского государственного педагогического университета им. А.И. Герцена. 2016. № 182. С. 18–27. EDN ZMMRWB.Shingareva-Slavina, E.A. (2016). Linguistic Correctness in the Age of Total Computer Tolerance and a Scientist’s Role in This Conflict Solution. Izvestiya Rossijskogo gosudarstvennogo pedagogicheskogo universiteta im. A.I. Gercena = Proceedings of the A.I. Herzen Russian State Pedagogical University. No. 182, pp. 18-27. Available at: https://elibrary.ru/download/elibrary_30274109_45191628.pdf (accessed 08.11.2023). (In Russ., abstract in Eng.).Лебедева Т.Н., Шефер О.Р., Белоусова Н.А. Развитие методической грамотности будущих учителей в условиях транзитивной реальности технопарка универсальных педагогических компетенций и информационных инноваций // Южно-Уральский гос. гум.-пед. ун-т. Челябинск: Издательство «Библиотека А. Миллера». 2023. 224 с.Lebedeva, T.N., Shefer, O.R., Belousova, N.A. (2023). Razvitie metodicheskoj gramotnosti budushchih uchitelej v usloviyah tranzitivnoj real’nosti tekhnoparka universal’nyh pedagogicheskih kompetencij i informacionnyh innovacij [Development of Methodological Literacy of Future Teachers in the Conditions of the Transitive Reality of the Technopark of Universal Pedagogical Competencies and Information Innovations]. Chelyabinsk: A. Miller Library Publishing House, 22 p. (In Russ.).Безукладников К.Э., Вахрушева О.В. Компетентностно-ориентированные задания как средство формирования самоорганизации при обучении иностранному языку в военном вузе // Язык и культура. 2023. № 62. С. 162–182. DOI: 10.17223/19996195/62/9Bezukladnikov, K.E., Vahrusheva, O.V. (2023). Competence-oriented Tasks as a Way of Self-Organization Formation While Teaching a Foreign Language in a Military University. YAzyk i kul’tura = Language and Culture. No. 62, pp. 162-182, doi: 10.17223/19996195/62/9 (In Russ., abstract in Eng.).Петрушина Н.Н., Уварова М.Н. Использование интернет-тестирования как формы контроля качества подготовки студентов // Актуальные проблемы гуманитарных и естественных наук. 2009. № 7-2. С. 153–155. EDN KWDDTR.Petrushina, N.N., Uvarova, M.N. (2009). [The Use of Internet Testing as a Form of Quality Control of Students’ Training]. Aktual’nye problemy gumanitarnyh i estestvennyh nauk = Actual Problems of Humanities and Natural Sciences. No. 7-2, pp. 153-155. Available at: https://www.elibrary.ru/download/elibrary_25145002_10647866.pdf (accessed 08.11.2023). (In Russ.).Наговицын Р.С., Рассолова Е.А., Сенатор С.Ю., Торбина И.И. Разработка веб-портала для подготовки студентов к тестированию по нормам ГТО // Теория и практика физической культуры. 2016. № 1. С. 39–42. EDN VEGLMP.Nagovicyn, R.S., Rassolova, E.A., Senator, S.Yu., Torbina, I.I. (2016). Web Portal Design to Prepare Students for GTO Tests. Teoriya i praktika fizicheskoj kul’tury = Theory and Practice of Physical Culture. No. 1, pp. 39-42. Available at: https://www.elibrary.ru/download/elibrary_12892250_90529458.pdf (accessed 08.11.2023). (In Russ., abstract in Eng.).Минеева О.А., Даричева М.В. Организация тестирования в системе MOODLE при обучении иностранному языку // Научно-педагогическое обозрение. 2016. № 3 (13). С. 81–86. EDN XAATZH.Mineeva, O.A., Daricheva, M.V. (2016) The Organization of Testing in the MOODLE System in Teaching Foreign Languages. Nauchno-pedagogicheskoe obozrenie = Scientific and Pedagogical Review. No. 3 (13), pp. 81-86. Available at: https://www.elibrary.ru/download/elibrary_27328515_20622079.pdf (accessed 08.11.2023). (In Russ., abstract in Eng.).Комаров Г.А., Конаныхина А.К. Медицинская эрратология как фундамент построения системы оценки качества медицинской помощи // Вестник Кыргызской государственной медицинской академии имени И.К. Ахунбаева. 2016. №5. С. 33–37. EDN XSTXVP.Komarov, G.A., Konanyhina, A.K. (2016). The Science of Medical Errors as a Foundation Construction System Evaluation of Quality Health Care. Vestnik Kyrgyzskoj gosudarstvennoj medicinskoj akademii imeni I.K. Ahunbaeva = Bulletin of the Kyrgyz State Medical Academy named after I.K. Akhunbayev. No. 5, pp. 33-37. Available at: https://www.elibrary.ru/download/elibrary_28184727_24130837.pdf (accessed 08.11.2023). (In Russ., abstract in Eng.).Razumovskaya V.A. Translation Axiology and Erratology: Cultural Information and Symmetry / V.A. Razumovskaya // Journal of Siberian Federal University. Humanities and Social Sciences. 2016. Vol. 9, No. 3. P. 579–587. DOI: 10.17516/1997-1370-2016-9-3-579-587Razumovskaya, V.A. (2016). Translation Axiology and Erratology: Cultural Information and Symmetry: Journal of Siberian Federal University. Humanities and Social Sciences. Vol. 9, no. 3, pp. 579-587, doi: 10.17516/1997-1370-2016-9-3-579-587Котюрова М.П. Эпистемическая ситуация как смысловая единица научного текста в стилистическом и риторическом аспектах (К развитию понятия) // Stylistyka. 2016. Т. 25. С. 485–497. EDN FKCAPX.Kotyurova, M.P. (2016). [Epistemic Situation as a Semantic Unit of a Scientific Text in Stylistic and Rhetorical Aspects (Towards the Development of the Concept)]. Stylistyka = Stylistics. – Vol. 25, pp. 485-497. Available at: https://www.elibrary.ru/item.asp?id=41170911 (accessed 08.11.2023). (In Russ.).Tsai K.H, Wang T.I., Hsieh T.C. et al. Dynamic computerized testlet-based test generation system by discrete PSO with partial course ontology // Expert Systems with Applications. 2010. Vol. 37. No. 1. P. 774–786. DOI: 10.1016/j.eswa.2009.05.090Tsai, K.H., Wang, T.I., Hsieh, T.C. et al. (2010). Dynamic Computerized Testlet-Based Test Generation System by Discrete PSO with Partial Course Ontology. Expert Systems with Applications. Vol. 37, no. 1, pp. 774-786, doi: 10.1016/j.eswa.2009.05.090Крылова О.Н. Развитие знаниевой традиции в современном содержании отечественного школьного образования: монография; Российский гос. пед. ун-т им. А.И. Герцена. СПб: Лема. 2010. 355 с. ISBN: 978-5-98709-223-1. EDN QYBYAT.Krylova, O.N. (2010). Razvitie znanievoj tradicii v sovremennom soderzhanii otechestvennogo shkol’nogo obrazovaniya [The Development of the Knowledge Tradition in the Modern Content of Domestic School Education]. Saint-Petersburg: Lem, 355 p. ISBN: 978-5-98709-223-1. (In Russ.).Холодная М.А., Гельфман Э.Г. Развивающие учебные тексты как средство интеллектуального воспитания учащихся. М.: Институт психологии РАН. 2016. 200 с. ISBN: 978-5-9270-0320-4. EDN WHEKDN.Holodnaya, M.A., Gel’fman, E.G. (2016). Razvivayushchie uchebnye teksty kak sredstvo intellektual’nogo vospitaniya uchashchihsya [Developing Educational Texts as a Means of Intellectual Education of Students]. Moscow: Institute of Psychology of the Russian Academy of Sciences. 200 p. ISBN: 978-5-9270-0320-4. (In Russ.).Мухаметзянова Ф.Г., Хайрутдинов Р.Р. О таксономии Б. Блума и компетентностных тестах // Глобальная экономика и образование. 2021. Т. 1. № 3. С. 54–61. EDN: NNVPQR.Muhametzyanova, F.G., Hajrutdinov, R.R. (2021). About B. Bloom’s Taxonomy and Competence Tests. Global’naya ekonomika i obrazovanie = Global Economy and Education. Vol. 1, no. 3, pp. 54-61. Available at: https://elibrary.ru/download/elibrary_46423704_45116097.pdf (accessed 08.11.2023). (In Russ., abstract in Eng.).Лапошина А.Н., Лебедева М.Ю. Текстометр: онлайн-инструмент определения уровня сложности текста по русскому языку как иностранному // Русистика. 2021. Т. 19. № 3. С. 331–345. DOI: 10.22363/2618-8163-2021-19-3-331-345Laposhina, A.N., Lebedeva, M.YU. (2021) Textometr: an Online Tool for Automated Complexity Level Assessment of Texts for Russian Language Learners. Rusistika = Russian studies. Vol. 19, no. 3, pp. 331-345, doi: 10.22363/2618-8163-2021-19-3-331-345 (In Russ., abstract in Eng.).Нечаева Н.В., Хельмле К.С., Каирова Э.М. Перевод на ясный и / или простой языки как интралингвальный вид перевода и подготовка переводчиков // Вестник Волгоградского государственного университета. Серия 2, Языкознание. 2021. Т. 20. № 3. С. 99–108. DOI: 10.15688/jvolsu2.2021.3.9Nechaeva, N.V., Hel’mle, K.S., Kairova, E.M. (2021). Easyand Plain Language Translation as an Intralingualtype of Translation & Training the Intralingualtranslators. Vestnik Volgogradskogo gosudarstvennogo universiteta. Seriya 2, Yazykoznanie = Bulletin of Volgograd State University. Series 2, Yazykoznanie. Vol. 20, no. 3, pp. 99-108, doi: 10.15688/jvolsu2.2021.3.9 (in Russ., abstract in Eng.)Лотман Ю.М. Семиосфера. СПб.: Искусство-СПБ, 2000. 704 с. ISBN: 5-210-01488-6.Lotman, Yu.M. (2000). Semiosfera [Semiosphere]. Saint-Petersburg: Art-St. Petersburg, 704 p. ISBN: 5-210-01488-6. (In Russ.).Котюрова М.П. К трактовке модели «качество эталонного научного текста» // Вестник Тюменского государственного университета. Гуманитарные исследования. Humanitates. 2022. Т. 8. № 1(29). С. 6–18. DOI: 10.21684/2411-197X-2022-8-1-6-18Kotyurova, M.P. (2022). Interpretation of Quality of Model Scientific Text. Vestnik Tyumenskogo gosudarstvennogo universiteta. Gumanitarnye issledovaniya. Humanitates = Bulletin of the Tyumen State University. Humanitarian studies. Humanitatis. Vol. 8, no. 1 (29), pp. 6-18, doi: 10.21684/2411-197X-2022-8-1-6-18 (In Russ., abstract in Eng.).Шелестюк Е.В. Методика выявления количественных показателей истинности, информативности и информационной плотности текстов // Система языка: синхрония и диахрония: Межвузовский сборник научных статей. Уфа: РИЦ БашГУ, 2009. С. 151–156.Shelestyuk, E.V. (2009) [Methodology for Identifying Quantitative Indicators of the Truth, Informativeness and Information Density of Texts]. Sistema yazyka: sinhroniya i diahroniya: Mezhvuzovskij sbornik nauchnyh statej = Language System: Synchrony and Diachrony: Inter-university Collection of Scientific Articles. Ufa: RIC BASHGU. Pp. 151-156. (In Russ., abstract in Eng.).Das B., Majumder M., Phadikar S. et al. Automatic question generation and answer assessment: a survey. RPTEL. 2021. No. 16. Article no. 5. DOI: 10.1186/s41039-021-00151-1Das, B., Majumder, M., Phadikar, S. et al. (2021). Automatic Question Generation and Answer Assessment: A Survey. RPTEL. Vol. 16, no. 5, doi: 10.1186/s41039-021-00151-1Кожевников В.А., Сабинин О.Ю. Система автоматической проверки ответов на открытые вопросы на русском языке // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2018. Т. 11. № 3. С. 57–72. DOI: 10.18721/JCSTCS.11306Kozhevnikov, V.A., Sabinin, O.Yu. (2018). System of Automatic Verification of Answers to Open Questions in Russian. Nauchno-tekhnicheskie vedomosti Sankt-Peterburgskogo gosudarstvennogo politekhnicheskogo universiteta. Informatika. Telekommunikacii. Upravlenie = Scientific and Technical bulletin of St. Petersburg State Polytechnic University. Computer science. Telecommunications. Management. Vol. 11, no. 3, pp. 57-72, doi: 10.18721/JCSTCS.11306 (In Russ., abstract in Eng.).

The authors declare that there are no conflicts of interest present.