vovrВысшее образование в России (Vysshee obrazovanie v Rossii = Higher Education in Russia)Vysshee Obrazovanie v Rossii = Higher Education in Russia0869-36172072-0459Moscow Polytechnic University10.31992/0869-3617-2020-6-136-143vovr-2303Research ArticleИНТЕРНАЦИОНАЛИЗАЦИЯ ОБРАЗОВАНИЯINTERNATIONALIZATION OF EDUCATIONВалидация тестовых заданий в условиях экспорта образованияTest Items Validation in the Context of Education ExportСеливановаИ. А.SelivanovaI. A.

Селиванова Ирина Анатольевна – д-р фарм. наук, проф.

Адрес: 119991 Москва, Трубецкая ул., 8, стр. 2

Irina A. Selivanova – Dr. Sci. (Pharmacy), Prof.

Address: 8, building 2, Trubetskaya str., Moscow, 119991

irinaselivanova@yandex.ruМарковинаИ. Ю.MarkovinaI. Yu.

Марковина Ирина Юрьевна – канд. филол. наук, проф.

Адрес: 119991 Москва, Трубецкая ул., 8, стр. 2 

Irina Yu. Markovina – Cand. Sci. (Phylology), Prof.

Address: 8, building 2, Trubetskaya str., Moscow, 119991 

irina_markovina@mail.ruИльясовИ. Р.IlyasovI. R.

Ильясов Игорь Равилевич – канд. фарм. наук, доцент. 

Адрес: 119991 Москва, Трубецкая ул., 8, стр. 2 

Igor R. Ilyasov – Cand. Sci. (Pharmacy), Assoc. Prof.

Address: 8, building 2, Trubetskaya str., Moscow, 119991 

igor@ilyasov.netЖевлаковаА. К.ZhevlakovaA. K.

Жевлакова Анастасия Константиновна  

Адрес: 119991 Москва, Трубецкая ул., 8, стр. 2 

Anastasia K. Zhevlakova

Address: 8, building 2, Trubetskaya str., Moscow, 119991 

azh-68@mail.ruТереховР. П.TerekhovR. P.

Терехов Роман Петрович  

Адрес: 119991 Москва, Трубецкая ул., 8, стр. 2 

Roman P. Terekhov

Address: 8, building 2, Trubetskaya str., Moscow, 119991 

r.p.terekhov@yandex.ruПервый МГМУ им. И.М. Сеченова Минздрава РоссииРоссияSechenov First Moscow State Medical UniversityRussian Federation202001072020296136143Copyright © Селиванова И.А., Марковина И.Ю., Ильясов И.Р., Жевлакова А.К., Терехов Р.П., 20202020Селиванова И.А., Марковина И.Ю., Ильясов И.Р., Жевлакова А.К., Терехов Р.П.Selivanova I.A., Markovina I.Y., Ilyasov I.R., Zhevlakova A.K., Terekhov R.P.This work is licensed under a Creative Commons Attribution 4.0 License.https://vovr.elpub.ru/jour/article/view/2303

В условиях экспорта российского образования востребованы специализированные оценочные средства для иностранных студентов. Тестовая форма педагогического контроля является важной составной частью оценочных средств и оптимально подходит для этой категории студентов. «Органическая химия» относится к базовым учебным дисциплинам фармацевтического образования и служит фундаментом для изучения многих профильных дисциплин. Цель исследования – разработать нормативно-ориентированную модель тестовой части промежуточной аттестации в письменной форме по дисциплине «Органическая химия» для студентов, обучающихся на английском языке по специальности 33.05.01 «Фармация» в соответствии с рекомендациями Ассоциации по медицинскому образованию в Европе – Association for Medical Education in Europe (AMEE). Базой для создания банка экзаменационных тестов был выбран интерактивный тестовый тренажёр по органической химии на английском языке «Organic Chemistry Test Simulator», разработанный в Сеченовском университете в рамках совместного проекта Института фармации и Института лингвистики и международной коммуникации. Анализ банка тестовых заданий проводили пять независимых экспертов – преподавателей органической химии. Усреднённые тайминг и проходной балл, определённые методом Ангоффа, составили 90 с и 64% соответственно. При формировании банка оценочных средств итогового тестирования 3% тестовых заданий были признаны нерелевантными, 22% – отправлены на доработку и модифицированы. Тестовые задания, характеризующиеся наибольшей содержательной валидностью, послужили основой для создания банка заданий, пригодных для тестирования на экзамене, общим числом 600 единиц. Предложен алгоритм моделирования тестового этапа экзамена. В каждый экзаменационный тест отобрано по 30 заданий, включающих три разных типа. Разработана стандартизованная нормативно-ориентированная модель варианта тестового этапа экзамена, валидированная по показателям релевантности и репрезентативности, оптимизированная по времени и проходному баллу.

It is necessary to develop special assessment tools for international students, which will comply with the principles of evidence-based education. This is especially important in the context of Russian higher education export. Multiple choice questions (MCQs) are an essential part of the assessment and are suited for assessing the knowledge level of international students. The “Organic chemistry” is a basic course for pharmaceutical students, which is necessary for the understanding of principal subjects. The study objective was to develop a normative-oriented model of the “Organic chemistry” MCQs based examination for international students (the specialty 33.05.01 “Pharmacy”) in accordance with the recommendations of the Association for Medical Education in Europe (AMEE). The previously developed interactive “Organic Chemistry Test Simulator”, created at the Sechenov University, was used as the basis for the examination MSQs bank. It was analyzed by five independent experts, who work as teachers of organic chemistry. The average timing and the cut score were determined by the Angoff method, 90 sec and 64%, respectively. Among analyzed MCQs the 3% were found irrelevant, 22% were recommended for revision and modernization. Valid MSCs (600 items) served as the basis for the creation of extended examination MSQs bank. An algorithm for modeling the “Organic chemistry” MCQs based examination was proposed. The standardized examination test has 30 MSQs of different types. The standardized normative-oriented model of the “Organic chemistry” MCQs based examination for international students (the specialty 33.05.01 “Pharmacy”) was validated in terms of relevance and representativeness, optimized in time and cut score.

экспорт образовательных услугдоказательное образованиеорганическая химиятестовый контрольвалидация заданийметод Ангоффатаймингполилингвальная образовательная средаexport of higher educationevidence based educationorganic chemistryAngoff methodmultiple choice questionsMSQs bankvalidationtimingmultilingual educational environmentПоддерживается «Проектом повышения конкурентоспособности ведущих российских университетов среди ведущих мировых научно-образовательных центров».The following funding is acknowledged: Russian Academic Excellence Project 5-100.ReferencesДе Вит Х. Эволюция мировых концепций, тенденций и вызовов в интернационализации высшего образования // Вопросы образования. 2019. № 2. С. 8–34. DOI: https://doi.org/10.17323/1814-9545-2019-2-8-34De Wit, H. (2019). Evolving Concepts, Trends, and Challenges in the Internationalization of Higher Education in the World. Voprosy obrazovaniya = Educational Studies Moscow. No. 2, pp. 8-34. DOI: https://doi.org/10.17323/1814-9545-2019-2-8-34Мариненко О.П. Роль преподавателя вуза в оказании помощи иностранным студентам // Высшее образование в России. 2019. № 4. С. 124–133. DOI: https://doi.org/10.31992/0869-3617-2019-28-4-124-133Marinenko, O.P. (2019). The Role of University Teachers in the Assistance to International Students. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 28, no. 4, pp. 124-133. DOI: https://doi.org/10.31992/0869-3617-2019-28-4-124-133 (In Russ., abstract in Eng.)Bousicot K., Etheridge L., Setna Z., Sturrock A., Ker J., Smee S., Sambandam E. Performance in assessment: consensus statement and recommendations from the Ottawa conference // Medical teacher. 2011. Vol. 33. No. 5. P. 370–383. DOI: https://doi.org/10.3109/0142159X.2011.565831Bousicot, K., Etheridge, L., Setna, z., Sturrock, A., Ker, J., Smee, S., Sambandam, E. (2011). Performance in Assessment: Consensus Statement and Recommendations from the Ottawa Conference. Medical teacher. Vol. 33, no. 5, pp. 370-383. DOI: https://doi.org/10.3109/0142159X.2011.565831Norcini J., McKinley D.W. Concepts in assessment including standard setting // Dent J.A., Harden R.M., Hunt D. (Eds). A Practical Guide for Medical Teachers, 5th edition, Beijing: Elsevier Health Sciences, 2017. Р. 252–259.Norcini, J., McKinley, D.W. (2017). Concepts in Assessment Including Standard Setting. In: J.A. Dent, R.M. Harden, D. Hunt (Eds). A Practical Guide for Medical Teachers. 5th edition, Beijing: Elsevier Health Sciences, pр. 252-259.Тюкавкина Н.А., Белобородов В.Л., Зурабян С.Э, Селиванова И.А., Лузин А.П., Артемьева Н.Н. Органическая химия: учебник. М.: ГЭОТАР-Медиа, 2015. 640 с.Tyukavkina, N.A., Beloborodov, V.L., zurabyan, S.E., Selivanova, I.A., Luzin, A.P., Artemyeva, N.N. (2015). Organicheskaya khimiya: uchebnik [Organic Chemistry: A Studentbook]. Moscow: GEOTAR-Media Publ., 640 p. (In Russ.)Beletskaya I.P., Lukasev N.V., Vatsadze S.Z., Nenajdenko V.G., Negrebetskii V.V., Baukov Yu.I., Belavin I.Yu., Butseeva A.A., Beloborodov V.L., Selivanova I.A., Il’yasov I.R., Nevskaya E.Yu., Sorokina E.A., Syrbu S.A., Usol’tseva N.V., Danilin A.A., Nechaeva O.N., Purygin P.P., Deryabina G.I., Aksenov A.V., Aksenova I.V., Ovcharov S.N., Gavrilova E.L., Uryadov V.G., Zakharov V.M., Sinyashin O.G., Klochkova I.N., Krylatova Ya.G., Skornyakov Yu.V., Ovchinnikov K.L., Kolobov A.V., Kustova T.P. Some problems of the teaching of organic chemistry in universities of Russia // Russian Journal of Organic Chemistry. 2017. Vol. 53. No. 10. Р. 1439–1496. DOI: https://doi.org/10.1134/S1070428017100013Beletskaya, I.P., Lukasev, N.V., Vatsadze, S.z., Nenajdenko, V.G.,Negrebetskii, V.V., Baukov, Yu.I., Belavin, I.Yu., Butseeva, A.A., Beloborodov, V.L., Selivanova, I.A., Il’yasov, I.R., Nevskaya, E.Yu., Sorokina, E.A., Syrbu, S.A., Usol’tseva, N.V., Danilin, A.A., Nechaeva, O.N., Purygin, P.P., Deryabina, G.I., Aksenov, A.V., Aksenova, I.V., Ovcharov, S.N., Gavrilova, E.L., Uryadov, V.G., zakharov, V.M., Sinyashin, O.G., Klochkova, I.N., Krylatova, Ya.G., Skornyakov, Yu.V., Ovchinnikov, K.L., Kolobov, A.V., Kustova, T.P. (2017). Some Problems of the Teaching of Organic Chemistry in Universities of Russia. Russian Journal of Organic Chemistry. Vol. 53, no. 10, pp 1439-1496. DOI: https://doi.org/10.1134/S1070428017100013Селиванова И.А., Марковина И.Ю., МакФарланд Дж., Белобородов В.Л., Терехов Р.П., Воронин К.С. Тестовый тренажёр как средство формирования полилингвальной образовательной среды // Фармация. 2017. № 8. С 49–52.Selivanova, I.A., Markovina, I.Yu., McFarland, J., Beloborodov, V.L., Terekhov, R.P., Voronin, K.S. (2017). A Test Simulator as a Means for Forming the Polylingual Educational Environment. Farmatsiya = Pharmacy. No. 8, pp. 49-52. (In Russ., abstract in Eng.)McKinley D.W., Norcini J.J. How to set standards on performance-based examinations: AMEE Guide No. 85 // Medical Teacher. 2014. Vol. 36. No. 2. Р. 97–100. DOI: https://doi.org/10.3109/0142159X.2013.853119McKinley, D.W., Norcini, J.J. (2014). How to Set Standards on Performance-Based Examinations: AMEE Guide No. 85. Medical Teacher. Vol. 36, no. 2, pp. 97-100. DOI: https://doi.org/10.3109/0142159X.2013.853119

The authors declare that there are no conflicts of interest present.