Доказательный дизайн для оценки универсальных компетенций в высшем образовании: преимущества и особенности

Статья посвящена проблеме оценки универсальных компетенций, которые приобретают всё большее значение в условиях современных требований к выпускникам вузов. Рассматривается необходимость создания валидных и надёжных инструментов для измерения таких навыков, как критическое мышление, креативность, коммуникация и способность решать комплексные задачи. Приводится анализ доказательного дизайна, который предполагает интеграцию когнитивных теорий, инновационных образовательных технологий и психометрических моделей для достижения объективной оценки универсальных компетенций.

Особое внимание уделяется методу доказательной аргументации, который опирается на использование сценарных заданий, контекстуально приближённых к реальным жизненным и профессиональным ситуациям. Метод доказательной аргументации акцентирует внимание на построении валидного аргумента, который связывает наблюдаемые действия студентов с заявляемыми выводами об уровне их компетенций. Метод позволяет не только фиксировать проявления знаний и навыков в приближённых к реальной жизни ситуациях, но и структурировать процесс разработки инструментов таким образом, чтобы полученные эмпирические результаты можно было обосновать теоретически. Важную роль в доказательном подходе играет процесс построения аргумента на основе собранных доказательств, что отличает данный подход от традиционных методов, где акцент делается на статистических и психометрических характеристиках тестов. Изложение основ метода проводится на примере инструмента по оценке критического мышления студентов вузов CT Test, который обладает доказанным психометрическим качеством. Данный инструмент прошёл апробацию более чем на 10 000 студентов российских вузов.

В статье обосновывается, что внедрение инструментов, основанных на доказательном подходе, позволит значительно улучшить качество оценки универсальных компетенций у студентов, что делает данный подход перспективным для применения в образовательном процессе.

1. Разумова Т.О., Телешова И.Г. Трансформация системы высшего образования: вызовы и перспективы // Уровень жизни населения регионов России. 2023. Т. 19. № 3. С. 338– 349. DOI: 10.52180/1999-9836_2023_19_3_3_338_349

2. Care E., Kim H., Vista A., Anderson K. Education System Alignment for 21st Century Skills: Focus on Assessment. The Center for Universal Education at the Brookings Institution, 2018. URL: https://www.researchgate.net/publication/330740772_Education_system_alignment_for_21st_century_skills_Focus_on_assessment (дата обращения: 25.10.2024).

3. Mislevy R.J. Sociocognitive Foundations of Educational Measurement. Routledge, 2018. DOI: 10.1111/jedm.12255

4. Шмигирилова И.Б., Рванова А.С., Григоренко О.В. Оценивание в образовании: современные тенденции, проблемы и противоречия (обзор научных публикаций) // Образование и наука. 2021. Т. 23. № 6. С. 43–83. DOI: 10.17853/1994-5639-2021-6-43-83

5. Achtenhagen F. The curriculum-instructionassessment triad // Empirical Research in Vocational Education and Training. 2012. No. 4.P.5–25. DOI: 10.1007/BF03546504

6. Biggs J., Tang C. Teaching for Quality Learning at University: What the Student Does. New York: McGraw-Hill Education, 2011. 480 р. ISBN 10: 0335242758.

7. Mislevy R.J. Four Metaphors We Need to Understand Assessment. The Gordon Commission on the Future of Assessment in Education, 2013. 36 с. URL: https://www.ets.org/Media/Research/pdf/mislevy_four_metaphors_understand_assessment.pdf (дата обращения: 25.10.2024).

8. Pellegrino J.W., Chudowsky N., Glaser R. Knowing what students know: The science and design of educational assessment. Washington, DC: National Academy Press, 2001. URL: https:// www.researchgate.net/publication/270584995_Knowing_What_Students_Know_The_Science_and_Design_of_Educational_Assessment (дата обращения: 25.10.2024).

9. Lamri, J., Lubart T. Reconciling Hard Skills and Soft Skills in a Common Framework: The Generic Skills Component Approach // Journal of Intelligence. 2023. No. 11. Article no. 107. DOI: 10.3390/jintelligence11060107

10. Education for Life and Work: Developing transferable knowledge and skills in the 21st century: ed. by Pellegrino J.W., Hilton M.L. Washington, DC: National Academies Press, 2012. 256 p. DOI: 10.17226/13398

11. Shavelson R.J., Zlatkin-Troitschanskaia O., Mariño J.P. International performance assessment of learning in higher education (iPAL): Research and development // Assessment of Learning Outcomes in Higher Education. 2018. P.193–214. DOI: 10.1007/978-3-319-74338-7_10

12. McClelland D.C. Testing for competence rather than for “intelligence” // American Psychologist. American Psychological Association. 1973. Vol. 28. No. 1. P. 1–14. DOI: 10.1037/h0034092

13. Spencer L.M., Spencer S.M. Competence at Work: Models for Superior Performance. New York: John Wiley & Sons, 1993. ISBN: 0-47154809-х. URL: https://www.wiley.com/en-us/Competence+at+Work%3A+Models+for+Superior+Performance-p-9780471548096 (дата обращения: 25.10.2024).

14. Ercikan K., Oliveri M.E. In search of validity evidence in support of the interpretation and use of assessments of complex constructs: Discussion of research on assessing 21st century skills // Applied Measurement in Education. 2016. No. 29(4). P.310–318. DOI: 10.1080/08957347.2016.1209210

15. Zlatkin-Troitschanskaia O., Jitomirski J., Happ R., Molerov D., Schlax J., Kühling-Thees C., Förster M., Brückner S. Validating a test for measuring knowledge and understanding of economics among university students // Zeitschrift für Pädagogische Psychologie. 2019. No. 33 (2). P. 119–133. DOI: 10.1024/1010-0652/a000239

16. Shavelson R.J., Zlatkin-Troitschanskaia O., Beck K., Schmidt S., Mariño J.P. Assessment of university students’ critical thinking: Next generation performance assessment // International Journal of Testing. 2019. Vol. 19. No. 4. P. 337–362. DOI: 10.1080/15305058.2018.1543309

17. Messick S. The Interplay of Evidence and Consequences in the Validation of Performance Assessments // Educational Researcher. 1992. Vol. 23. No. 2. P. 13–23. DOI: 10.3102/0013189X023002013

18. Mislevy R.J. Evidence and inference in educational assessment // Psychometrika. 1994. Vol. 59. No. 4. P. 439–483. URL: http://www.springerlink.com/content/l6116h6652714714 (дата обращения: 12.10.2024).

19. Toulmin S.E. The Uses of Argument. Updated edition. Cambridge University Press, 2008. 247 p. DOI: 10.1017/cbo9780511840005

20. Mislevy R.J. Substance and Structure in Assessment Arguments // Law, Probability and Risk. 2003. No. 2. P. 237–258. DOI: 10.1093/lpr/2.4.237

21. Messick S. Validity // Educational Measurement: 3rd ed., ed. by R.L. Linn. New York: American Council on Education/Macmillan, 1989. P. 13–103. URL: https://psycnet.apa.org/record/1989-97348-002 (дата обращения: 25.10.2024).

22. Ferrara S., Lai E., Nichols P. Principled Approaches to Assessment Design, Development, and Implementation // The Handbook of Cognition and Assessment: Frameworks, Methodologies, and Applications. 2016. P. 41–74. DOI: 10.1002/9781118956588.ch3

23. Mislevy R.J., Almond R.G., Lukas J.F. A Brief Introduction to Evidence-centered Design. Princeton: Educational Testing Service, 2003. 37 p. URL: https://files.eric.ed.gov/fulltext/ED483399.pdf (дата обращения: 25.10.2024).

24. Угланова И.Л., Брун И.В., Васин Г.М. Методология Evidence-Centered Design для измерения комплексных психологических конструктов // Современная зарубежная психология. 2018. № 3 (7). C. 18–27. DOI: 10.17759/jmfp.2018070302

25. Ефремова Н.Ф. Приёмы доказательной аргументации оценки компетенций // Инновационная Наука: Психология, Педагогика, Дефектология. 2020. Т. 3. № 2. C. 112–124. EDN: UPOODB.

26. Uglanova I., Orel E., Gracheva D., Taraso- va K. Computer-based performance approach for critical thinking assessment in children // British Journal of Educational Psychology. 2023. Vol. 93. No. 2. P. 531–544. DOI: 10.1111/bjep.12576

27. Авдеева С.М., Руднев М.Г., Васин Г.М., Тарасова К.В., Панова Д. Оценка информационно-коммуникационной компетентности учащихся: подходы, инструмент, валидность и надёжность результатов // Вопросы образования. 2017. № 4. С. 104–132. DOI: 10.17323/1814-9545-2017-4-104-132

28. Авдеева С.М., Тарасова К.В. Об оценке цифровой грамотности: методология, концептуальная модель и инструмент измерения // Вопросы образования. 2023. № 2. С. 8–32. DOI: 10.17323/1814-9545-2023-2-8-32

29. Mislevy R.J., Behrens J., DiCerbo K.E., Le- vy R. Design and discovery in educational assessment: Evidence centered design, psychometrics, and data mining // Journal of Educational Data Mining. 2012. No. 4. P. 11–48. URL: http://www.educationaldatamining.org/JEDM/images/articles/vol4/issue1/MislevyEtAlVol4Issue1P11_48.pdf (дата обращения: 12.10.2024).

30. DiBello L.V., Roussos L.A., Stout W. Review of cognitively diagnostic assessment and a summary of psychometric models // Handbook of Statistics. 2007. No. 26. P. 979–1030. DOI: 10.1016/S0169-7161(06)26031-0

31. Tjoe H., de la Torre J. The identification and validation process of proportional reasoning attributes: An application of a cognitive diagnosis modeling framework // Mathematics Education Research Journal. 2014. No. 26. P. 237–255. DOI: 10.1007/s13394-013-0090-7

32. Тарасова К.В., Орёл Е.А. Измерение критического мышления студентов в открытой онлайн-среде: концептуальная рамка и типология заданий // Вопросы образования. 2022. № 3. С. 187–212. DOI: 10.17323/1814-95452022-3-187-212

33. Lai E.R. Critical Thinking: A Literature Review // Pearson’s Research Reports. 2011. No. 6. P. 40–41. URL: http://paluchja-zajecia.home.amu.edu.pl/seminarium_fakult/sem_f_krytyczne/Critical%20Thinking%20A%20Literature%20Review.pdf (дата обращения: 25.10.2024).

34. Liu O.L., Frankel L., Roohr K.C. Assessing Сritical Thinking in Higher Education: Current State and Directions for Next-Generation Assessment // ETS Research Report Series. 2014. No. 1. P. 1–23. DOI: 10.1002/ets2.12009

35. Riconscente M., Mislevy R., Hamel L. An introduction to PADI task templates // PADI Technical Report. 2005. Vol. 3. URL: https://padi.sri.com/downloads/TR3_Templates.pdf (дата обращения: 25.10.2024).

36. Mislevy R.J., Riconscente M.M., Rutstein D.W. Design patterns for assessing model-based reasoning // Large Scale Assessment Technical Report 6. Menlo Park, CA: SRI International, 2009. URL: http://ecd.sri.com/downloads/ECD_TR6_Model Based_Reasoning.pdf (дата обращения: 25.10.2024).

37. Zlatkin-Troitschanskaia O., Shavelson R.J. Advantages and Challenges of Performance Assessment of Student Learning in Higher Education // British Journal of Educational Psychology. 2019. Vol. 89. No. 3. P. 413–415. DOI: 10.1111/bjep.12314

38. Wang W.C., Su C.M., Qiu X.L. Item response models for local dependence among multiple ratings // Journal of Educational Measurement. 2014. Vol. 51. No. 3. P. 260–280. DOI: 10.1111/jedm.12045

39. Тарасова К.В., Грачева Д.А. Вычислительная психометрика: ближайшее будущее или уже реальность. Рецензия на книгу “Computational Psychometrics: New Methodologies for a New Generation of Digital Learning and Assessment“ // Вопросы образования. 2023. № 3. C. 221–230. DOI: 10.17323/vo-2023-17938

40. Andrews-Todd J., Forsyth C.M. Exploring Social and Cognitive Dimensions of Collaborative Problem Solving in an Open Online Simulation-Based Task // Computers in Human Behavior. 2020. Vol. 104. Article no. 105759. DOI: 10.1016/j.chb.2018.10.025

41. Almond R., Steinberg L., Mislevy R. Enhancing the design and delivery of assessment systems: A four-process architecture // Journal of Technology, Learning, and Assessment. 2002. Vol. 1.No. 5. URL: https://ejournals.bc.edu/index.php/jtla/article/view/1671 (дата обращения: 25.10.2024).

42. Грачева Д.А., Тарасова К.В. Подходы к разработке вариантов заданий сценарного типа в рамках метода доказательной аргументации // Отечественная и зарубежная педагогика. 2022. Т. 1. № 3. С. 83–97. DOI: 10.24412/2224-0772-2022-84-83-97

43. Yan D., Rupp A., Foltz P. The Handbook of Automated Scoring: Theory into Practice. CRC Press, 2020. ISBN: 9781351264808. DOI: 10.1201/9781351264808

44. De Klerk S., Eggen T.J.H.M., Veldkamp B.P. A Methodology for Applying Students’ Interactive Task Performance Scores from a Multimedia-based Performance Assessment in a Bayesian Network // Computers in Human Behavior. 2016. Vol. 60. I. C. P. 264–279. DOI: 10.1016/j.chb.2016.02.071

45. Mislevy, R. Sociocognitive and argumentation perspectives on psychometric modeling in educational assessment // Psychometrika. 2024. Vol. 89. No. 1. DOI: 10.1007/s11336-024-09966-5