vovrВысшее образование в России (Vysshee obrazovanie v Rossii = Higher Education in Russia)Vysshee Obrazovanie v Rossii = Higher Education in Russia0869-36172072-0459Moscow Polytechnic University10.31992/0869-3617-2024-33-10-9-35vovr-5192Research ArticleСтатьиФормирование института независимой оценки высшего образования в Российской ФедерацииEstablishing the Institute of Independent Evaluation of Higher Education in the Russian FederationБолотовВ. А.BolotovV. A.

Виктор Александрович Болотов, д-р пед. наук, академик Российской Академии Образования, научный руководитель Центра

Центр мониторинга качества образования

101000; ул. Мясницкая, 20; Москва

Viktor A. Bolotov, Dr. Sci. (Pedagogical Sciences), Academician of the Russian Academy of Sciences, Scientific director of the Center

Center for Monitoring the Quality of Education

101000; 20 Myasnitskaya str.; Moscow

vbolotov@hse.ruhttps://orcid.org/0000-0003-1549-2944МотоваГ. Н.MotovaG. N.

Галина Николаевна Мотова, д-р пед. наук, директор

424000; ул. Волкова, 206А; Республика Марий Эл Йошкар-Ола

Galina N. Motova, Dr. Sci. (Pedagogical Sciences), Director

424000; 206A Volkova str.; Mari El Republic; Yoshkar-Ola

g.motova@ncpa.ruНаводновВ. Г.NavodnovV. G.

Владимир Григорьевич Наводнов,  д-р тех. наук, генеральный директор

424000;  ул. Волкова, 206А; Республика Марий Эл; Йошкар-Ола

Vladimir G. Navodnov, Dr. Sci. (Engineering Sciences), Professor, Director General

424000; 206A Volkova str.; Mari El Republic; Yoshkar-Ola

vgn8108@mail.ruНациональный исследовательский университет «Высшая школа экономики»РоссияNational Research University Higher School of EconomicsRussian FederationНациональный центр профессионально-общественной аккредитацииРоссияNational Center for Professional and Public AccreditationRussian FederationНациональный фонд поддержки инноваций в сфере образованияРоссияNational Foundation for Support of Innovations in EducationRussian Federation2024071120243310935Copyright © Болотов В.А., Мотова Г.Н., Наводнов В.Г., 20242024Болотов В.А., Мотова Г.Н., Наводнов В.Г.Bolotov V.A., Motova G.N., Navodnov V.G.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vovr.elpub.ru/jour/article/view/5192

   В работе представлены результаты поиска, систематизации и анализа данных о процессах независимой оценки высшего образования, сложившихся в стране в течение предыдущего десятилетия. Исследование проведено на основе систематизации механизмов оценивания, удовлетворяющих требованиям массовости, публичности и стабильности. Анализ состояния независимой оценки высшего образования свидетельствует о выявленных противоречиях действующей законодательной и нормативной базы с реальной практикой. Отмечено, что в настоящее время созданы отдельные механизмы такой оценки, но они требуют совершенствования, а также, в свою очередь, для самих механизмов оценки необходима внешняя независимая оценка с точки зрения их достоверности, добросовестности и доказательности. Показано, что из отдельных процедур оценивания, как элементов, формируется система (институт независимого оценивания), которая характеризуется целостностью, упорядоченностью, наличием определённых связей. Авторами предложена технология агрегации результатов описанных процедур оценивания с целью получения синергетического эффекта, по оценке всех учреждений высшего образования и образовательных программ страны. Полученные результаты исследования свидетельствуют о возможности их использования для внутренней и внешней оценки деятельности вуза и стратегического планирования развития как отдельной организации, так и системы высшего образования в целом.

   The paper presents the results of the search, systematization and analysis of independent higher education evaluation systems that have been developed in the country in the recent decade. The research has been carried out using standardised evaluation mechanisms that adhere to the criteria of mass scale, openness, and stability. The analysis of the independent evaluation of higher education’s present situation revealed certain inconsistencies between the legislative and regulatory framework and real practice. It should be emphasised that, while different processes have now been developed for this type of evaluation, they still require enhancement. The assessment mechanisms themselves need to undergo an external, independent evaluation to ensure their reliability, integrity, and trustworthy evidence. It has been indicated that independent evaluation procedures have jointly developed into a system: the institution of independent evaluation. This system is characterised by integrity, orderliness, and definite linkages. One may consider the aggregating technology of the aforementioned evalu-ations to be the synergistic outcome of the system’s establishment. In order to achieve a synergistic effect on the evaluation of all higher education institutions and educational programmes in the country, the authors suggest a method for aggregating the outcomes of the described evaluation procedures. The obtained research outcomes prove their applicability to the internal and external evaluation of a higher education institution’s performance and to the strategic planning of the development of both the institution and the higher education system.

независимая оценка качества образованиянезависимая (международнаяпрофессионально-общественная) аккредитацияоценка студенческих достиженийстуденческие олимпиады и конкурсымониторингибазы данныхглобальные и национальные рейтингиранжирование вузовагрегированные рейтингиметодика анализа лиг МетАЛигindependent evaluation of the quality of educationindependent (internationalpublic) accreditationglobal and national rankingsassessment of student achievementsstudent academic contestsmonitoringdata basesglobal and national rankingsranking of higher education institutionsaggregated rankingsmethods of league analysis MetALigReferencesHarvey L., Green D. Defining Quality // Assessment and Evaluation in Higher Education. 1993. Vol. 18. No. 1. P. 9–34. DOI: 10.1080/0260293930180102Harvey, L., Green, D. (1993). Defining Quality. Assessment and Evaluation in Higher Education. Vol. 18, no. 1, pp. 9-34, doi: 10.1080/0260293930180102Van Vught F.A., Westerheijden D.F. Towards a general model of quality assessment in higher education // Higher Education. 1994. No. 28(3). P. 355–371. DOI: 10.1007/BF01383722Van Vught, F.A., Westerheijden, D.F. (1994). Towards a general model of quality assessment in higher education. Higher Education. No. 28(3), pp. 355-371, doi: 10.1007/BF01383722Модельная методология многомерного ранжирования российских вузов/ И.В. Аржанова, М.Ю. Барышникова, В.М. Жураковский и др. // Вестник международных организаций: образование, наука, новая экономика. 2013. Т. 8. № 1. С. 8–30. EDN: PXFLOL.Arzhanova, I.V., Baryshnikova, M.Ju., Zhurakovskij, V.M., Zavarykina, L.V., Lazutina, I.V., et al. (2013). Model methodology for multidimensional ranking of Russian universities. Vestnik mezhdunarodnyh organizacij: obrazovanie, nauka, novaja jekonomika = International Organisations Research Journal. Vol. 8, no. 1, pp. 8-30. EDN: PXFLOL (accessed 23. 07. 2024). (In Russ., abstract in Eng.).Hosier M., Hoolash K.A. The effect of methodological variations on university rankings and associated decision-making and policy // Studies in Higher Education. 2019. Vol. 44. No. 1. P. 201-214. DOI: 10.1080/03075079.2017.1356282Hosier, M., Hoolash, K.A. (2019). The effect of methodological variations on university rankings and associated decision-making and policy. Studies in Higher Education. Vol. 44, no. 1, pp. 201-214, doi: 10.1080/03075079.2017.1356282Jung C.S., Toutkoushian R., Teicher U. University Rankings: Theoretical Basis, Methodology, and Impacts on Global Higher Education. New York: Springer, 2011. 218 p. DOI: 10.1007/978-94-007-1116-7Jung, C.S., Toutkoushian, R., Teicher, U. (2011). University Rankings: Theoretical Basis, Methodology, and Impacts on Global Higher Education. New York: Springer. 218 p., doi: 10.1007/978-94-007-1116-7Peters M.A. Global university rankings: Metrics, performance, governance // Educational Philosophy and Theory. 2019. Vol. 51. No. 1. P. 5–13. DOI: 10.1080/00131857.2017.1381472Peters, M.A. (2019). Global university rankings: Metrics, performance, governance. Educational Philosophy and Theory. Vol. 51, no. 1, pp. 5-13, doi: 10.1080/00131857.2017.1381472Рубин Ю.Б., Соболева Э.Ю. Независимость оценки качества высшего образования: критерии, принципы, реалии // Высшее образование в России. 2021. № 3. С. 26–42. DOI: 10.31992/0869-3617-2021-30-3-26-42Rubin, Ju.B., Soboleva, Je.Ju. (2021). Independence of higher education quality assessment: criteria, principles, realities. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 3, pp. 26-42, doi: 10.31992/0869-3617-2021-30-3-26-42 (In Russ., abstract in Eng.).Наводнов В.Г., Мотова Г.Н. Практика аккредитации в системе высшего образования России // Высшее образование в России. 2015. № 5. С. 12–20. EDN: TZFOMT.Navodnov, V.G., Motova, G.N. (2015). The practice of accreditation in the system of higher education in Russia. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 5, pp. 12-20. Available at: https://www.elibrary.ru/download/elibrary_23726822_63876626.pdf (accessed 23. 07. 2024). (In Russ., abstract in Eng.).Motova G., Navodnov V. Twenty years of accreditation in Russian higher education: lessons learnt // Higher Education Evaluation and Development. 2020. Vol. 14. No. 1. DOI: 10.1108/HEED-05-2019-0023Motova, G., Navodnov, V. (2020). Twenty years of accreditation in Russian higher education: lessons learnt. Higher Education Evaluation and Development. Vol. 14, no. 1, doi: 10.1108/HEED-05-2019-0023Меликян А.В. Статистический анализ динамики показателей деятельности российских вузов // Вопросы статистики. 2021. Т. 28. № 1. С. 38–49. DOI: 10.34023/2313-6383-2021-28-1-38-49Melikjan, A.V. (2021). Statistical analysis of the dynamics of performance indicators of Russian universities. Voprosy statistiki = Questions of Statistics. Vol. 28, no. 1, pp. 38-49, doi: 10.34023/2313-6383-2021-28-1-38-49 (In Russ., abstract in Eng.).Павлова Н.Г. Рейтинговая оценка деятельности организаций высшего образования России // Вестник науки и образования. 2021. № 13-3 (116). С. 4–7. EDN: CNNSOX.Pavlova, N.G. (2021). Rating assessment of the activities of higher education organizations in Russia. Vestnik nauki i obrazovanija = Bulletin of Science and Education. No. 13-3 (116), pp. 4-7, EDN: CNNSOX (In Russ., abstract in Eng.).Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG). URL: https://www.enqa.eu/wp-content/uploads/2015/11/ESG_2015.pdf (дата обращения: 25. 07. 2024).Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG). Available at: https://www.enqa.eu/wp-content/uploads/2015/11/ESG_2015.pdf (accessed: 25. 07. 2024).Сивински В. Академические рейтинги и перспективы их развития // Вопросы образования. 2017. № 1. С. 158–166. DOI: 10.17323/1814-9545-2017-1-158-166Sivinski, V. (2017). Academic rankings and prospects for their development. Voprosy obrazovanija = Educational Studies Moscow. No. 1, pp. 158-166, doi: 10.17323/1814-9545-2017-1-158-166 (In Russ., abstract in Eng.).Hauptman Komotar M. Discourses on quality and quality assurance in higher education from the perspective of global university rankings // Quality Assurance in Education. 2020. Vol. 28. No. 1. P. 78–88. DOI: 10.1108/QAE-05-2019-0055Hauptman, Komotar M. (2020). Discourses on quality and quality assurance in higher education from the perspective of global university rankings. Quality Assurance in Education. Vol. 28, no. 1, pp. 78-88, doi: 10.1108/QAE-05-2019-0055Angelis L., Bassiliades N., Manolopoulos Y. On the necessity of multiple university rankings // Journal of Scientometrics and Information Management. 2019. Vol. 13. No. 1. Р. 11–36. DOI: 10.1080/09737766.2018.1550043Angelis, L., Bassiliades, N., Manolopoulos, Y. (2019). On the necessity of multiple university rankings. Journal of Scientometrics and Information Management. Vol. 13, no. 1, pp. 11-36, doi: 10.1080/09737766.2018.1550043Marconi G., Ritzen J. Determinants of international university rankings scores // Applied Economics. 2015. Vol. 47. No. 57. P. 6211–6227. DOI: 10.1080/00036846.2015.1068921Marconi, G., Ritzen, J. (2015). Determinants of international university rankings scores. Applied Economics. Vol. 47, no. 57, pp. 6211-6227, doi: 10.1080/00036846.2015.1068921Балацкий Е.В. Российская практика оценки эффективности университетских программ // Общество и экономика. 2012. № 11. С. 68–84. EDN: PJCHPL.Balackij, E.V. (2012). Russian practice of evaluating the effectiveness of university programs. Obshhestvo i jekonomika = Society and Economy. No. 11, pp. 68-84. Available at: https://www.elibrary.ru/download/elibrary_18237371_82628915.pdf (accessed 23. 07. 2024). (In Russ., abstract in Eng.).Майер Н.С. Мониторинг эффективности ВУЗов: итоги и перспективы // Universum: психология и образование : электрон. научн. журн. 2018. № 4 (46). URL: https://7universum.com/ru/psy/archive/item/5712 (дата обращения: 25. 07. 2024).Majer, N.S. (2018). Monitoring the effectiveness of universities: results and prospects. Universum: psihologija i obrazovanie = Universum: Psychology and Education. No. 4(46). Available at: https://7universum.com/ru/psy/archive/item/5712 (accessed: 25. 07. 2024) (In Russ., abstract in Eng.).Прохоров С.Г., Свирина А.А., Чехонадских А.И. Мониторинг эффективности: инструмент сокращения или поиск точек роста? // Высшее образование в России. 2016. № 1(197). С. 63–68. DOI: 10.17323/1814-9545-2019-3-130-151Prokhorov, S.G., Svirina, A.A., Chekhonadskikh, A.I. (2016). Performance monitoring: a reduction tool or a search for growth points? Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 1(197), pp. 63-68, doi: 10.17323/1814-9545-2019-3-130-151 (In Russ., abstract in Eng.).Bolotov V., Motova G., Navodnov V. The Monitoring of Monitoring: What’s Wrong with the Ministry’s New Approach to Supervision of Effectiveness of Higher Education Institutions’ Performance? // University Management: Practice and Analysis. 2019. No 23(3). P. 5–13. DOI: 10.15826/umpa.2019.03.015Bolotov, V., Motova, G., Navodnov, V. (2019). The Monitoring of Monitoring: What’s Wrong with the Ministry’s New Approach to Supervision of Effectiveness of Higher Education Institutions’ Performance? Universitetskoe upravlenie: praktika i analiz = University Management: Practice and Analysis. No. 23(3), pp. 5-13, doi: 10.15826/umpa.2019.03.015Гайнутдинов М.М., Одинцова М.П. Независимая аккредитация в сфере высшего образования: ландшафт и дизайн // Университетское управление: практика и анализ. 2022. Т. 26. № 1. С. 102–116. DOI: 10.15826/umpa.2022.01.008Gajnutdinov, M.M., Odintsova, M.P. (2022). Independent accreditation in higher education: landscape and design. Universitetskoe upravlenie: praktika i analiz = University Management: Practice and Analysis. Vol. 26, no. 1, pp. 102-116, doi: 10.15826/umpa.2022.01.008 (In Russ., abstract in Eng.).Матвеева О.А. Развитие добровольной аккредитации образовательных программ в России // Высшее образование в России. 2019. № 7. С. 19–28. DOI: 0.31992/0869-3617-2019-28-7-19-28Matveeva, O.A. (2019). Development of voluntary accreditation of educational programs in Russia. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 7, pp. 19-28, doi: 0.31992/0869-3617-2019-28-7-19-28 (In Russ., abstract in Eng.).Губа К.С. Оценка качества высшего образования: Обзор международного опыта // Университетское управление: практика и анализ. 2019. № 23(3). С. 94–107. DOI: 10.15826/umpa.2019.03.022Guba, K.S. (2019). Higher Education Quality Assessment : A Review of International Experience. Universitetskoe upravlenie: praktika i analiz = University Management: Practice and Analysis. No. 23(3), pp. 94-107, doi: 10.15826/umpa.2019.03.022 (In Russ., abstract in Eng.).Каменева Е.А., Приходько Л.В. Система оценки качества высшего образования: Анализ мировой и российской практики // Менеджмент и бизнес администрирование. 2018. № 4. С. 112–124. EDN: YQHPVR.Kameneva, E.A., Prikhod’ko, L.V. (2018). Higher Education Quality Assessment System: Analysis of World and Russian Practice. Menedzhment i biznes administrirovanie = Management and Business Administration. No. 4, pp. 112-124. Available at: https://www.mba-journal.ru/archive/2018/4/ (accessed 23. 07. 2024). (In Russ., abstract in Eng.).Мотова Г.Н., Наводнов В.Г., Куклин В.Ж., Савельев Б.А. Системы аккредитации за рубежом. М.: Российский новый университет, 1998. 180 с. EDN: RUEDZP.Motova, G.N., Navodnov, V.G., Kuklin, V.Zh., Savel’ev, B.A. (1998). Accreditation Systems Abroad. Moscow: Rossiyskiy novyy universitet, 180 p. EDN: RUEDZP (In Russ.).Мотова Г.Н. Кому достанется флейта? // Аккредитация в образовании. 2013. № 6 (66), С. 14–19. EDN: ROMJWF.Motova, G.N. (2013). Who will get the flute? Akkreditacija v obrazovanii = Accreditation in Education. No. 6 (66). pp. 14-19. Available at: https://www.elibrary.ru/download/elibrary_20859863_36372353.pdf (accessed 23. 08. 2024). (In Russ., abstract in Eng.).Мотова Г.Н. Охранники или проводники? Новые требования для аккредитационных агентств по обеспечению качества образования // Высшее образование в России. 2020. Т. 29. № 6. С. 9–21. DOI: 10.31992/0869-3617-2020-6-9-21Motova, G.N. (2020). Guards or guides? New requirements for accreditation agencies to ensure the quality of education. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 29, no. 6, pp. 9-21, doi: 10.31992/0869-3617-2020-6-9-21 (In Russ., abstract in Eng.).Minina E. Quality revolution’ in post-Soviet education in Russia: From control to assurance? // Journal of Education Policy. 2017. No. 32(2). P. 176–197. DOI: 10.1080/02680939.2016.1250165Minina, E. (2017). Quality revolution’ in post-Soviet education in Russia: From control to assurance? Journal of Education Policy. No. 32(2), pp. 176-197, doi: 10.1080/02680939.2016.1250165Мотова Г.Н., Наводнов В.Г., Рыжакова О.Е. Методика «МетАЛиг» и ее применение для сравнительного анализа международных рейтингов и результатов российского Мониторинга эффективности деятельности вузов // Вопросы образования. 2019. № 3. С. 130–151. DOI: 10.17323/1814-9545-2019-3-130-151Motova, G.N., Navodnov, V.G., Ryzhakova, O.E. (2019). Methodology “MetALig” and its application for a comparative analysis of international rankings and the results of the Russian Monitoring of the effectiveness of universities. Voprosy obrazovanija = Educational Studies Moscow. No. 3, pp. 130-151, doi: 10.17323/1814-9545-2019-3-130-151 (In Russ., abstract in Eng.).Петровский А.Б. Теория принятия решений. М.: Академия, 2009. 400 с. ISBN 978-5-7695-5093-5. EDN: QJVOJZ.Petrovskiy, A.B. (2009). Decision Theory. Moscow: Publishing Centre “Akademija”, 400 p. ISBN 978-5-7695-5093-5. Available at: https://h.fractr.xyz/file/2169970/ (accessed 23. 07. 2024). (In Russ.).Болотов В.А., Мотова Г.Н., Наводнов В.Г. Глобальный агрегированный рейтинг вузов: российский след // Высшее образование в России. 2021. № 3. С. 9–25. DOI: 10.31992/0869-3617-2021-30-3-9-25Bolotov, V.A., Motova, G.N., Navodnov, V.G. (2021). Global Aggregate Ranking of Universities: Russian Track. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 3, pp. 9-25, doi: 10.31992/0869-3617-2021-30-3-9-25 (In Russ., abstract in Eng.).Болотов В.А., Мотова Г.Н., Наводнов В.Г., Рыжакова О.Е. Как сконструировать национальный агрегированный рейтинг? // Высшее образование в России. 2020. Т. 29. № 1. С. 9–24. DOI: 10.31992/0869-3617-2020-29-1--9-24Bolotov, V.A. Motova, G.N., Navodnov, V.G., Ryzhakova, O.E. (2020). How to construct a national aggregate rating? Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 29, no. 1, pp. 9-24, doi: 10.31992/0869-3617-2020-29-1--9-24 (In Russ., abstract in Eng.).Schwarz S., Westerheijden D.F. Accreditation in the Framework of Evaluation Activities: A Comparative Study in the European Higher Education Area // Accreditation and Evaluation in the European Higher Education Area. 2004. P. 1–41. DOI: 10.1007/978-1-4020-2797-0_1Schwarz, S., Westerheijden, D.F. (2004). Accreditation in the Framework of Evaluation Activities: A Comparative Study in the European Higher Education Area. Accreditation and Evaluation in the European Higher Education Area. pp. 1-41, doi: 10.1007/978-1-4020-2797-0_1

The authors declare that there are no conflicts of interest present.