NOVOMOR
добро пожаловоть на форум Новомор

О системах рейтингов университетов - познавательное исследование или почему наши ВУЗы "не котируются"

Перейти вниз

О системах рейтингов университетов - познавательное исследование или почему наши ВУЗы "не котируются"

Сообщение  Admin в Пн Май 21, 2012 4:38 pm

Источник:
http://www.strf.ru/material.aspx?CatalogId=703

Ольга Перфильева, директор Центра международных сопоставительных исследований ИМОМС НИУ ВШЭ:

....
системы, которые складываются и у нас в стране, и за рубежом, каким-то образом пытаются привести всё многообразие деятельности вузов в систему, по которой возможно сравнение университетов по той или иной деятельности. Наиболее распространёнными, «на слуху» сейчас являются системы глобальных рейтингов. Они критикуются. Тем не менее, их влияние на международном уровне не снижается.
....
Мы в рамках нашей работы в Центре международных сопоставительных исследований, в рамках конкретного проекта по разработке и апробации модельной методологии ранжирования российских университетов провели анализ существующих методологий ранжирования
Таким образом выглядит наша система тех методологий, которые подверглись анализу. Их всего 19. ... большинство представляют методологии одномерного ранжирования или рейтинги. .... их основная характеристика заключается в том, что они стремятся выстроить университеты в убывающем порядке: от университетов, которые в большей степени соответствуют тому или иному критерию качества, к тем, которые соответствуют требованиям в меньшей степени.

специфика всего многообразия методологии заключается в том, что – если, допустим ... агентство задаётся вопросом «построить рейтинг», то они должны исходить из классификации университетов, существующих на национальном или международном уровне. Классификация университетов ... позволяет потом строить как одномерное, так и многомерное ранжирование. В целом эти инструменты взаимосвязаны. Все исходят из некоторой системы: набора характеристик системы и их каталогизации.

Мы пришли к выводу, что есть основания для их горизонтального сравнения, несмотря на их различия.
Прежде всего, мы сравнивали структуру индикаторов, лежащую в основе той или иной системы ранжирования. Это, например, структура индикаторов оценки качества Шанхайского рейтинга ведущих мировых университетов.
Далее – структура ещё одного глобального рейтинга, Times High Education, который выполняется вместе с агентством Thomson Reuters.
.... у большинства глобальных одномерных ранжирований есть некоторая проблема смещения в ту или иную сторону оценки качества деятельности университетов. Например, в рейтинге THE в совокупном показателе индикаторов наблюдается смещение в сторону показателей оценки деятельности науки вузов.

... наоборот: в глобальном рейтинге QS идёт смещение в сторону оценки академической репутации вуза или качества обучения.
... вопрос сбалансированности показателей надо отметить. Это именно несбалансированность.

Смещение в ту или иную сторону всегда наводит критику на разработчиков систем глобальных ранжирований, несмотря на то, что Шанхайский рейтинг признаётся одним из наиболее надёжных в силу того, что использует надёжные и открытые в доступе индикаторы. Например, количество нобелевских лауреатов, преподающих в университете, количество публикаций в журнале “Science”. Никто не поспорит с тем, что это очень объективные показатели.
Тем не менее, происходит так: если университеты на мировом уровне не имеют тех или иных соответствий с требованиями этого рейтинга, они в этот рейтинг не попадают. Здесь уже идёт ограничение на вход и доступность этих систем.

Два предыдущих рейтинга, о которых я говорила (имеются в виду рейтинги QS и THE), более демократичны с точки зрения вхождения в эти системы глобального ранжирования. Но там тоже есть свои особенности. Например, одной из них является то, что в течение некоторого времени могут повторяться университеты-лидеры.

Если ежегодно публикуется рейтинг университетов, то по общим наблюдениям, идёт смещение в сторону англо-саксонской системы высшего образования. Лидерами стабильно являются университеты Великобритании и США. Но сейчас уже видна тенденция, согласно которой в рейтинге всё чаще и заметно фигурируют университеты азиатских стран. Это свидетельствует об общем изменении ландшафта географии мирового рынка высшего образования.

... я хотела бы остановиться подробнее на проблемах, которыми страдает методология одномерного ранжирования. Это проблема надёжности данных, в первую очередь.

Очень многие глобальные рейтинги опираются на т.н. «репутационные оценки». Этим индикаторам, данные для которых собираются с помощью репутационных оценок, придаётся наибольший вес. Если в рейтинге QS вес у этих индикаторов составляет 40 %, соответственно, здесь возникает вопрос: кто является экспертами, которые оценивают академическую репутацию университета? Какие вопросы задают экспертам, чтобы понять, из чего складывается академическая репутация?

Очень много таких вопросов, и не только применительно к конкретной методологии .... Если рейтингующее агентство опирается на репутационные исследования, это значит, что она заведомо обрекает себя на критику определённого рода, и ей необходимо будет парировать оную.

... большинство глобальных рейтингов ориентировано на оценку исходных характеристик университета – предположим, наличие среди профессорско-преподавательского состава нобелевских лауреатов или лауреатов других премий. Это исходная характеристика. Возможно, она частично свидетельствует о качестве результата, о подготовке студентов в этом университете, но не оценивает это напрямую.

Проблема методологии ... заключается в не всегда обоснованном приписывании весов тому или иному индикатору, который входит в систему оценки. Есть хороший пример: индикаторы международной деятельности оцениваются не очень высоко, т.е. вес этого индикатора не очень высок. Хотя если мы говорим о том, что формируется глобальное пространство высшего образования, и международная активность университетов становится одним из индикаторов, которые свидетельствуют о выходе университета на международный уровень, то странно, почему в некоторых системах вес индикаторов международной деятельности является не сильно высоким. Проблема доступности данных? В глобальных системах одномерного ранжирования это вообще ключевая проблема.

Если замахиваться на международный глобальный уровень, соответственно, нужно отдавать себе отчёт в том, где мы возьмём эти данные и как будем собирать их для построения рейтинга. Поскольку не все методологии транспарентны в отношении своих процедур, то возникает вопрос: «Как вы получаете эту информацию?».

мы свели результаты представленности российских вузов в основных глобальных рейтингах. О демократичности методологии и о восприятии российскими университетами этих требований: мы видим, например, что в QS российские вузы представлены наиболее широко. Поскольку US News и World Report основаны на методологии рейтинга QS, то и представленность некоторых университетов там достаточно отчётливо видна. Вот изображён разброс наших университетов по этим системам. Стабильными лидерами/представителями наших вузов в глобальных рейтингах являются два наших ведущих учреждения: Московский государственный и Санкт-Петербургский государственный университеты.

Admin
Admin

Сообщения : 399
Дата регистрации : 2012-05-12

Посмотреть профиль http://novomor.forum2x2.com

Вернуться к началу Перейти вниз

Альтернативные системы рейтингов ВУЗов.

Сообщение  Admin в Пн Май 21, 2012 4:50 pm

http://www.strf.ru/material.aspx?CatalogId=703

Ольга Перфильева, директор Центра международных сопоставительных исследований ИМОМС НИУ ВШЭ:

Какая альтернатива существует глобальным рейтингам, и существует ли она вообще? Да, она есть, причём применяется не только на национальном уровне, если мы берём разрез ЕС. Это уже региональный уровень, охватывающий 27 стран с различными проблемами внутри национальных систем высшего образования. Тем не менее, они пытаются проводить общеевропейскую политику в развитии высшего образования. Одной из недавних тенденций стало появление гибридных форм. Она началась достаточно давно, ещё задолго до того, как Европейская комиссия осуществила поддержку соответствующего проекта по созданию национальной методологии ранжирования “Multi Rang”.

Начал разработку многомерных ранжирований в 1994 году независимый немецкий институт по развитию высшего образования. статистики и социологи ... начали ... изучать национальную германскую систему высшего образования изнутри, с разных сторон ... пытаясь участь при этом потребности разных потребителей. На сегодняшний день система методологии национального многомерного ранжирования ... Сhe Rankings, представлена четырьмя основными моделями. Это
а) ранжирование университетов,
б) ранжирование исследовательских программ,
в) ранжирование программ для магистров и докторов,
г) рейтинг учебных заведений по уровню подготовки выпускников к рынку подготовки труда.

Каждая из этих моделей отвечает на определённые вопросы.

Первая модель оценки общеинституциональная. Т.е. надо понять, не какой университет лучше, а каким образом университеты в стране распределяются по определённому набору показателей не в иерархическом порядке, но в группах, которые являются лучшими, немного лучше или немного хуже. ...
Прежде всего, ... здесь ... имеет место ... сбалансированность используемых индикаторов для оценки деятельности университетов. Обеспечивается эта сбалансированность за счёт отказа от использования одного агрегированного индикатора.
Собирая информацию об университетах, разработчики этой методологии не ставят перед собой задачу – сделать один общий рейтинг вузов или образовательных программ впоследствии. Они стремятся показать это разнообразие, посмотреть, как университеты распределяются по различным группам.

При этом их ориентированность на потребителя, учёт интересов потребителя (прежде всего, абитуриентов и их родителей) – один из наиболее познавательных и привлекательных, потому что интерактивность этой базы данных признана надёжной. В академической среде это признаётся, как надёжная модель оценки качества деятельности университетов.

Сбор данных обеспечивается за счёт различных процедур: аудита, последующей перепроверки, взаимодействия с университетом перед тем, как данные будут опубликованы, и т.д. Постоянное обновление методологии происходит. Если какие-то изменения в методологии случаются, потребитель обязательно об этом информируется. Это необходимые элементы.

Admin
Admin

Сообщения : 399
Дата регистрации : 2012-05-12

Посмотреть профиль http://novomor.forum2x2.com

Вернуться к началу Перейти вниз

"Рейтинг рейтингов" - оценка оценщиков (методологий)

Сообщение  Admin в Пн Май 21, 2012 6:03 pm

... есть нечто, у всех методологий являющееся “must have” для оценки качества. ... Международное сообщество тоже задумывалось об этом многообразии, и как сделать так, чтобы предоставлять потребителям надёжные данные, адекватную информацию о том, что происходит в системе высшего образования.

В итоге были разработаны IREG Ranking Audit Rules (“Правила аудита рейтингов”) и критерии международной экспертной группы по определению ранжирований... по которым можно оценить (и оценивается) качество различных методологий, существующих сегодня. ... в экспертную группу здесь входят ведущие специалисты, очень известные люди – практики от своего дела. Например, туда входит руководитель группы разработчиков Шанхайского рейтинга, входят разработчики немецких ранжирований и т.д.

... эти критерии рекомендуют разработчикам различных методологий ранжирования .... Есть набор требований к методологии, к транспарентности и обеспечению оперативности предоставления данных, к обеспечению качества результатов и получению данных.

Мы в рамках ... своего проекта пытались понять ... какая из этих 19 методологий... соответствует критериям IREG. ... на своём экспертном уровне и с привлечением внешних экспертов мы старались оценить ... 19 методологий с точки зрения этих критериев по трёхбалльной шкале. ... наши методологии были оценены в соответствии или несоответствии тому или иному критерию IREG.

... в результате наших аналитических процедур и оценок получилось распределение, по которому максимально удовлетворяющим критерием качествам IREG являются методологии, сейчас находящиеся в стадии разработки. Т.е. европейский проект Multi Rang и EU Map – европейская классификация университетов. ... они, возможно, станут эталонами, на которые можно будет равняться/ориентироваться.
И если взять существующие немецкие многомерные методологии ранжирования – они удовлетворяют максимально требованиям IREG ... глобальные рейтинги, если мы посмотрим, занимают серединную позицию с точки зрения соответствия качеству!

... об основных характеристиках методологий, которые в максимальной степени удовлетворяют критериям IREG: это многомерное ранжирование. ... – несмотря на то, что они очень надёжные и отражают многообразие деятельности университетов, они ресурсоёмкие. ...даже на пилотном текущем этапе реализации проектов разработчики признаются, что это очень обременительно как для университетов, так и для тех, кто потом занимается подсчётом и выработкой итогового результата.
Но разработчики идут на это даже в ущерб тому, что они производят своё ранжирование не раз в год, а раз в три года. Тем самым они, во-первых, подогревают интерес потребителя к своему продукту.

Потребителем в данном случае является абитуриент. Он заинтересован в информации, которая признаётся надёжной, качественной. Он не готов ждать три года, чтобы понять, где он хочет учиться. ... есть свои сложности – например, проблема охвата всех предметных областей. ... система должна удовлетворять потребностям различных потребителей и вузов. ....

Основной интерес, конечно, происходит в качестве подготовки по каким-то конкретным (предметным) областям. Разработчикам крайне сложно сделать ранжирование по всем предметным областям. Как правило, здесь выбирается несколько приоритетных областей, и их количество через три года увеличивается. Сначала можно сделать ранжирование по экономике, менеджменту и медицине. На следующий год ... идёт диагностика, а какие ещё предметные области могут быть интересными здесь и сейчас.

... есть ... те элементы, которые характеризуют системы оценки качества деятельности университетов в международном масштабе. Их можно выделить 10.

Первое – чёткое определение целевой аудитории. Если это глобальный рейтинг, и там прописано конкретно: мы ориентированы на абитуриентов, оный рейтинг может использоваться абитуриентами. Впрочем, если он глобальный, в дальнейшем возникает интерес и у самих университетов, и у руководства – органов власти, ответственных за выработку политики в высшем образовании.

Определение целей ранжирования тоже очень важно. Что мы ранжируем? Уровень университетов? Или это образовательные программы для магистров или бакалавров?

Необходимо обеспечивать качество технологий ранжирования, надёжность используемых индикаторов, обеспечивать их необходимую релевантность, качество процедур сбора данных... иначе будет очень сложно достичь достоверности. Необходимо обеспечить транспарентность на всех этапах: от разработки методологии до публикации результатов.

Возможности для интерактивного использования? Да, потому что это интересно и даже занимательно, когда у тебя есть возможность выбрать – построить то ранжирование, которое соответствует твоим интересам. Т.е. ты задаёшь определённые условия, а система тебе потом автоматически выдаёт набор университетов и взаимодействие с целевыми группами.

Admin
Admin

Сообщения : 399
Дата регистрации : 2012-05-12

Посмотреть профиль http://novomor.forum2x2.com

Вернуться к началу Перейти вниз

Вхождение ВУЗов России в глобальные рейтинги. Национальные системы оценки ВУЗов.

Сообщение  Admin в Пн Май 21, 2012 6:08 pm


... Для российских университетов вхождение в глобальные или региональные рейтинги является одной из основных задач на ближайший кратковременный или долгосрочный период развития... количество отечественных университетов в глобальных рейтингов со временем будет только увеличиваться.

И программы развития уже учитывают те требования, которые есть в этих системах глобального ранжирования, и задачи на национальном уровне стоят серьёзные. Если мы берём, например, федеральный университет, перед ним стоит задача не только быть центром развития значимых в мировом масштабе научных направлений, но и вносить вклад в развитие региона.

... в рамках своего проекта по разработке и апробации отдельной методологии ранжирования мы предприняли попытку создания многомерного подхода к оценке деятельности наших вузов. ... мы вышли в полевую стадию. У нас закончился этап тестирования инструментария... сам инструментарий был существенно доработан и переработан.
Сегодня мы имеем систему индикаторов, распределённую по пяти основным направлениям. С нашей точки зрения (как и с точки зрения экспертного сообщества), она отражает многообразие задач и функций российских университетов. ...

Сейчас мы будем пытаться на выборке в 145 российских вузов апробировать эту методологию многомерного ранжирования. ... мы стремимся, чтобы на национальном уровне тоже появилась система, которая не обязательно бы выстраивала университеты «от лучших к худшим». ... мы можем говорить о том, что по нашей методологии может быть сформирована ... классификация российских университетов, внутри которой будет возможно построение ранжирований по пяти направлениям (как минимум) и рейтингов внутри направлений, если необходимо.
Мы не ставим перед собой цель «построить рейтинг». У нас задача – сделать более-менее справедливую систему для того, чтобы все желающие вузы могли поучаствовать в этом и представить себя в данной системе. ... задачи конкурентной борьбы и встраивания в конкурентную борьбу очень острые. Должны наличествовать инструменты, которые могут поспособствовать продвижению в этом направлении.

Admin
Admin

Сообщения : 399
Дата регистрации : 2012-05-12

Посмотреть профиль http://novomor.forum2x2.com

Вернуться к началу Перейти вниз

Комментарий: Андрей Белоцерковский

Сообщение  Admin в Пн Май 21, 2012 6:10 pm

Источник: http://www.strf.ru/material.aspx?CatalogId=703

вы привели разные рейтинги, и я могу сказать, почему в рейтинге QS много российских университетов. Причина очень простая. Когда мы обижаемся, что туда не попадаем, нечего на зеркало пенять. Разница в том, что почти все глобальные рейтинги основаны на наукометрических показателях. Их легче получить. и такая вещь, как публикация в “Nature”, везде имеет огромный вес. Но спроси у нашей Академии наук, является ли приоритетом публикация в журнале “Nature”? Академиком стать – да. Член-корром – да. А в “Nature”, да на фиг она нужна? Скажем, для международной практики масса грантов становится доступной, если есть хотя бы одна ссылка на “Nature”. Мы в разных условиях находимся. А вот QS – ведь этот Квакварелли (Quacquarelli Simonds) приезжал, и с ним был заключён договор. Виктор Антонович Садовничий инициировал этот контакт, он обижался, что Московский университет котируется низко и пригласил автора рейтинга сюда. Я при этом присутствовал. QS собрал информацию. А для других она недоступна – в сети не выкладывается, публикаций мало. Поэтому за счёт того, что вузы дали ему информацию, они оказались в рейтингах. Туда зачастую просто надо войти.

Admin
Admin

Сообщения : 399
Дата регистрации : 2012-05-12

Посмотреть профиль http://novomor.forum2x2.com

Вернуться к началу Перейти вниз

Re: О системах рейтингов университетов - познавательное исследование или почему наши ВУЗы "не котируются"

Сообщение  Спонсируемый контент


Спонсируемый контент


Вернуться к началу Перейти вниз

Вернуться к началу

- Похожие темы

 
Права доступа к этому форуму:
Вы не можете отвечать на сообщения