Наталия Демина: Новый рейтинг вузов: опять мимо

Наталия Демина

3 октября 2012 года опубликован рейтинг университетов по версии еженедельника The Times Higher Education. В десятке лучших вузов мира произошли лишь небольшие подвижки, Гарвардский университет спустился на 4-е место, уступив Стэнфорду и Оксфорду. Калифорнийский институт технологий уже второй год держит уверенное первое место. МГУ из конца третьей сотни сдвинулся в ее начало (с 276-300 места на 201-225), а Санкт-Петербургский государственный университет покинул список 400 лучших вузов. В 2011 году он занимал 351-400 места. Эксперты отмечают неожиданное появление в списке лучших МИФИ, занявшего 226-250 места.

Публикация рейтинга университетов мира по версии THE завершает ранжирование ведущих мировых вузов в этом году. До этого 15 августа 2012 года были объявлены результаты Академического рейтинга университетов (Academic Ranking of World Universities, т.н. Шанхайского) за 2012 г., а в начале сентября публике стали доступны выводы составителей Всемирного рейтинга университетов — компании Quacquarelli Symonds (QS) (см. об этом в статье "Обидные рейтинги"). Стоит отметить, что по версии QS в деятельности СПбГУ не произошло существенных изменений к худшему (с 251 позиции университет за год сместился на 253 позицию), чуть хуже стал выглядеть и МГУ (с 112 на 116 позиции). Тем примечательнее разница в оценке этих вузов в рейтинге THE.

«У России смешанные показатели в этом году», — отмечает издатель рейтинга THE Фил Бэти (Phil Baty). — «Национальный флагман, Московский государственный университе, улучшил свое положение, поднявшись из группы 276-300 в 201-225, лишь немного уступив элитной 200-ке». Он сообщает, что МИФИ вошел в рейтинг на 226-250 место благодаря исключительному вкладу исследователей (цитируемости), в то время как СПбГУ вообще не вошел в 400 лучших, хотя был в прошлом году на 351-400 месте. «Одна из проблем университетов Центральной и Восточной Европы состоит в том, что они по настоящему не стали международными», — говорит в этой связи эксперт THE Филипп Альтбах (Philip Altbach). «Бюджеты остаются скромными, а наследие коммунизма продолжает сказываться на России и на всем этом регионе». В то же время, он подчеркивает, что «хорошо то, что инновационные лидеры университетов осознают необходимость перемен».

Комментируя успех МИФИ, его выпускник, автор ряда интересных публикаций о мировых рейтингах, прикладной математик из Великобритании Валерий Аджиев в своем блоге отметил, что «это, конечно, замечательно, что альма-матер так преуспела, но более пристальный взгляд привел меня в недоумение: по всем параметрам МИФИ оценен очень низко. А вот по "цитируемости" (которая дает 30% вклада в общий результат) не просто высоко — получена максимально возможная оценка ('100'), которой достиг (если мой беглый взгляд верен) еще только Rice University. Ни один из элитных университетов во главе списка такого успеха не добился! При этом, за исследования (тоже дающих 30%) из тех же 100 возможных у МИФИ всего лишь 10.6 (это очень низкий показатель)».

К этому он добавил, что у победителя Калтеха за исследования 99.4 баллов из 100 возможных, а за цитируемость — 99.7. В то же время у Оксфордского университета за исследования — 98.1, а за цитируемость — 95.6 из 100 возможных. Показатели МГУ выглядят явно скромнее 48.1 и 19.7 соответственно. У МИФИ же за исследования 10.6, а за цитируемость – 100. «Как можно быть лучшим в мире университетом по цитированию …и одним из худших в списке из 400 по исследовательской деятельности — совершенно непонятно», — подчеркивает Валерий Аджиев. Впрочем, физик из ИТЭФа Андрей Ростовцев считает, что это техническая ошибка составителей рейтинга, и он уже отправил запрос в издательство THE (о том, что ему ответили, читайте в P.S.).

С сайта рейтинга THE

Напомним, что рейтинг THE подсчитывается на основе 13 индикаторов, которые затем группируются по пяти категориям: «Преподавание» (образовательная среда, дает 30% общего балла), «Исследования» (30%), «Цитируемость» (30%), «Доход от промышленности» (инновации, дает 2.5%), «Университет в мировой перспективе» (количество преподавателей, студентов и публикации мирового уровня, 7.5%). Общая оценка МГУ получилась из оценки за образовательную среду в 63.5, «университет в мировой перспективе» — 50.3, инновации 70.1, исследования — 48.1 и цитируемость — 19.7. У МИФИ за образовательную среду — 20.9, за «мировую перспективу» 18.8, за инновации 59.6, за исследования — 10.6 и за цитируемость —100.

Составители рейтинга отмечают, что в этом году было проанализировано более 500 млн. цитирований в 6 млн. журнальных статей, опубликованных за последние 5 лет. Данные были получены из 12 тыс. академических журналов, проиндексированных в базе данных Web of Science, которую издает компания Thomson Reuters. В анализ были включены все публикации в журналах из этой базы за период с 2006 по 2011 годы.

Так выглядит десятка лучших вузов мира по рейтингу THE 2011-2012 и 2012-2013

	THE 2011	THE 2012
1	Калтех	Калтех
2	Гарвард	Стэнфорд
3	Стэнфорд	Оксфорд
4	Оксфорд	Гарвард
5	Принстон	Массачусетский технологический институт (MIT)
6	Кембридж	Принстон
7	Массачусетский технологический институт (MIT)	Кэмбридж
8	Imperial College London	Imperial College London
9	Чикагский	Калифорнийский (Беркли)
10	Калифорнийский (Беркли)	Чикагский

P.S. Физик Андрей Ростовцев получил ответ от издателей рейтинга. О том, что ему ответили, он сообщил в своем блоге:

"1. Это не технический сбой. У МИФИ есть две выдающиеся научные статьи, индексированные в базе данных WoS с индексами цитируемости в 3306 и 4916. Да, да никто не ошибся, хотя у Нобелевских лауреатов цитируемость на порядок ниже. Это справочники по элементарным частицам - Particle Data Group. По традиции справочник обновляется каждые два года и публикуется в журнале Phys Lett B. В состав группы, готовившей этот справочник к печати, в 2008 и 2010 годах входил сотрудник МИФИ. Но как же так получилось, спросите вы, ведь в группу PDG входят и представители других университетов, в частности, представитель Калтеха, занявшего первое место в рейтинге университетов? А показатель цитируемости у Калтеха ниже 100%. Где же справедливость?

2. Справедливость кроется в повышающих коэффициентах. Чтобы как-то уровнять разные страны, регионы и традиции Times вводит дополнительную нормировку для цитируемости научных работ. Действительно, средняя цитируемость статей американских университетов будет гораздо выше, чем средняя цитируемость статей университета из Анголы. Не потому что в Анголе плохие ученые, а просто потому что их статьи гораздо реже читают. По этой же причине для российских университетов Times вводит повышающий коэффициент. Опущу здесь подробности его вычисления, но в результате данные МИФИ были усилены относительно данных Калтеха в 1.44 раза. А поскольку и для МИФИ и для Калтеха эти справочники делают всю статистику и определяют показатели относительно других университетов, то имея в кармане гандикап в 44% МИФИ с легкостью обставляет более слабого противника и выходит на первое место по цитируемости научных результатов в мире.

3. МГУ повезло гораздо меньше - его сотрудники не попали в группу соавторов PDG. Поэтому по цитируемости своих научных работ Московский Университет еле дотягивает до 20%".

Дальнейшее расследование этой, ставшей почти детективной истории, читайте в материале "Создатели рейтинга университетов по версии Таймс объяснили успех МИФИ".

Примечание:

1. Комментарий составителей рейтинга уже на английском (цитируется по их ответу В. Аджиеву в Фейсбуке рейтинга THE).

"Regarding MEPHI’s high citation impact, there are two causes: Firstly they have a couple of extremely highly cited papers out of a very low volume of papers.The two extremely highly cited papers are skewing what would ordinarily be a very good normalized citation impact to an even higher level.

We also apply "regional modification" to the Normalized Citation Impact. This is an adjustment that we make to take into account the different citation cultures of each country (because of things like language and research policy). In the case of Russia, because the underlying citation impact of the country is low it means that Russian universities get a bit of a boost for the Normalized Citation Impact.

MEPHI is right on the boundary for meeting the minimum requirement for the THE World University Rankings, and for this reason was excluded from the rankings in previous years. There is still a big concern with the number of papers being so low and I think we may see MEPHI’s citation impact change considerably over time as the effect of the above mentioned 2 papers go out of the system (although there will probably be new ones come in)".