Блеск и нищета формальных критериев

Первые итоги работы нового Совета по грантам при Правительстве РФ комментирует его член, докт. техн. наук, зав. лабораторией управления сложными системами Института проблем машиноведения РАН, сопредседатель Общества научных работников Александр Фрадков.

В наш век падения авторитета науки в обществе вопросы рецензирования научных работ и экспертизы научных и технологических проектов приобретают особое значение. Когда большинство, в том числе и люди, принимающие решения, не понимают результатов деятельности ученых, возникает естественный вопрос: а зачем нужны эти ученые, зачем нужна наука вообще?

Осмелюсь предположить, что из немногих вариантов ответа особого внимания заслуживает следующий: наука есть способ сохранения в обществе понятий об истине и лжи, а ученые — люди, которые способны отличить истину от лжи в окружающей нас реальности. Сохранение такой группы людей в обществе, где ключевые слова «прогресс» и «мораль» вытеснены словом «интересы», важно, чтобы общество не потеряло стратегические и моральные ориентиры.

Но чтобы подобные уникальные качества касты ученых не обесценивались, понимание научной истины и морали внутри группы должно быть безупречным и очевидным для всех — иначе ученые потеряют доверие общества. Вот почему так важны понятность и безупречность процедур экспертизы — механизмов установления научной истины.

Проблемы критериев экспертизы обсуждаются на примере недавно завершенного конкурса на продление первой волны мегагрантов. Предполагалось продлить примерно половину из поданных заявок. Критерием успешности проекта было достижение основной цели: создать за два года лабораторию мирового уровня. Но по каким критериям определять, достигла ли лаборатория мирового уровня? Новый состав Совета по грантам при Правительстве РФ должен был выработать эти критерии и принять решение на их основе.

Отметим, что если прошлый состав Минобрнауки собирал Совет по грантам по статусному принципу и большинство в нем составляли академики РАН, то новый состав собирался совсем иначе. По академиям, вузам и общественным организациям было разослано письмо с предложением номинировать членов Совета. К кандидатам предъявлялось всего лишь два требования: наличие авторитета в мировом научном сообществе (публикации в ведущих международных журналах, приглашенные доклады на международных конференциях, членство в редколлегиях международных журналов за три последних года и т.п.) и отсутствие административного статуса: должности руководителя научного или образовательного учреждения или его зама.

Было подано около 200 предложений, из которых МОН отобрало 18, примерно соответствующих 20 областям наук, определенным условиями конкурса. Вместе с председателем (министром), заместителем председателя и представителем МОН они и составили новый Совет.

Неудивительно, что речь о критериях мирового уровня зашла на первом же заседании Совета. Удивительно то, что у собравшихся не было серьезных разногласий. Это важно, потому что предстояло оценить в сопоставимых терминах 37 поданных заявок на продление из 17 областей наук. В основу были положены простые критерии, обсуждавшиеся ранее на сайте Scientifc.ru. Эти же критерии использовались и при разработке рекомендаций экспертам для новой волны конкурса, поэтому подробнее о них позже.

Как соединить достоинства формальных показателей и экспертных оценок? Казалось бы, просто: каждую заявку оценивает множество независимых экспертов (в конкурсе мега-грантов два российских и два иностранных эксперта). Каждый эксперт ставит балл от 1 до 5 по каждому показателю, а затем баллы суммируются. Совету остается только упорядочить заявки по убыванию суммы баллов и выбрать для продления первые N заявок, где N определяется либо заданным числом победителей, либо заданным бюджетом конкурса. Однако формальный подход имеет целый ряд недостатков. Вот основные из них:

1. Никакой эксперт не может быть абсолютно объективным, его оценка имеет погрешность и отличается от истинной (предполагаем, что таковая существует). Значит, упорядочивание по баллам также отличается от истинного. Поэтому правильнее отобрать заявки «с запасом», т.е. имеющие не только «проходной» балл, но и «полупроходной», и «полупроходные» заявки рассматривать отдельно, анализируя оценки экспертов. При этом важно, чтобы полупроходная зона не содержала слишком много заявок, иначе не хватит времени на их детальное рассмотрение.

2. Еще более опасны погрешности, порожденные необъективностью отдельных экспертов. Мы столкнулись с несколькими случаями, когда трое из четверых экспертов дают примерно одинаковые суммы баллов, а оценка четвертого резко отличается. Причиной может быть конфликт интересов (четвертому выгодно/невыгодно ставить высокую оценку). Или наоборот: четвертый эксперт нашел ошибку или слабость заявки, которую не заметили остальные.

В обоих случаях требуется детальный анализ заявки одним или несколькими членами Совета, желательно до решающего заседания. Так всё и происходило. Члены Совета, заметив неоднозначность оценки, вникали в заключения всех экспертов, а иногда даже смотрели саму заявку, причем не только из «своей» области знаний. Дополнительную информацию давало мнение руководителя группы экспертов, играющего роль модератора и составляющего общее заключение по рецензиям четырех экспертов для всех проектов из данной области наук. Такое заключение может помочь Совету, но может и внести дополнительную погрешность.

Во всех спорных случаях члены Совета обращались к первичным формальным показателям заявки, прежде всего — к публикациям. Кроме уровня публикаций оценивалось место их выполнения: понятно, что, если большая часть работ была выполнена за рубежом, то мирового уровня достигла не российская лаборатория, а зарубежная. Наконец, важную роль играла развитость инфраструктуры созданной лаборатории. Перечисленные неформальные рассмотрения дополняли формальный показатель «сумма баллов экспертов» и позволяли снизить влияние недостатков, присущих формальной экспертизе. Для продления были отобраны 24 проекта, причем, чтобы уложиться в допустимый объем финансирования, сумму, выделяемую на каждый грант, пришлось уменьшили на 10%.

В ходе работы произошел следующий казус, поучительный для дискуссии о соотношении формальных показателей и экспертных оценок. Перед итоговым заседанием Совета аналитическая группа МОН подготовила ведомость оценок и заключений экспертов по каждой заявке на продление. Оценки выставлялись по 10 частным критериям, разбитым на две группы.

Первая группа оценивала значимость достигнутых результатов (6 критериев, в том числе соответствие результатов плану, уровень публикаций, уровень выступлений на конференциях, кадровый состав лаборатории), а вторая группа — перспективность дальнейших исследований по проекту (4 критерия, в том числе актуальность, достижимость целей и т.п.). Каждому частному критерию соответствовал вес, в котором значение критерия входит в итог.

В первой группе у первых двух критериев был вес по 30%, а у оставшихся — по 10%, а во второй группе веса всех частных критериев были по 25%. Далее, вклад первой группы умножался на 0,7, а вклад второй группы — на 0,3. На предыдущем заседании Совета веса обсуждались, менялись, а в одном случае даже голосовались. Так вот в первом варианте подготовленной ведомости оценок, разосланном членам Совета накануне, по недосмотру, все веса были взяты равными, и именно этот вариант использовался нами для анализа. Однако потом ошибка была устранена, и за 2-3 часа до заседания разослана исправленная ведомость, которая раздавалась и на самом заседании.

Курьез заключается в том, что изменение весов практически не повлияло на порядок расположения заявок в списке по убыванию рейтинга! Сами итоговые суммы, конечно, изменились, а вот порядок остался практически тем же, за исключением 2-3 «полупроходных» заявок, которые всё равно бы рассматривались на заседании. На мой взгляд, эта история подтверждает вывод, в котором я был убежден и раньше: если формальные критерии разумны, то и результат они дадут объективный, слабо зависящий от того, какой субъективный вес назначат им эксперты.

Параллельно с оценкой проектов на продление нам приходилось обсуждать и принимать правила и критерии для нового конкурса (третьей волны) мегагрантов. Здесь возникают те же проблемы, но, поскольку конкурс еще не начался, была возможность заранее принять меры, чтобы правила, по которым эксперты будут выставлять свои оценки (они лежат в диапазоне от 1 до 5), были сопоставимы для различных наук. Для этого было решено по каждому критерию выдать рекомендации, в каких случаях эксперт должен ставить высший балл. На первый взгляд, такая задача неразрешима: единые рекомендации для разных наук выдать нельзя. Судите сами, в какой мере мы справились с задачей.

Было установлено еще на прошлых конкурсах, что критерии оценки заявки делятся на три группы [1]:

1) уровень ведущего ученого (далее — ВУ);

2) уровень (качество) заявки;

3) уровень подготовленности принимающего коллектива.

Такое деление разумно, поскольку оно выделяет три ключевых, независимых друг от друга фактора успеха будущего проекта.

В первой группе три частных критерия:

1.1. Уровень научных публикаций. По нему оценку «5» предлагается ставить при обязательном выполнении двух условий:

1) ВУ за последние 3 года ежегодно публикует не менее 1-2 статей в ведущих международных журналах;

2) ВУ имеет индекс цитируемости или Н-индекс не менее 40% от показателей лидеров по данной области науки.Определение того, является ли журнал ведущим и какова цитиру-емость лидеров в данной области наук, полностью отдается на откуп экспертов. Для ориентировки экспертов мы предложили взять за основу список ведущих журналов, принятый при расчетах стимулирующих выплат в МГУ и содержащий верхние 25% журналов по импакт-фактору из числа индексированных Web of Science, а также все журналы из базы Thomson Reuters Arts & Humanities Citation Index [2].

1.2. Опыт ведущего ученого по руководству научным коллективом. Здесь оценка «5» ставится, если выполнены хотя бы 3 из следующих 4 требований:

1) ВУ создал хотя бы один международный научный коллектив и управлял его деятельностью в течение хотя бы 5 лет;

2) ВУ в течение не менее 5 лет руководил хотя бы одним международным грантом или проектом;

3) ВУ управлял деятельностью хотя бы одного национального научного коллектива в течение хотя бы 5 лет;

4) ВУ руководил хотя бы двумя крупными национальными грантами или проектами в течение не менее 5 лет.

1.3. Опыт и возможности ведущего ученого по подготовке научных и педагогических кадров. Оценка «5» ставится, если ВУ за последние 7 лет руководил не менее, чем тремя аспирантами (PhD students), два из которых успешно защитились.

Во второй группе четыре частных критерия:

2.1. Актуальность планируемых научных исследований;

2.2. Достижимость заявленных результатов в предложенные сроки и заявляемыми методами;

2.3. Соответствие запрашиваемого финансирования поставленным целям, качество проработки сметы проекта;

2.4. Перспективный облик лаборатории, создаваемой в организации в рамках проекта, через 3 года.

Здесь нам не удалось дать количественных рекомендаций, и они остались на качественном уровне, в том же виде как были предложены министерством [1].

В третьей группе пять критериев:

3.1. Публикационная активность коллектива участников заявляемого проекта;

3.2. Имеющаяся у коллектива участников заявляемого проекта научная инфраструктура;

3.3. Адекватность принимаемых организацией обязательств по созданию лаборатории;

3.4. Кадровый состав организации;

3.5. Роль лаборатории в решении задач организации по ее инновационному развитию.

Удалось квантифицировать только критерии 3.1 и 3.4, а именно:

По 3.1 оценка «5» ставится, если выполнены хотя бы 3 из следующих 4 требований:

1) коллектив за последние 3 года ежегодно публиковал не менее 4–6 статей в международных журналах;

2) коллектив за последние 3 года ежегодно представлял не менее 3–5 докладов на важнейших международных конференциях;

3) коллектив имеет в своем составе участников с индексом цитируемости или Н-индексом не менее 60% от показателей лидеров по данной области науки в России;

4) коллектив планирует за два года проекта иметь не менее 4-6 статей, опубликованных или принятых к печати в международных журналах, индексированных в Web of Science или Scopus, в том числе статьи в ведущих международных журналах.

По 3.4 оценка «5» ставится, если выполнены хотя бы 3 из следующих 4 требований:

1) наличие в составе коллектива не менее 20% молодых ученых и аспирантов;

2) наличие в составе коллектива не менее 30% участников, опубликовавших за последние 3 года не менее трех статей в международных журналах, индексированных в Web of Science или Scopus;

3) наличие в составе коллектива участников, имеющих опыт руководства грантами, государственными и хоздоговорными контрактами;

4) наличие в составе коллектива участника, имеющего опыт административного руководства научным коллективом (лабораторией, кафедрой).

Легко видеть, что критерии этой группы требуют, чтобы у принимающего коллектива был определенный уровень, чтобы передовые научные идеи, брошенные в эту почву, смогли взрастить лабораторию мирового уровня за 2-3 года. Конечно, далеко не каждый коллектив готов к решению такой задачи: у существенной части группы должен иметься хотя бы минимальный опыт работы на мировом уровне. Как сказал один из членов Совета по грантам: «Нельзя приглашать Гуса Хиддинка тренировать дворовую команду». Это мы и пытались формализовать, хотя бы частично.

После выставления всеми экспертами оценок они будут просуммированы с заранее зафиксированными коэффициентами и дадут формальный показатель качества (балл) заявки. Для принятия решения Совет будет рассматривать кроме этого числа еще рекомендацию руководителя группы экспертов по области наук, в сомнительных случаях обращаясь к самой заявке.

Подводя итог, хочется еще раз подчеркнуть, что для объективной экспертизы недостаточно использовать только формальные показатели, так же как недостаточно использовать и только экспертные оценки, причем во всех областях наук. В вечном споре о том, как правильнее решать — по формальным критериям или по экспертным оценкам, нет победителя. Первый опыт работы нового Совета по грантам это еще раз подтвердил.

На мой взгляд, правильное решение должно основываться на разумной комбинации обоих подходов. При этом важно, чтобы на последнем этапе решение принималось по возможности не голосованием, а консенсусом и слабо зависело от выбора коэффициентов на предыдущих этапах. Вопрос в том, удастся ли эти принципы реализовать, когда выбирать придется не из сорока, а из нескольких сот заявок. Ясно, что даже если рассматривать внимательно только «полупроходные» заявки, это потребует серьезных усилий и затрат времени членов Совета. Хочется надеяться, что Совет по грантам справится.

1. Порядок проведения конкурса мегагрантов (3-я волна) www.p220.ru/contest/2012/konkurs.ppt

2. Список топ-25% журналов по критерию импакт-фактора по версии Thomson Reuters http://istina.imec.msu.ru/statistics/journals/top/