Пять лет работы «Корпуса экспертов». Промежуточные итоги

В 2007 году началась работа над созданием «Корпуса экспертов» – expertcorps.ru. Сейчас этот проект уже хорошо известен, а ученые, входящие в «Корпус», неоднократно приглашались для участия в анализе и оценке заявок на различных конкурсах. Мы задали несколько вопросов как основателям «Корпуса», так и коллегам, которые в разной степени помогали в осуществлении или обсуждении этой инициативы. Вопросы задавал Сергей Попов.

Отвечают Михаил Фейгельман и Галина Цирлина – участники рабочей группы проекта, осуществлявшие его координацию на протяжении всех пяти лет работы над «Корпусом экспертов».

— Главный итог проекта на настоящий момент. Почему стоило это делать?

— Главных итогов два.

1. Доказана готовность по крайней мере трети специалистов, заметных по публикациям, участвовать в заведомо неофициозной и не сулящей никакой скорой прибыли инициативе. Речь идет о рекомендателях, ответивших на анкеты (от 35 до 50%, в сильной зависимости от области деятельности). Это означает, что в сообществе есть потребность в нормальном профессиональном решении наших общих проблем, несмотря на многолетнее преобладание сугубо административных и часто конъюнктурных решений в области научной политики.

2. Возник инструмент, который можно предъявить при обсуждении конкретных экспертных схем/регламентов. Ранее в таких случаях все мы выражали разнообразные благие пожелания, но не имели возможности сразу доводить разговор до совершенно конкретных предложений. А это «сразу» довольно важно еще и потому, что местные «инстанции» обычно если и обращаются к научным работникам по таким вопросам, то за один-два дня до deadline. Да и безотносительно инстанций, даже просто наличие тщательно сделанного продукта заметно увеличивает вероятность его использования. Мы, конечно же, не утверждаем, что результаты проекта сами по себе позволяют решить какие-то проблемы организации, к примеру, конкурсного финансирования. Однако по крайней мере половина необходимой работы уже проделана (только для естественных наук, разумеется). Кроме экспертного сообщества в этих случаях нужны еще твердые и хорошо продуманные регламенты, а также условия для их соблюдения. По части регламентов и их апробации некоторые промежуточные итоги у проекта тоже есть, о них можно прочитать на нашем сайте.

— Ваш главный личный опыт, связанный с проектом. Например, самый контринтуитивный факт, с которым вы столкнулись в работе в рамках проекта.

— Назовем пока два таких факта.

1. Оказалось, что даже очень серьезные люди, научный вес которых очевиден без всяких индексов цитирования и «хиршей», часто придают большое значение этим показателям. То есть многие из них (далеко не все!) восприимчивы к довольно-таки варварской окружающей среде и принимают близко к сердцу всякую «злобу дня».

Это грустно, поскольку способствует поддержанию спортивно-соревновательного стиля, который нам всегда казался совершенно несовместимым с научной работой как таковой. Проект «Корпус экспертов» был задуман, в частности, и для того, чтобы противопоставить возможность прозрачного проведения содержательных оценок — абсолютизации формальных показателей, которые для науки могут играть лишь подчиненную, служебную роль. Однако проект неразрывно связан с открытыми списками «Кто есть кто в российской науке» (так как нужны пороги для выбора рекомендателей), и в последние три года значительная часть нашей работы состоит в поддержании и обновлении этих списков. Вот и отвечаем на «письма трудящихся» о том, почему «не так посчитали» или, еще хуже, «почему у соседа больше». Но, конечно, и по поводу формальных показателей бывают конструктивные и доброжелательные письма, которые снижают огорчение от борьбы некоторых других коллег за «цифирьки».

2. Есть более забавный опыт, связанный с разделением данных WoS для людей с распространенными фамилиями: вопреки интуитивным представлениям о статистике и вероятностях совпадений, однофамильцы с одинаковыми инициалами (а часто также с одинаковыми именами и отчествами) систематически оказываются работающими в довольно близких научных направлениях и в одних и тех же институтах. Оказалось, что Природа устроила всё так, чтобы предельно осложнить задачу точного подсчета наукометрических показателей. Это надо иметь в виду всем, читающим многочисленные «наукометрические отчеты», полученные вводом каких-либо имен в поисковую строку Web of Sciences или тем более иных подобных источников. В сложных случаях не спасают даже специализированные программные продукты. Попытки полной автоматизации сбора наукометрических данных обречены на провал.

Как собственно исследовательская работа ученого требует соблюдения массы выработанных за время развития науки правил проверки результатов, поиска собственных ошибок и т.п. — так и работа по изучению свойств массива научных публикаций и их авторов требует аналогичной аккуратности и понимания деталей. Однако этот стиль деятельности ныне не в моде. Нередко можно услышать примерно такое суждение: «Да, мы не можем сделать это хорошо, нам очень некогда, мы сделаем похуже, но быстро». Беда в том, что дискуссия при этом идет фактически не об уровне погрешности в 1 или 5% , что вполне можно было бы принять во многих случаях. На самом же деле речь часто идет о срочных поставках вместо реальной информации — простого вранья (вспоминается классическое: «осетрину завезли второй свежести»).

Если говорить о полученном опыте в более общем виде, то он безусловно положительный. Мы узнали о существовании значительного числа людей, которые ранее уже задумывались о структуре своих научных областей и «человеческом потенциале» в этих областях. У кого-то это связано с «прикладными» аспектами (с работой в журналах, экспертных советах РФФИ и т.п.), у кого-то просто есть интерес к структуре науки и взаимосвязи направлений. От этих людей мы получали большую помощь, особенно в вопросах классификации, и просто доброжелательную поддержку. Некоторые из них стали нашими постоянными консультантами.

— Каким бы вы хотели видеть развитие проекта?

— Если коротко — хотим видеть развитие плановым и стабильным. В некотором приближении всю историю проекта можно разделить на три этапа. В первые два года это был разбор завалов в самом буквальном смысле слова. Первые опросы происходили «широким фронтом», поскольку не была точно известна специализация рекомендателей — ведь в исходных списках «Кто есть кто» классификация была очень условной. На следующем этапе уже появилась более-менее внятная классификация, уже обозначились «пропущенные» в опросах области, появилась возможность организовывать дополнительное «прицельное» анкетирование с более четкой постановкой вопросов. На том же втором этапе решалась задача пополнения списков рекомендателей в тех областях знания, в которых они были заведомо кусочными. Это в первую очередь химия, науки о Земле, а также некоторые разделы биологии — для этих наук первые опросы имели скорее смысл дополнения списков рекомендателей. Мы сейчас сразу, как только нового человека называют в опросе, проверяем для него данные WoS — и если они выше пороговых, то человек становится рекомендателем. В указанных областях таких случаев было очень много, но сейчас численность списков «Кто есть кто» растет уже гораздо медленнее, т.е. ресурс явно исчерпан. Третий этап начался фактически в 2012 году: в базе данных собраны сведения о довольно репрезентативном «массиве» научных работников, и теперь можно детализировать их специализацию в рамках единой схемы, а значит, искать и находить экспертов уже прецизионно. На всех трех этапах мы искали и находили приложения для «Корпуса» — те или иные виды экспертной работы. В нее, конечно, были вовлечены не все эксперты, и всё это были локальные прецеденты, но без такой «пилотной» стадии было бы крайне легкомысленно предлагать создаваемый инструмент для более масштабных задач.

Итого, развитие проекта предполагает, на наш взгляд, три сбалансированных направления: расширение «Корпуса» (новые опросы), апробация «Корпуса» (экспертная работа) и аналитическая деятельность. Последняя очень важна для того, чтобы иметь независимые и методически выверенные сведения об эффективных научных коллективах, реальном рейтинге исследовательских институтов и вузов и т.п. Мы полагаем, что следует систематически публиковать методики и результаты независимого анализа; в некоторых случаях это даже может помочь удержать власти от особо безумных решений.

— В своих выступлениях вы неоднократно говорили о важности формирования сообщества. На ваш взгляд, какие мероприятия в рамках развития «Корпуса экспертов» могли бы этому помочь?

— Сейчас необходимы профильные обсуждения методик опросов, классификации и направлений аналитической работы с одновременным участием специалистов из разных разделов каждой естественнонаучной области. В обсуждениях этих нужно на порядок большее число участников, чем в имеющейся сейчас группе консультантов, — иначе можно пропустить много тонкостей. В уходящем году мы начинаем этот процесс с физики, представленной в базе данных проекта наиболее подробно, и надеемся, что третья, самая глубинная часть нашей «Карты ископаемых» — карта расположения наиболее эффективных лабораторий и групп — будет выстроена именно с участием сообщества. И очень важно, чтобы к этому подключились представители «младшего полусреднего» научного поколения — у них безусловно больше сил, да и преемственность необходима.

— Какая помощь проекту от научного сообщества была бы сейчас наиболее востребована?

— Есть два вида помощи, о которых мы просим постоянно.

1. Участие в обсуждении упомянутых выше проблем, в части классификации особенно. Например, сейчас мы начинаем медленно раскручивать разбор накопившихся в базе за пять лет ключевых слов, которыми рекомендатели определяли узкую специализацию — свою и рекомендуемых коллег. Если эти слова немного унифицировать и привязать (по возможности) к кодам классификатора, можно очень сильно упростить массовые экспертные процедуры в самой трудной их части — в части подбора экспертов для тех или иных проектов, облегчить таким образом задачу координаторов экспертиз. Одновременно это и «картографическая» работа, потому что «карта науки» — не только и не столько география, сколько распределение по видам и подвидам научной деятельности. К слову, многие «ответственные работники», судя по всему, полагают, что существует такое понятие, как «эксперт по физике». Возможно, это не их вина, но они отстали в этом заблуждении лет по меньшей мере на 50. Физика (как и остальные основные естественные науки) давно разделилась на множество областей и подобластей, и установление реальной структуры этого деления необходимо для организации любой осмысленной экспертизы. А с химией и науками о Земле еще сложнее, там гораздо меньше «связность» разных разделов и не существует общепринятых международных классификаторов по областям знания в целом (хотя есть неплохие примеры более частных классификаторов). И еще нам нужны консультанты-математики… но похоже, что им не очень нужен этот проект, уже пять лет никого найти не можем, кто согласился бы участвовать в проведении опроса.

2. Организационная помощь в уточнении сведений о людях, в устранении ошибок в списках «Кто есть кто». Некоторые сведения, которые очень нужны для корректной разметки данных WoS, можно систематическим образом добывать в институтах РАН и вузах. Мы признательны представителям ОНТИ ряда институтов, а также просто сотрудникам-энтузиастам, уже оказавшим проекту такую помощь. Хорошо бы иметь регулярное взаимодействие с организациями, сотрудников которых в базе и списках «Кто есть кто» много, — как минимум чтобы своевременно узнавать о долгосрочных перемещениях людей: сейчас происходит не только активная «утечка мозгов» (это — преимущественно среди молодых), но и возвращение ряда серьезных специалистов, особенно из старшей возрастной группы.

Ну, а кроме того, проекту нужна активная поддержка в его основной части, т.е. подробные и точные ответы на анкеты. Понятно, что все заняты своими рабочими делами, да и мы сами тоже не исключение. Но на полезное дело можно же найти иногда немного времени, правда?

Подробнее о принципах работы Корпуса экспертов и о достигнутых результатах можно почитать в статье на сайте УФН — http://ufn.ru/tribune/trib160512.pdf, а также в разделе «Публикации» на сайте проекта www.expertcorps.ru/science/publications.

Мнения экспертов

Отвечают ученые, содействовавшие созданию «Корпуса экспертов». Им было задано три вопроса:

1. Главный итог проекта на настоящий момент. Почему стоило это делать?
2. Ваш главный личный опыт, связанный с проектом.
3. Каким бы вы хотели видеть развитие проекта?

Владимир Фельдман, докт. хим. наук, профессор, зав. лабораторией химии высоких энергий Химического факультета МГУ

1. Мне трудно оценивать ситуацию в целом. Об этом лучше знают инициаторы проекта, которые провели огромную работу (в значительной мере — рутинную и невидимую). В любом случае это первая попытка отобрать экспертов, опираясь на мнение квалифицированного профильного сообщества (по правилам, а не «по понятиям»), и метод вполне адекватный -выборы с квалификационным порогом. Дальше идет, казалось бы, «техника»: как установить порог и как проводить выборы, но здесь-то как раз и возникают основные проблемы. Насколько я знаю, в некоторых областях физики «Корпус» уже реально работает. Гораздо сложнее получилось (или, скорее, пока не получилось) в других областях науки, в частности в химии (особенно в наиболее близкой мне области — условно «между химией и физикой»). Здесь пока рано говорить об итогах, но есть, на мой взгляд, промежуточный результат, имеющий самостоятельную ценность. Речь идет о попытке создать адекватные классификаторы — по существу, понять, как устроены разные области науки. Проблема это действительно сложная, не решаемая простыми формальными средствами (например, использованием рубрикатора журналов WoS или классификатора РФФИ). С ней неизбежно сталкиваются во всех случаях, когда хотят провести осмысленный отбор: будь то грантовый конкурс, попытка «картирования» (оценка потенциала научных групп) или экспертиза технологических проектов. Если на это не обращать должного внимания, искажения могут быть очень сильны и губительны для некоторых «научных территорий». В каких-то случаях, например при создании информационных систем или реализации «глобальных» политических инициатив типа «мегагрантов», это может быть не столь критично (не очень важно понимать, как устроена химия, если на нее выделен один «мегагрант», содержательного сравнения всё равно не получится). Но при проведении относительно массовых конкурсов (типа заявленного проекта «1000 лабораторий») классификатор может принципиально повлиять на результат. Еще больший риск неправильного отнесения связан с научной экспертизой затратных или потенциально опасных технологических проектов (а насколько я понимаю, «Корпус» задуман и для этой цели). Я надеюсь, что предварительная работа, проведенная в этом направлении, будет востребована независимо от судьбы конкретных подразделений КЭ.

2. Степень «атомизации» (разобщенности) научного сообщества в некоторых областях, выявленная в ходе выполнения проекта (конкретно я говорю о химии). Нельзя сказать, что это результат был для меня в принципе неожиданным — удивляет именно степень. Для меня это начало проявляться уже при попытке создания классификатора (выяснилось, что серьезно работающие и квалифицированные люди из разных подобластей химии просто понимают задачу классификации по-разному, говорят на «разных языках») и стало окончательно ясным, когда я узнал об обобщенных предварительных результатах первых опросов по химии. В самом деле, есть формально достаточно большое сообщество, вполне представительное по публикациям и цитированию, но никакого структурирования не получается: люди или не знают друг друга, или не хотят признавать. Простое лобовое деление (например, на «синтетиков» и «физхимиков») не слишком помогает, а может даже мешать. Разительный контраст с консолидированными, сплоченными сообществами (если я правильно понимаю, хороший пример — астрономы). Допускаю, что похожие проблемы стоят в некоторых других областях. В общем плане здесь возникает вопрос, насколько вообще адекватны наши традиционные представления о структуре современной науки, но это уже философия. В практическом плане это как раз упирается в адекватную классификацию и, вероятно, не решается в одну итерацию.

3. Во-первых, я не знаю, насколько у рабочей группы хватит сил трудиться в таком затратном режиме — это надо у них спросить. Во-вторых, очень важен реальный спрос на результаты. Вроде бы он уже есть для физиков. Но хотят ли этим воспользоваться организаторы конкурсов (как научных, так и технологических) в других областях — мне не совсем понятно. Собственно говоря, пока и пользоваться нечем — нужен достаточно большой и представительный массив людей, которым доверяют коллеги по цеху, причем хорошо классифицированный (т.е. разумно специализированный), а его нет. Поэтому мне кажется важной инициатива создания в рамках проекта «карты науки», но вопрос в том, как это будет сделано. Что касается метода «снежного кома», на мой взгляд, это очень разумно, но не универсально. И главная проблема не в порогах для первичных выборщиков, а именно в «атомизации». Можно, конечно, понизить порог числа рекомендаций с введением какого-нибудь антикорпоративного ограничения (рекомендующие — из разных организаций), но при этом, вероятно, возрастет роль случайного отбора (просто по активности респондентов). Можно попробовать включить дополнительные параметры (например, грантовую и экспертную «историю»), но это тоже не совсем очевидно, поскольку эта «история» у нас до сих пор часто формировалась весьма специфически (с большим весом «административного фактора»). Вообще, мне кажется, что в некоторых областях сейчас классификатор и «карта» важнее, чем заведомо неполный список фамилий. При этом, конечно, надо понимать, что включение в список «Корпуса» — вовсе не медаль (насколько я знаю, часть рекомендованных отказывается даже от публикации своих фамилий). «Корпус» будет признан, если это будет достаточно большая рабочая группа авторитетных и квалифицированных людей из разных областей с возможностью обновления, подразумевая, что им действительно придется работать и за результаты они будут отвечать своей репутацией. До этого еще очень далеко, но здесь поспешные решения вредны.

Владимир Шабаев, профессор, зав. кафедрой квантовой механики СПбГУ

1. В области физики это пока единственный открытый список экспертов, который с каждым годом всё больше и больше используется для проведения экспертиз по разным конкурсам. На мой взгляд, наиболее сильными сторонами этого проекта являются прозрачность процедур его формирования и, как следствие этого, высокий уровень доверия к самому списку экспертов. Квалификация тех, кто туда вошел, не вызывает сомнений. Разумеется, много достойных ученых пока остаются за рамками этого списка: кто-то просто отказался войти в список, а для некоторых направлений порог прохождения оказался, по-видимому, завышенным.

2. Два года назад я участвовал в разработке правил проведения конкурса научных проектов в СПбГУ. В таких случаях всегда возникает главный вопрос: кто и по каким правилам будет проводить экспертизу представленных заявок? Наличие списка «Корпуса экспертов» очень помогло сформулировать простые правила для экспертной группы, проводившей конкурс по физике: если в списке «Корпуса» имеются эксперты по тематике поданной на конкурс заявки, то в первую очередь заявка должна посылаться на рецензию именно этим экспертам. Если таковых в списке «Корпуса экспертов» нет или они отказались давать заключение на заявку, тогда экспертная группа обращается к другим экспертам.

3. Конечно, даже по физике список «Корпуса экспертов» далеко не полон, и его надо расширять. Так, например, по атомной физике в него попали только теоретики. Наверное, надо снижать пороги прохождения по числу рекомендаций для экспериментаторов и активнее привлекать русскоязычных ученых, работающих за рубежом. То есть надо проводить новые опросы ученых из списков «Кто есть кто в российской науке» и тех ученых, которые были названы в процессе предыдущего опроса. Проведение опросов совершенно необходимо, если мы хотим иметь пользующуюся доверием достаточно широкую базу российских экспертов. Использовать вместо этого, например, просто списки наиболее цитируемых ученых было бы, на мой взгляд, неправильно: далеко не всегда цитируемость отражает реальные экспертные возможности того или иного ученого. Таким образом, мне представляется крайне важным как расширение «Корпуса экспертов», так и дальнейшее продвижение его в качестве основной базы для проведения экспертиз по естественным наукам в России.