Original Material
Экспертиза: их и наша
Что чиновники говорят и делают для становления научной экспертизы в России, и какой она должна быть на самом деле? Этим и другим вопросам посвящена статья Павла Чеботарева, докт. физ.-мат. наук, г.н.с. Института проблем управления им. В.А. Трапезникова РАН, члена Общества научных работников.
Начиная с «черного четверга» 27 июня 2013 года, когда на свет явился разработанный в строжайшей тайне правительственный законопроект о ликвидации РАН, научное сообщество старается не допустить реализации катастрофического сценария, включающего распродажу недвижимости РАН, подчинение ученых чиновникам, закрытие множества институтов и полное уничтожение условий для научной работы в России.
Прошло полгода. Закон подписан в форме, близкой к исходной: институты оторваны от РАН и переподчинены «агентству» — ФАНО. Означает ли это окончательное поражение?
20 декабря, в День работника органов безопасности, подписав утром помилование Михаилу Ходорковскому, Владимир Путин проводит заседание Совета по науке и образованию, посвященное «шагам по дальнейшему развитию фундаментальных исследований в России». «Ключевой вещью» он называет невмешательство ФАНО в научную деятельность (и в руководство ею), подтверждает договоренность о годовом моратории на имущественные и кадровые изменения в РАН (правда, теперь упоминает лишь имущественные) и дважды подчеркивает, что не надо спешить отдавать даже то имущество Академии, которое сегодня не нужно для науки. «Потому что потом в интересах науки будет не получить [это], когда возникнет необходимость» [1].
Однако призыв к аккуратности в обращении с имуществом ровным счетом ни к чему не обязывает, особенно когда тут же говорится: «Что-то, наверное, можно передать, что-то реализовать». Обещания моратория тоже к делу не пришьешь. Владимир Фортов справедливо квалифицирует их как «устное мнение» и просит подкрепить его официальным поручением правительству о практической реализации моратория. Кроме того, он подчеркивает необходимость «четких записей», исключающих вмешательство ФАНО в сферу исследований. Он хорошо помнит разочарование после сентябрьских заверений президента о согласии со всеми предложенными РАН поправками в Закон, кроме одной второстепенной.
На момент написания статьи ни поручения правительству, о котором просил Фортов, ни итогового документа заседания Совета нет. И в целом нет доказательств отказа власти от грубого разрушительного сценария. Убаюкивающие речи должны не расслаблять, а обострять внимание к одновременно реализуемым практическим действиям чиновников. В то же время эти речи делают допустимым разговор уже не о научной катастрофе, а о результативности и эффективности. Тем самым на первый план выходит проблема адекватной оценки научных достижений.
Гимны экспертизе на заседании в Кремле
Если смотреть на данную проблему через призму оппозиции «числовые показатели -экспертиза», то бросается в глаза (и это может показаться неожиданным), что энтузиастов библиометрии и вообще формальных показателей результативности на заседании Совета совсем не было слышно.
О том, что «система [оценки эффективности институтов] должна максимально опираться, прежде всего, на экспертные оценки», говорят Дмитрий Ливанов (в кавычках приведены его слова), Владимир Фортов, Михаил Ковальчук, Андрей Фурсенко, Евгений Примаков и другие выступающие. «Никакие наукометрические показатели не могут заменить мнение специалиста» (Фурсенко), «Наукометрия есть дополнительный показатель гамбургского счета к глубоким экспертным оценкам» (Ковальчук), «У нас необходимо ввести экспертные критерии оценки научной работы» (Фортов) и т.д.
Причины, по которым участники дистанцируются от «общего увлечения» наукометрией, различны, но закон Гудхарта, гласящий, что числовой индикатор утрачивает свои свойства и разрушает естественные мотивы деятельности как только становится целевым показателем, похоже, приобрел уже статус common knowledge.
Выражая этот общий тренд, А. Фурсенко провозглашает: «Я предлагаю поручить правительству совместно с Российской академией наук разработать и утвердить в ближайшее время план работ по экспертному научному обеспечению всех значимых программ и проектов не только в области фундаментальных исследований, но и по другим видам деятельности, определяющим социально-экономическое развитие России».
Здесь возникает ощущение дежавю.
Дежавю
В середине 90-х много говорили о повышении роли экспертизы в государственном управлении. Была осознана необходимость принятия федерального закона об экспертизе и экспертной деятельности. Проекты закона были подготовлены, но закон не был принят [2].
Дмитрий Шмерлинг и Анна Вайнмахер в еще не опубликованной статье «Текущее состояние экспертной деятельности и экспертных оценок в государственном управлении» напоминают, что в ноябре 2001 года в Кремлевском Дворце съездов прошел Гражданский форум, где одним из центральных был вопрос о государственной, гражданской и общественной экспертизе [3]. И неудивительно, что среди поручений, которые по результатам Форума дал недавно избранный президент РФ В. Путин, снова была разработка Закона «Об экспертизе и экспертной деятельности в РФ». Проект Закона был снова разработан, но похоронен Минюстом России [4]. С тех пор общего закона об экспертной деятельности, заявления о необходимости которого слышатся регулярно [5] (см. также [6-9]), так и нет. Что мешает его принятию? Почему каждый раз на его пути встают непреодолимые административные барьеры?
Чиновник и экспертиза: любовь и страхи
Правдоподобное объяснение состоит в том, что экспертиза нужна чиновникам как красивый лозунг, а не как механизм с непредсказуемыми результатами. Публичная регламентация процедур экспертизы неизбежно приведет к их большей прозрачности, а значит, к плохой управляемости.
В сфере оценки научной деятельности эта закономерность проявляется достаточно наглядно. Выше уже приводились высказывания Д. Ливанова и А. Фурсен-ко о главенствующей роли профессиональной экспертизы. Но при переходе от парадных речей к повседневной практике картина меняется. Согласно Правилам оценки и мониторинга результативности, утвержденным правительством 1 ноября 2013 года [9], научные организации оцениваются по формальным критериям, а экспертиза предусмотрена лишь для «анализа» представленных организациями числовых данных и оценки деятельности подразделений тех институтов, которым грозит ликвидация.
Говоря попросту, Правила предписывают экспертам изучать столбики цифр, а не то, какие сотрудниками институтов сделаны открытия. Этот подход был подтвержден и на круглом столе по вопросам оценивания научных организаций, прошедшем в Минобрнауки 5 декабря 2013 года: по свидетельству очевидцев [11], «предложение об оценке экспертной комиссией не только «аутсайдеров», но и лидеров» не вызвало там энтузиазма разработчиков.
И вот что существенно: в Правилах экспертиза не только сужена до предела, но и вообще упоминается лишь вскользь — о ее регламентации не сказано ни слова (как, кстати, и о способе свертки полусотни численных показателей). Действительно, по логике чиновников надо «регламентировать» институты, чтобы они дисциплинированно собирали данные (и соответствующий приказ уже написан [12]), но зачем же лишать самих себя пространства маневра при принятии решений?
В силу такого положения вещей едва ли стоит ожидать, что славословия по поводу профессиональной экспертизы на декабрьском президентском Совете не сегодня-завтра приведут к переписыванию Правил оценки. «Двоемыслие» Д. Ливанова в этом вопросе (парадные речи — одно, практика — другое) абсолютно характерно, если не сказать «эталонно». Еще красноречивее, что опытный аппаратчик А. Фурсенко в приведенном выше «поручении» предлагает разработать не закон об экспертизе, а «план работ по экспертному научному обеспечению» всех значимых программ и проектов, определяющих социально-экономическое развитие России. Иначе говоря, есть желание планировать работы и выделять средства. А что-либо регламентировать желания нет.
Что такое экспертиза?
Экспертизу нужно определять предельно конкретно, считает Нина Беляева, один из разработчиков проекта закона об экспертизе 2002 года, зав. кафедрой публичной политики НИУ ВШЭ [4]. Только так можно отделить ее от смежных видов деятельности, требующих иного правового регулирования.
«Экспертиза — это установление соответствия предложенного образца нормативному образцу с использованием процедуры, которая утверждена нормативным актом» — вот ее выстраданное определение. Оно признаёт экспертизой далеко не каждое оценочное суждение, полученное от профессионала, а лишь проверку соответствия стандарту, выполненную по утвержденным правилам. Если стандартов нет, то их надо разработать, и это — важная часть экспертной работы (которую надо отличать от экспертизы в узком смысле). Впрочем, эта работа предполагает некую метаэкспертизу, т.к. система стандартов тоже должна удовлетворять определенным стандартам. Итак, снова процитируем Н. Беляеву: «Нормальная экспертиза очень жестко регулируется процедурно».
Мы не можем ждать милостей от…
В этом смысле то, что любят чиновники, — вообще не экспертиза.
Их любовь к «экспертизе» имеет две очевидные причины: лозунг о ней прекрасно звучит, а сама она легко профанируется. Если сделать экспертизу профессиональной, прозрачной и строго регламентированной, то половина очарования сразу пропадает. Значит, что бы власти ни говорили, ждать, что они «сделают нам» экспертизу, которая нам понравится, не приходится. А профанированная экспертиза, пожалуй, пострашнее и закона Гудхарта, и прочих пороков библиометрии. Поэтому выбор в пользу экспертизы осмыслен только когда есть гарантии обеспечения ее качества.
Отметим, что вопрос о том, кто и как организует экспертизу, — настолько основополагающий, что он вызвал на совещании в Кремле резкую полемику, нетипичную для подобных мероприятий. В. Фортов настаивает на экспертной монополии Академии. Он напоминает: «Законом о реформе и положением о ФАНО установлено, что именно РАН осуществляет мониторинг и оценку эффективности деятельности научных организаций независимо от их ведомственной принадлежности» [1]. Но, отмечает он далее, в противоречие с Законом, постановление Правительства от 1 ноября 2013 года возлагает эти функции на Минобрнауки России.
Д. Ливанов язвительно парирует: «Мы знаем опыт проведения оценки научных организаций самой Академии наук, когда в нее еще входили научные организации: 80% организаций были отнесены к тем, которые работают на мировом уровне. Мы знаем прекрасно, что… это далеко не так». В его версии главное условие качества экспертизы — ее независимость.
А вот вопрос «чьими силами проводить экспертизу?», в отличие от предыдущего, при обсуждении в таком собрании оказывается ритуально-риторическим. Здесь расхождения между оппонентами нет. Д. Ливанов: «Экспертное сообщество для оценки научных организаций будет обязательно формироваться с привлечением ведущих российских ученых, активно работающих в той или иной области науки». Далее он подчеркивает их «ключевую роль» в экспертизе. В. Фортов призывает полагаться на экспертные критерии оценки научной работы, разработанные самими учеными, «а высвобождающиеся десятки миллионов рублей направить на реальную науку, а не на пустое бумаготворчество».
Итак, власть и научные генералы поют гимны профессиональной экспертизе, но ровным счетом ничего не делают для ее становления. Как бы приглашая отечественных ученых самоорганизоваться и явить миру свою экспертную компетенцию. Мы помним из политологии, что чем острее конкуренция двух больших партий (в данном случае это Минобрнауки и РАН — Ливанов и Фортов), тем сильнее слышен голос граждан и тем большего может добиться третья сила, исходно не имевшая серьезного влияния.
Нужна самоорганизация
А что же сами ученые? С 2007 года силами энтузиастов развивается проект «Корпус экспертов по естественным наукам» [13], использующий для формирования экспертного сообщества как собственно экспертный, так и наукометрический подходы.
30 декабря 2013 года Комиссией общественного контроля за ходом и результатами реформ в сфере науки представлен проект Регламента профессиональной оценки научных организаций [14], опирающийся на подход «Корпуса экспертов». Проект обсуждался с 3 по 24 декабря; участники обсуждения, высказавшие ряд замечаний и предложений, в основном отмечали его высокое общее качество. Другие аналогичные разработки нам неизвестны.
В этой деятельности пока участвует совсем немного людей, и на данный момент определились контуры Регламента лишь для естественных наук. Даже для математики и информатики большую часть работы еще предстоит сделать, не говоря о других дисциплинах. Самая трудоемкая часть — формирование корпуса экспертов. Кроме точных наук, кое-что сделано здесь в области лингвистики.
Если ученые не представят хорошо разработанный проект, через год-другой В. Фортов и Д. Ливанов скажут примерно следующее: «Увас был шанс полноценно поучаствовать в оценке научных коллективов. Вы им не воспользовались. Мы, споря друг с другом, сделали это как умели. Для вас дверь была приоткрыта, но вы в нее не вошли. Теперь имеем то, что имеем».
Те, кто хотят участвовать в этой работе, могут связаться с разработчиками через сайт Комиссии общественного контроля — www.rascommission.ru.
Самоорганизация экспертного сообщества нужна, разумеется, не только для оценки институтов, но и для определения перспективных направлений развития науки, для формирования позиции ученых по всем существенным вопросам. Без этого мы обречены быть заложниками чужих интересов.
- http://state.kremlin.ru/council/6/news/19865
- http://parzefal.com/source/000382.pdf ; www.pressarchive.ru/ekonomika-i-jizn/1997/09/30/%20254893.html
- Д. Шмерлинг, А. Вайнмахер. Текущее состояние экспертной деятельности и экспертных оценок в государственном управлении // XV Апрельская международная научная конференция по проблемам развития экономики и общества. М.: НИУ ВШЭ. В печати.
- http://polit.ru/article/2002/12/16/611864
- www.hse.ru/data/2012/10/08/1247168533/ExpertisaProektovNPA.doc
- www.lawmix.ru/commlaw/126
- www.portalus.ru/modules/different/rus%20readme.php?subaction=showfull&Td=1271064962&archive=&start_from=&ucat=19&category=19
- http://salon.extech.ru/salon8/html/result.shtml
- www.sochi-pravo.ru/moi-stati.html
- http://pravo.gov.ru:8080/page.aspx?67047
- http://trv-science.ru/2013/12/24/i-vot-obshhestvennoe-mnene/
- http://regulation.gov.ru/get.php?view%20id=3&doc_id=23934
- http://expertcorps.ru/
- www.rascommission.ru/index.php/%20documents/statements/63-otsenka