КРН им. И. Сусанина и ее защитники

Дискуссию вокруг «Карты российской науки», начатую в ТрВ-Наука № 143, продолжает полемическая статья докт. физ.-мат. наук, зам. директора Института теоретической физики им. Л.Д. Ландау РАН, профессора МФТИ, члена рабочей группы проекта «Корпус экспертов» Михаила Фейгельмана.

«Карта российской науки» предназначена для того, чтобы представить максимально полные данные об отдельных исследователях и научных институтах России, которые, в свою очередь, «могут быть использованы для оценки эффективности и конкурентоспособности российской науки, для принятия управленческих и финансовых решений в отношении научных организаций и коллективов, а также для разработки мер по дальнейшему развитию научной деятельности» (из заявки на конкурс, выигранный компанией «ПрайсвотерхаусКуперс Раша Б.В.»).

Интересное явление представляет собой дискуссия о «Карте российской науки» (далее — КРН), опубликованная в ТрВ-Наука, № 143 от 3 декабря 2013 года. При чтении материалов на эту тему (их довольно много) возникает ощущение примерно как от правительственного российского телевидения образца начала 2000-х годов. Нельзя сказать, чтобы совсем уж одна пропаганда, как это принято нынче. Однако же смещение акцентов с обсуждения реальности к не вполне понятным частным обстоятельствам — налицо. Соотношение объемов материалов «Pro et contra» (стр. 4-5) — примерно 3 к 1. У того читателя, который «с мороза», несомненно, создается впечатление, что прогрессивная научная общественность «в целом — за», а всякие замечания про огрехи и опечатки — это мелочи, ну конечно, у кого же их нет, разве только у тех, кто ничего не делает.

Я постараюсь показать, что в действительности КРН прямо подпадает под формулировку Михаила Булгакова о «так называемом вранье», причем весьма масштабном. Начну, однако, с почти ритуальной фразы из заявления Комиссии общественного контроля за ходом и результатами реформ в сфере науки: «Мы не отрицаем полезности самой идеи создания единой информационной системы для российской науки». Оказывается, к моему удивлению, есть люди, именно что отрицающие «саму эту идею». Иногда они даже довольно агрессивны. Однако ниже речь пойдет не об этих странных персонажах, а о благостных попытках примирить нас с неизбежностью вранья.

Среди множества комментариев на тему КРН выделяется своей основательностью опубликованная вот здесь [1] подборка важнейших ошибок «Карты», тщательно систематизированных археологом Ириной Сапрыкиной по поручению Комиссии. Рассмотрим сначала список, приведенный в начале текста (важен порядок перечисления!):

««Карта российской науки», представленная для открытого тестирования, вследствие неверной идеологической основы, принятой разработчиками, содержит следующие системные ошибки, для устранения которых требуется работа высококвалифицированных специалистов по анализу данных в течение длительного времени:

1. использование классификатора (рубрикатора) научных направлений, не применимого к действующим направлениям в российской науке;
2. произвольный отбор (группировка) научных учреждений по рубрикам;
3. отсутствие контроля по уровню случайных совпадений;
4. несоответствие числовых показателей реальным значениям (по численности состава научных учреждений, по количеству публикаций в WoS и РИНЦ, патентов, по индексу цитирования), ошибки при переносе операторами данных из одной базы в другую;
5. некорректный отбор «ведущих» учреждений или исследователей (числом всегда 5), построенный на использовании произвольных признаков, не имеющих друг с другом связи (либо данные по WoS, либо по РИНЦ, либо алфавитный порядок, либо рубрикатор и т.д.);
6. низкое качество технической поддержки сайта, зависимость его работы от браузера, отсутствие корреляции данных».

Мы еще вернемся к обсуждению этих ошибок, но сначала сравним их список с замечаниями, которые цитируют как «основные», и на которые отвечают О. Москалева и А. Цыганов в упомянутом номере ТрВ-Наука:

Ольга Москалева:

• несовпадение сведений о количестве публикаций ученого в WoS или РИНЦ с тем, что видно в «Карте науки», а также неверная «привязка» публикаций к ученым;
• неверные сведения об организациях в целом — количество сотрудников, количество академиков, докторов и т.д.;
• появление непрофильных научных направлений в сведениях об институтах.

Андрей Цыганов:

• разные сведения о количестве публикаций и цитирований ученого в WoS, РИНЦ и «Карте науки»;
• учет русской и переводной версии статей в личной карточке ученого;
• неверные сведения об организациях в целом, например количество и состав сотрудников;
• список всех, в том числе и непрофильных, научных направлений в сведениях об институтах и т.д. и т.п.

Как видно, госпожа Москалева и господин Цыганов выделяют в основном частные проявления единственной системной ошибки (п.4), игнорируя другие содержательные пункты. На последнем месте каждый из этих коллег упоминает обстоятельство, связанное с самой главной системной ошибкой (п.1), делая вид, что это одно из частных и исправимых замечаний.

Им удобнее отвечать на вопросы именно о частностях, причем делают они это в довольно общем виде. Главный ответ Ольги Москалевой на перечисленные ею претензии: «Все эти ошибки совершенно неизбежны и легко объяснимы». Это мне напоминает ответ очередного полицейского начальника на вопрос об очередном бесчинстве его подчиненных: «Общество у нас такое». Ассоциация эта не случайна: О. Москалева — член рабочей группы, сформированной Минобрнауки для решения методологических вопросов проекта. К этому мы еще вернемся. Весь комментарий О. Москалевой исходит из логики «отечественного товаропроизводителя» — не будем сравнивать товар с техзаданием на него, лучше объясним, почему в этом тяжелом климате ничего другого сделать было никак нельзя.

У Андрея Цыганова еще лучше: «Дело не в данных, а в правилах обработки и оценки информации…» Вдумайтесь, дамы и господа! Еще бы ладно, если бы это написал представитель артбогемы, а то ведь — доктор физ.-мат. наук и член ОНР. Хорошо еще, что не все члены ОНР используют такую логику: рядом имеется четкий комментарий геохимика Алексея Иванова, причем он куда короче (что не случайно) материалов цитированных выше членов рабочей группы.

Вернемся к сути. Если пунктов 1-6 слишком много для восприятия этими членами, обобщим их, указав три системные проблемы. Первая (и ключевая) сформулирована в п.1 выше: использование классификатора (рубрикатора) научных направлений, не применимого к действующим направлениям в российской науке. Добавлю от себя: не только к российской науке неприменима эта «классификация», но и вообще к науке.

Отвлечение исторического характера. Я участвовал в одном из первых публичных совещаний в Минобрнауки на тему «Карты российской науки» поздней осенью 2012 года. Совещание вел зам. министра Игорь Федюкин, участвовало примерно человек 30, из коих научных работников, представлявших естественные или технические науки, было не более пяти человек (включая академика РАН А. Хохлова). Обсуждение было весьма активным, основным докладчиком был представитель «ПрайсвотерхаусКуперс Раша Б.В.», на вопросы, обращенные к докладчику, отвечали либо И. Федюкин, либо С. Салихов.

Многократно поднимался вопрос о схеме классификации, которую предполагается использовать при создании «Карты». Многократно звучали разъяснения того очевидного (для научных работников) факта, что здесь нельзя использовать классификационную схему Web of Science, ибо она не для той цели предназначена (это классификация журналов, а не областей научных исследований). Ответы И. Федюкина сводились к обещаниям «учесть пожелания ученых».

В конце заседания было обещано подвести его итоги и разослать подробный протокол обсуждения. Этого не было сделано никогда, причем вполне сознательно (я сам напоминал устроителям
про обещанный протокол и получал в ответ министерские отписки по e-mail). Уже на этом этапе мне стало ясно, что руководители Минобрнауки запланировали не «обсуждение с научным сообществом», а имитацию такового обсуждения. План действий у них уже был готов, и обсуждений по существу он не предполагал. В результате именно это и получилось (см. комментарий А. Иванова).

Многие мои коллеги, последовав призыву участвовать в объявленном «обсуждении», приходили впоследствии на заседания в Минобрнауки, обнаруживали, что их собираются держать за «дураков в подкидном», и уходили. Это естественная реакция научных работников, занятых своим реальным делом. Можно отвлечься от него на время ради участия в важной общественной инициативе, но уж никак не ради имитации, контролируемой бюрократами.

Некорректная классификация научных дисциплин автоматически ведет к большей части фатальных для КРН последствий. В частности, с ней связаны и указанные в пп. 2 и 5 системные ошибки. Никакая активность отдельных научных работников по приведению в порядок данных об их собственных публикациях не может исправить исходных структурных пороков конструкции. На мой взгляд, призыв Совета ОНР «зарегистрироваться на сайте КРН, чтобы принять активное участие в тестировании проекта и в выработке предложений по его доработке» — это призыв к срочной переклейке обоев в квартирах дома, который построен в болоте на гнилом фундаменте.

Вторая проблема внятно указана в п. 3: в КРН отсутствует, как многими отмечалось, разделение однофамильцев — даже если оба инициала различаются. Объем возникающих при этом недоразумений таков, что никакая локальная правка по заявлениям научных работников (да еще в письменном виде и с печатью организации) неисполнима за разумное время. Заказчики и разработчики КРН, очевидно, ни разу не подумали о масштабе проблемы, решать которую взялись.

Не то чтобы эта проблема была непреодолима в принципе — скажем, она решена в базе «Корпуса экспертов», насчитывающей сейчас более 12 тысяч представителей естественнонаучных специальностей (сделано трудами пяти человек безо всякого бюджетного финансирования). Для решения такого рода проблем, как при подборе схемы классификации, необходим «системный подход» — то есть сначала крепко подумать, а потом делать. Но российским чиновникам думать некогда, они всегда «на пожаре» — только погорельцами оказываются потом не они.

Наконец, ошибки, указанные в «Основных замечаниях» пп. 4 и 6, ведут свое происхождение от третьей проблемы — присущего бюрократии глубокого и искреннего неуважения к людям, которыми она «руководит». Пункт 4 означает вот что: в базе РИНЦ по Вашей фамилии значатся, к примеру, 17 статей за такие-то пять лет, а в КРН сообщается, что по данным РИНЦ у Вас статей в этот период нет вовсе.

Советую перечитать предыдущую фразу еще раз, ибо с первого прочтения смысл ее может остаться недоступным. Что касается п. 6, то он Вам сообщает чистосердечно от имени заказчиков-разработчиков КРН: «Ну ты попробуй эту нашу чушь исправить, вот ты у нас и побегаешь, замучаешься пыль глотать».

Резюме: если и можно считать КРН картой, то лишь для целей очередного Ивана Сусанина, дабы ворогов наших в болота завести безвозвратно (а что и самим там же пропасть — так то не беда).

Каково же происхождение комментариев граждан из ученой среды, высказывающихся в духе цитированных выше О. Москалевой и А. Цыганова? Конечно, в реальности их заметно меньше, чем коллег, выражающих по поводу КРН разного рода возмущения и страхи, однако же пренебречь существованием этих «прогрессистов» было бы неверно. Рядовой представитель «российской научной общественности» нередко твердо знает, что начальство его учреждения занято черт знает чем, а если выше по начальственной иерархии пойти — только хуже окажется. Президиум РАН тоже немало постарался в этом отношении за последние двадцать лет. Рядовому представителю всё это надоело, он хочет, наконец, луча света в столь затхлом царстве. Чтобы не «чиновник решал» (как сказано у А. Цыганова в цитированном тексте), а как-то само, вероятно, на скатерти-самобранке всё образовывалось, и в самом лучшем виде. И тут начинается величественный проект «Карта российской науки». Начальники Минобрнауки приглашают научный люд большими толпами к дискуссиям, записывают их в «экспертные группы»… Честь оказана, внимание к трудовому народу проявлено, и на ум нейдет, что всё это — одно надувательство. «Ах, обмануть меня нетрудно, я сам обманываться рад».

Проходит время, люди потратили много дней/часов жизни на дискуссии, бессмысленности коих так и не осознали. Праздник подходит к концу — продукт коллективных трудов вынесен на божий свет и признан научным сообществом негодным к употреблению. И тут «корпоративная солидарность» создателей КРН оказалась в ряде случаев сильнее, чем общенаучная добросовестность.

На мой взгляд, есть простая и грубая реальность: «Карта российской науки» никуда не годится и исправлению при помощи поправок от отдельных ученых и даже целых институтов не подлежит. Вложенные в ее создание средства растрачены без всякой пользы, минимизировать бы вред. Как выяснилось на днях, просмотровый доступ к КРН закрыт. Однако проблема осталась: реальная карта научной местности в самом деле необходима для принятия осмысленных управленческих решений.

A priori не очевидно, следует ли для создания настоящей карты радикально переработать КРН или придется начинать с чистого листа. В любом случае, первым шагом должен быть честный и публичный анализ имеющегося «продукта», организованный не теми, кто участвовал в его создании. К такому анализу необходимо привлечь как научных работников различных специальностей, так и экспертов по созданию баз данных. И не надо аврала — хотя бы уже сейчас следует обойтись без спешки.

В заключение — поскольку номер газеты предновогодний — предлагаю тост: «Выпьем за мореплавателей и землепроходцев, ибо они знают, как важно иметь верные карты — и как трудно и интересно их создавать!»

1. www.rascommission.ru/index.php/documents/statements/57-zamechaniya-k-karte-rossiyskoy-nauk