Оригинал материала
Упорный штурм методических высот
Продолжаются министерско-академические игры по разработке методики оценки результативности деятельности научных учреждений. Свой ход сделала Академия.
20 апреля 2010 г. Президиум РАН принял решение о создании Комиссии по оценке результативности деятельности организаций РАН. Комиссия была создана «для анализа и оценки результатов деятельности научных организаций РАН в целях реализации постановления Правительства РФ от 8 апреля 2009 г. № 312 «Об оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» и в соответствии с Типовым положением о комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и Типовой методикой оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, утвержденными приказом Минобрнауки РФ от 14 октября 2009 г. № 406». Комиссии, руководителем которой был назначен вице-президент РАН, академик С.М. Алдошин, было поручено помимо прочего разработать методику оценки результативности деятельности научных организаций РАН.
Представительная комиссия свои предложения подготовила, проект был разослан по институтам и попал в Интернет [1]. Документ состоит из собственно методики оценки результативности деятельности научных организаций РАН и приложения к ней — показателей оценки результативности научных организаций РАН.
Собственно методика описывает порядок проведения оценки и перечисляет направления, по которым проводится оценка:
— актуальность и перспективность направлений научных исследований;
— научный потенциал и эффективность научных исследований;
— вовлеченность научной организации в национальное и мировое научно-образовательное сообщество;
— экспертная деятельность научной организации;
— коммерциализация результатов исследований и разработок;
— кадровый потенциал научной организации;
— инфраструктура научной организации и ресурсная обеспеченность научных направлений;
— состояние финансовой деятельности научной организации.
На основании оценки учреждения планируется разделить на три категории:
перовая категория — научные организации-лидеры;
вторая категория — стабильные научные организации, демонстрирующие удовлетворительную результативность;
третья категория — научные организации, утратившие научный профиль и перспективы развития.
Попавшие в последнюю группу учреждения могут быть подвергнуты реорганизации.
Дьявол, как известно, в деталях, и потому самая интересная часть этого документа — показатели оценки результативности научных организаций. «Интересный подход к делу» начинает проявляться прямо с первого направления оценки («Актуальность и перспективность направлений научных исследований, реализуемых научной организацией»). В его рамках предлагается оценивать не собственно результативность или перспективность работ, а «широту замаха» и ее соответствие текущим государственным приоритетам — по скольким приоритетным направлениям, критическим технологиям и т.д. ведутся исследования. Тут вспоминается старый анекдот. Мальчика спрашивают:
— Кто твой папа?
— Мой папа — научный сотрудник, кандидат наук.
— А чем он занимается?
— Папа пять лет работает над важной проблемой.
— А что будет, если он не сможет ее решить?
— Ему дадут другую важную проблему.
Сейчас папе из анекдота определенно имело бы смысл заниматься сразу несколькими важными проблемами по различным приоритетным направлениям и критическим технологиям.
Знакомство с показателями оценки по второму направлению — «Научный потенциал и эффективность научных исследований» — порождает еще больше вопросов. Мы узнаем, что, оказывается, общими характеристиками научного потенциала (пункт 2.1) являются объем работ и услуг, выполненных научной организацией, а также число «государственных и международных премий, призов, наград, почетных званий, полученных научной организацией или отдельными ее работниками», но не публикации сотрудников института и их цитируемость. Почему, к примеру, выполнение стандартных услуг или участие в мегалотах, распределяемых, как всем известно, исключительно на основании объективной и квалифицированной экспертизы, свидетельствует о высоком научном потенциале, а, скажем, высокая цитируемость статей сотрудников — нет, не ясно, но так решила высокая Комиссия.
Следующими пунктами идут «характеристика научного потенциала по научным направлениям», в который входят объем работ и услуг и информация о числе докторов и кандидатов наук, а также молодых исследователей по научным направлениям и «научные школы». И лишь затем, в разделе «Публикационная активность», предполагается учитывать научные публикации и цитируемость. Этот пункт (2.4) — настоящий шедевр бюрократической мысли: понять, каким органом руководствовались при его составлении, невозможно, очевидно только одно — это, определенно, не мозг. Приведу четыре первых показателя оценки.
Число публикаций работников научной организации, отнесенное к численности исследователей, в том числе:
— в зарубежных научно-технических изданиях;
— в отечественных изданиях, включенных в перечень ВАК Минобрнауки России.
Цитируемость публикаций работников научной организации в Российском индексе научного цитирования (РИНЦ).
Число публикаций работников научной организации в базах реферативной информации (Web of Science, Scopus, Medline, Metadex, Compendex, Pascal, Biosis и др.), отнесенное к численности исследователей.
Импакт-фактор публикаций работников научной организации.
Логика начинает хромать с первого показателя: почему, в отличие от всего, что было ранее, публикации учитываются для всего института, без разделения по направлениям? Неужели уважаемым членам комиссии не известно, что публикационная активность для разных направлений науки может заметно отличаться, и потому неразумно пользоваться общими усредненными показателями вместо показателей по каждому направлению. Впрочем, это цветочки, дальше логика перестает работать вообще: цитируемость предлагается учитывать с использованием РИНЦ, число публикаций — с использованием одной из нескольких баз данных, среди которых РИНЦ напрямую не назван, а откуда следует брать импакт-факторы, вообще не говорится. Только академик Алдошин знает, почему нельзя пользоваться одной и той же базой данных для получения сразу всех показателей — числа статей, импакт-факторов и индексов цитирования, что являлось бы методически корректным.
Еще большим абсурдом является само по себе использование РИНЦ как единственного источника информации о цитируемости работ. Причина проста: в рамках проекта РИНЦ систематически обработаны данные о пристатейных списках цитируемой литературы в тысяче с небольшим российских журналов за несколько последних лет, и к ним более-менее бессистемным образом добавлено еще что-то. Основная масса цитирований (в тысячах ведущих зарубежных журналов) исключена из рассмотрения, что автоматически делает РИНЦ негодным для работы инструментом. Контраст между данными РИНЦ и данными наиболее авторитетных баз данных по научным публикациям потрясает. Хорошо, если для высокоцитируемых ученых значения «нашего» и «ненашего» индекса различаются в 2-3 раза (более типичным является различие в 5-10 раз), но нередки и различия в десятки раз. Доходит и до совсем анекдотических вещей: к примеру, для известного физика-теоретика Д.И. Дьяконова значения индекса цитирования, полученные с использованием ISI Web of Knowledge и РИНЦ, различаются примерно в 1500 раз. Лучше уж никак не учитывать индекс цитирования при оценке, чем «учитывать» его таким вот образом.
Еще один пример крайней убогости РИНЦ в качестве наукометрического инструмента связан с подсчетом импакт-факторов журналов. В этом году РИНЦ опубликовал информацию об импакт-факторах РИНЦ за 2009 г. Как вы думаете, какой из российских научных журналов имеет наиболее высокий импакт-фактор, если следовать данным РИНЦ? Наивный читатель может предположить — «Успехи физических наук», «Успехи химических наук», «Письма в ЖЭТФ» … — и попадет пальцем в небо, поскольку лидером по импакту, согласно РИНЦ, является «Сибирский педагогический журнал», издаваемый Новосибирским государственным педагогическим университетом. Импакт-фактор этого журнала — 2.991 — превышает импакт-фактор любого из российских журналов по данным зарубежных баз научной информации.
Секрет заоблачного по российским понятиям значения импакт-фактора не имеет никакого отношения к научному ренессансу в педагогическом университете. Все просто: практически все ссылки на «Сибирский педагогический журнал» (около 100%) идут… из «Сибирского педагогического журнала». В этом журнале принято в конце каждой статьи вставлять несколько ссылок на более ранние статьи из него же, пусть даже они — что сплошь и рядом — не имеют никакого отношения к сути дела. Таким образом, речь идет об элементарном жульничестве — накрутке импакт-фактора. В любой приличной зарубежной базе данных журнал за подобную ловкость рук был бы «бит канделябрами» — его исключили бы из рассмотрения. Не таков РИНЦ.
Можно вернуться к дальнейшему обсуждению показателей оценки, но это уже не столь интересно. Достаточно отметить, что там много работы для коллекционеров курьезов и нелепостей. Так, в направлении 6 («Кадровый потенциал научной организации»), как и в направлении 2, снова идет речь о числе докторов и кандидатов, но только уже без разбиения по научным направлениям, и в это же направление 6 включен пункт «Условия и организация труда», в котором оценивается в том числе «количество осуществленных мероприятий по улучшению условий и охраны труда». Таким образом, количество проведенных инструктажей по технике безопасности, развешанных на стенах плакатов из серии «Не стой под стрелой», и распространенных методичек будет, по мнению Комиссии, улучшать кадровый потенциал организации.
Смеяться над этим методическим убожеством не хочется, поскольку такие бюрократические игры чреваты нешуточными выводами для институтов и — уж точно! — бессмысленной тратой уймы времени научных сотрудников на заполнение выморочных форм отчетности.
Приятные новости в плане оценки приходят к научным сотрудникам и со стороны Минобрнауки. Недавно было опубликовано объявление о втором туре конкурсов научно-образовательных центров в рамках ФЦП «Кадры» [2]. При работе над формой 4 заявки («Сведения о квалификации участника конкурса») министерские чиновники, стремясь перехватить пальму первенства у академических, предпочли окончательно пожертвовать здравым смыслом ради методической чистоты, попросив указывать для каждого участника коллектива НОЦ и число статей, и индекс цитирования строго по РИНЦ («Заполняется строго в соответствии с данными сайта elibrary.ru (раздел: Авторский указатель)»). Однако и они дрогнули, не смогли дойти до логического конца: в той же самой форме при указании наиболее значимых публикаций коллектива просят «указать импакт-фактор журнала и источник информации. Для журналов без импакт-фактора следует указывать 0», уже не требуя использовать РИНЦ. Так что простор для движения вперед еще есть.
Евгений Онищенко