Q1 не то, чем кажется
Как вы оцениваете вероятность того, что произвольная статья некоторого неизвестного вам ученого, проиндексированная в базе данных Scopus, опубликована в высокорейтинговом журнале (Q1)?
Если ваш ответ — 25% или меньше, то эта заметка специально для вас.
Все, кто в последние 15–20 лет публиковал научные статьи, как минимум слышали о квартилях журналов и о том, что самым престижным, так называемым высокорейтинговым, является первый (Q1). Квартили журналов в настоящее время выделяют по их импакт-фактору: 25% журналов с наивысшим импакт-фактором — Q1, 25% следующих за ними журналов — Q2, предпоследние и последние 25%, соответственно, обозначаются как Q3 и Q4.
Научные организации, фонды и вузы активно поощряют ученых публиковаться в высокорейтинговых журналах. К примеру, в системе «ИСТИНА», используемой в МГУ им. Ломоносова, за публикации в журналах из Q1 начисляется больше баллов, что помогает выигрывать в конкурсах на замещение должностей и повышает зарплатные бонусы. По правилам грантов РНФ с 2019 года такая публикация приравнивается к двум опубликованным в иных изданиях из списков Scopus и Web of Science (WoS).
Казалось бы, всё просто и понятно: в «элитных» журналах публикуются масштабные исследования, высокоточные данные, оригинальные и интересные идеи. Всё это должно материально поощряться, а ученый, опубликовавший статью в таком журнале, может гордиться своей работой. Впрочем, те ученые, статьи которых не пробиваются в журналы из Q1, могут не очень расстраиваться: ведь не быть в числе 25% лучших — еще не значит быть недостойным. Q2 — всё еще лучше, чем оставшиеся 50%, а журналы из Q3 и Q4 — всё еще серьезная рецензируемая научная периодика.
Но если посмотреть на используемые в данный момент квартили более внимательно, обнаружится несколько интересных закономерностей, которые, как показывает мой опыт общения с коллегами, имеющими разные ученые степени, звания и области специализации, ускользают почти от всех глаз. Чтобы показать эти закономерности, в своих дальнейших расчетах я использую статистические данные о научных журналах, входящих в базу данных Scimago [1].
Первое, что необходимо отметить относительно разбиения по квартилям 24 536 журналов, входящих в эту базу данных (исключая журналы, появившиеся в 2018 году и не имеющие импакт-фактора), — несоответствие Q1, Q2, Q3 и Q4 строгому определению квартилей. Имеется в виду, что в них входит не 25% от общего числа журналов (табл. 1). Всего в Q1 входит 29,6% журналов, во второй — 25,1%, в третий — 23,5%, а в четвертый — только 21,8%. Видимое несоответствие вызвано тем, что одни и те же журналы попадают в разные категории знаний, и если журнал хотя бы по одной из категорий попадает в верхние 25%, то его относят к Q1. Такая система позволяет нивелировать потенциальную междисциплинарную разницу в показателях цитируемости и в целом критично не влияет на распределение журналов по категориям.
При этом стоит отметить, что в нижние два квартиля входит множество журналов, которые по тем или иным причинам сложно назвать в полной мере научными. Опустим дискуссию о том, почему к серьезным научным журналам сложно отнести, к примеру, вестники разных российских вузов. Но можно обратить внимание, к примеру, на журнал The Economist [2], в котором за период с 2015 по 2018 год было опубликовано и учтено в системе Scopus [3] почти 12 тыс. статей, при этом само издание определяет себя как газета (newspaper).
Любопытно, что количество опубликованных статей, которое попадает в категорию Q1, очень сильно отличается от четверти и составляет 50,3% (рис. 1). Но даже если ограничить Q1 первыми 25% журналов от общего числа (табл. 1), на их долю всё еще будет приходиться около половины всех вышедших за последние три года научных статей — 48,1%. Большинство моих собеседников поначалу отказываются верить в эти цифры. Потом они предполагают, что я использовал выборку по какой-то специфической области знаний, а в области их специализации всё обстоит по-другому (см. табл. 2, где показано, что это не так). Но впоследствии они вынужденно соглашаются, когда проделывают эти нехитрые подсчеты самостоятельно и пропускают стадии гнева и депрессии, будучи образованными и интеллигентными людьми.
Заблуждение о проценте статей, публикуемых в журналах Q1, можно встретить даже в серьезных научных статьях о наукометрии [4], — следовательно, не только авторы, но и редакторы с рецензентами всерьез не задумывались над этим вопросом. Именно это и заставляет меня утверждать: Q1 не то, чем кажется. Почти все ученые полагают, что публикация статьи в журнале из Q1 — успех, хотя на самом деле, если какая-либо статья вообще была опубликована и проиндексирована в базе данных Scopus (за последние три года), то она с чуть большей вероятностью была опубликована в журнале из Q1, чем в журнале из Q2–Q4, даже с учетом вышеупомянутых ненаучных журналов [3]. Я, конечно, был не первым, кто об этом подумал и нашел это заслуживающим внимания [5] (и несколько расстроился, обнаружив потерю пальмы первенства).
Cui prodest?
Почему же существует настолько неравномерное распределение количества статей? Ответ почти очевиден: это всем выгодно. Для крупных издательств научные журналы представляют собой в первую очередь продукт, который можно продавать, и чем выше его статус, тем охотнее его покупают, а спрос рождает предложение. С точки зрения издательств, есть два пути увеличения количества публикуемого материала: (1) создание новых журналов и (2) увеличение объема статей в уже существующих. Первый путь куда более трудозатратный, так как «раскрутка» нового журнала займет минимум несколько лет, тогда как увеличение объема статей в уже существующем журнале принесет почти мгновенную отдачу. При этом дефицита научных статей не возникает, так как ученые тоже материально заинтересованы в публикации своих работ журналами из Q1. Эти данные позволяют мне выдвинуть гипотезу о том, что неравномерное распределение количества статей по квартилям вызвано (по крайней мере отчасти) самим разделением научных журналов на квартили по импакт-фактору. Одним из аргументов в пользу этой гипотезы является тот факт, что, к примеру, на рис. 1 можно увидеть точки перехода между разными квартилями, в которых меняется наклон кумулятивной кривой количества опубликованных статей.
Также интересно сравнить используемые в данный момент квартили, рассчитанные на основе количества журналов и их импакт-фактора, с квартилями, посчитанными непосредственно по кумулятивному количеству опубликованных статей и по их кумулятивной цитируемости (табл. 1, рис. 1). В первый квартиль по этим показателям входят 10,4% и 3,1% издаваемых журналов соответственно.
| Квартиль | Q1 | Q2 | Q3 | Q4 |
| — | Используемые квартили | |||
| Журналы (N) | 7265 | 6148 | 5774 | 5349 |
| % | 29,6 | 25,1 | 23,5 | 21,8 |
| Статьи (N) | 3 529 307 | 1 598 066 | 1 167 835 | 725 130 |
| % | 50,3 | 22,8 | 16,6 | 10,3 |
| — | Квартили по количеству журналов | |||
| Журналы (N) | 6134 | 6134 | 6134 | 6134 |
| % | 25,0 | 25,0 | 25,0 | 25,0 |
| Статьи (N) | 3 375 680 | 1 619 055 | 1 241 318 | 784 285 |
| % | 48,1 | 23,1 | 17,7 | 11,2 |
| — | Квартили по количеству статей | |||
| Журналы (N) | 2555 | 4476 | 6840 | 10665 |
| % | 10,4 | 18,2 | 27,9 | 43,5 |
| Статьи (N) | 1 755 085 | 1 755 085 | 1 755 085 | 1 755 085 |
| % | 25,0 | 25,0 | 25,0 | 25,0 |
| — | Квартили по количеству цитирований | |||
| Журналы (N) | 767 | 1504 | 2758 | 19507 |
| % | 3,1 | 6,1 | 11,2 | 79,5 |
| Статьи (N) | 532 785 | 1 015 117 | 1 440 365 | 4 032 071 |
| % | 7,6 | 14,5 | 20,5 | 57,4 |
Табл. 1. Возможные подходы к выделению квартилей
На мой личный взгляд, наиболее интересной закономерностью в этих расчетах является то, что первые три квартиля по кумулятивной цитируемости (то есть 75% цитирований в научной литературе с 2015 по 2018 год приходилось на статьи в этих журналах) составляют 21,5% всех опубликованных статей, что почти идеально соответствует принципу Парето.
От пересмотра квартилей сумма не меняется
А что будет, если мы рассмотрим только журналы, входящие в более требовательную к качеству базу данных WoS? За счет исключения газет и журналов, которые вызывают сомнения в соответствии идеалам научности, в WoS сильно меньше журналов, которые в других базах данных попадают в категории Q3 и Q4 (табл. 2). Это приводит к повышению доли статей в журналах из Q1 еще в среднем на 10%.
| Область знаний | Журналы | Статьи | % статей | |||
| — | — | — | Q1 | Q2 | Q3 | Q4 |
| Всего (без пересечений*) | 16762 | 5651315 | 59,9 | 24,4 | 12,4 | 3,3 |
| Agricultural and Biological Sciences | 1449 | 541511 | 63,3 | 23,6 | 10,2 | 2,9 |
| Arts and Humanities | 2649 | 260643 | 51,6 | 23,8 | 12,4 | 12,2 |
| Bioch., Gen. and Mol. Biology | 1536 | 864361 | 48,1 | 27,2 | 19,2 | 5,4 |
| Business, Management and Accounting | 860 | 118289 | 55,1 | 27,9 | 13,8 | 3,2 |
| Chemical Engineering | 435 | 340925 | 65,0 | 19,7 | 12,2 | 3,2 |
| Chemistry | 688 | 662622 | 58,9 | 24,1 | 12,3 | 4,7 |
| Computer Science | 1087 | 304484 | 55,4 | 26,2 | 15,1 | 3,3 |
| Decision Sciences | 266 | 54180 | 56,8 | 24,4 | 14,3 | 4,5 |
| Dentistry | 126 | 37740 | 54,1 | 29,3 | 12,9 | 3,7 |
| Earth and Planetary Sciences | 744 | 242905 | 61,5 | 23,4 | 12,3 | 2,8 |
| Economics, Econometrics and Finance | 682 | 90554 | 47,5 | 29,2 | 18,2 | 5,0 |
| Energy | 252 | 176894 | 70,9 | 20,5 | 8,1 | 0,6 |
| Engineering | 1620 | 759170 | 61,0 | 27,2 | 9,6 | 2,2 |
| Environmental Science | 885 | 347067 | 60,7 | 28,9 | 8,9 | 1,5 |
| Health Professions | 363 | 101372 | 52,8 | 29,6 | 12,7 | 4,9 |
| Immunology and Microbiology | 420 | 213598 | 44,3 | 32,9 | 19,6 | 3,3 |
| Materials Science | 858 | 614768 | 57,5 | 27,0 | 13,3 | 2,2 |
| Mathematics | 1125 | 309953 | 41,1 | 34,3 | 19,7 | 4,9 |
| Medicine | 4752 | 2109591 | 56,3 | 26,3 | 14,5 | 3,0 |
| Multidisciplinary | 57 | 104948 | 90,2 | 5,4 | 2,7 | 1,8 |
| Neuroscience | 449 | 201059 | 46,0 | 31,5 | 17,9 | 4,7 |
| Nursing | 390 | 110378 | 55,5 | 27,9 | 12,2 | 4,3 |
| Pharmacology, Toxicology and Pharmaceutics | 476 | 212082 | 53,7 | 29,9 | 13,7 | 2,7 |
| Physics and Astronomy | 848 | 670603 | 51,4 | 36,3 | 7,0 | 5,3 |
| Psychology | 910 | 168410 | 52,1 | 26,9 | 14,8 | 6,2 |
| Social Sciences | 3154 | 425915 | 57,4 | 29,7 | 12,0 | 0,9 |
| Veterinary | 162 | 55999 | 49,4 | 31,7 | 14,8 | 4,1 |
Из всего вышесказанного напрашивается вывод о том, что квартили необходимо пересмотреть. Однако станет ли тогда ситуация лучше? Потенциально это может привести к более рациональному распределению ресурсов. Но также это может сильно ударить по основной массе научного сообщества, так как главными источниками финансирования научных исследований всё еще остаются государственные ведомства. Объяснить, к примеру, российским чиновникам, почему они должны распределять столько же ресурсов при ухудшении статистических показателей, может получиться не у каждого научного учреждения. Единственным эффектом, к которому гарантированно приведет уменьшение доли статей в журналах из Q1 относительно других квартилей, станет заметный подъем самооценки топовых ученых, которые даже в таком случае будут публиковаться в журналах из Q1. С другой стороны, как бы мы ни выделяли квартили и какие бы статистические показатели журналов ни использовали, они не являются объективным отражением качества и ценности научных публикаций, о чем в последние годы говорят всё больше [6]. Потому я согласен с той точкой зрения, что бессмысленно менять квартили научных журналов. Вместо этого научным фондам и организациям нужно использовать системы оценки качества статей, не основанные на рейтингах журналов [6, 7].
В заключение хочется отметить, что всё вышеизложенное имеет цель донести до большого числа российских ученых мысль о том, что публикация в журнале из Q1 в настоящее время не является чем-то избыточно сложным и маловероятным. В конце концов, неужели ваши идеи или данные хуже, чем в половине исследований всех остальных ученых мира?
Николай Некрылов,
канд. геол.-мин. наук, науч. сотр. Минералогического музея им. А. Е. Ферсмана
Автор благодарен Руслану Хаиткулову (НИУ ВШЭ) за плодотворную дискуссию, приведшую к публикации этой статьи, и Даниилу Попову (University of Geneva) за ценные замечания после появления ее первой версии.