Как улучшить индекс Хирша?

Традиционно результативность ученого оценивали по числу статей. Потом появилась цитируемость. Наконец, в 2005 г. был придуман индекс Хирша, h.

Это очень показательная величина. Индекс равен h, если у человека есть h статей с цитируемостью выше h. То есть если h=12 (что считается неплохим результатом), то у человека есть 12 статей, каждая из которых имеет цитируемость выше 12. Хирш-индекс хорош тем, что выделяет стабильных ученых, выдающих много хороших работ. На мой взгляд, он является удачным дополнением к интегральным параметрам типа полной цитируемости.

Всем очевидно, что продуктивность ученого нельзя свести к одному числу. Но вот хороший набор параметров уже может давать (хотя бы в среднем) довольно адекватную картину. Хорошую экспертную оценку это никогда не заменит, но не всегда ее можно получить. Поэтому деятельность по придумыванию новых индексов и модернизации существующих весьма осмысленна и востребована. Существует большое количество модификаций индекса Хирша. Разные варианты стремятся учесть само-цитируемость, отсеять так называемые «братские могилы», разделить обзорные и оригинальные статьи, учесть фактор времени, дать больший вес статьям с высокой цитируемостью и т.п. В Архиве (arXiv.org) регулярно появляются статьи по этой тематике. В недавней работе (arXiv:1005.5227) Микаэль Шрейбер (Michael Schreiber) анализирует разные варианты индекса Хирша, используя данные по 26 физикам из одного европейского института. Посмотрим, что получилось.

Шрейбер вначале рассматривает шесть величин. Это полное число публикаций n, число публикаций с ненулевой цитируемостью n1, индекс Хирша h, а также индексы w, h2, hr Индекс w определяется так: 10w<c(w), но c(w+1)<10(w+1), где c(w) — цитируемость статьи с номером w (статьи упорядочены по цитируемости, номер 1 имеет самая цитируемая). То есть w=3 соответствует тому, что у человека три статьи с цитирумостью выше 30, но четвертая уже имеет менее 40. Далее, индекс h2 определяется как h22<c(h2), но c(h2+1)<(h2+1)2. То есть если у человека h2=5, то у него пять статей с цитируемостью выше 25, но шестая имеет цитируемость менее 36. Чтобы ранжировать людей с одинаковым индексом Хирша, вводят интерполяционный индекс hi. Он находится в интервале h<hi<h+1 и определяется линейным интерполированием cI(x)=c(h)+(x-h) (c(h+1)-c(h)), hi=c/hi).

Очевидно, w и h2 придают больший вес статьям с высокой цитируемостью (выделяя, как говорят, более компактное «ядро» в наборе публикаций), чем простой или интерполированный индекс Хирша, а n и n1 — напротив. При этом w и h2 оказываются совпадающими у большого числа людей, особенно w. Среди рассмотренных 26 списков «выпало» всего 7 разных значений w, причем значение w=4 соответствует сразу десятку ученых.

Стоит отметить, что ранжирование по h, hI, w и h2 , разумеется, совпадает, с единственной оговоркой об одинаковых значениях w и h2, а иногда и h, у разных ученых. А вот лидер (среди 26 рассмотренных ученых) по числу публикаций и числу публикаций с ненулевой цитируемостью оказался лишь четвертым в таком списке.

На рисунке 1 цветом показаны данные по 6 ученым (число 26 было выбрано неслучайно, оно просто соответствует числу букв в латинском алфавите, т.е. имена ученых, чьи списки публикаций использованы в исследовании, в статье не фигурируют.) Три линии, выходящие из начала координат, соответствуют трем индексам: сплошная — обычному Хиршу, длинные штрихи — индексу w, короткие штрихи — индексу h2.

У всех рассмотренных индексов есть важный недостаток: если статья уже вошла в «ядро цитирования», то не важно, насколько велико полное число ссылок на нее. Это вообще недостаток всех «хиршеподобных» индексов. Два человека с одинаковыми индексами могут иметь полную цитируемость, отличающуюся в разы или десятки раз. Поэтому любят вводить коэффициенты так или иначе связанные со средним числом ссылок на статью. Будем обозначать усредненное число ссылок cN. Аргументом этой величины может стоять номер статьи в рейтинге. Кроме банального деления полного числа ссылок на полное число статей вводят модификации. Например, индекс A=cN(h)=s(h)/h. Здесь s — сумма числа цитирований от самой цитируемой статьи до статьи с номером h. То есть среднее число ссылок определяется только по «ядру», соответствующему индексу Хирша. Другие модификации так или иначе связаны с выделением этого «ядра». Например, предлагается брать корень из полного числа статей, т.е. если у человека 150 статей, то усреднение пойдет по 12 наиболее цитируемым.

Если посмотреть на 26 выбранных списков публикаций, то ранжирование не сильно отличается от описанного выше, только поднимаются в списке люди с небольшим числом очень высокоцитируемых статей и проседают те, у кого очень длинный список публикаций при той же полной цитируемости и таких же h.

При этом, считает Шрейбер, плохо базироваться на полном числе публикаций, так как это сама по себе плохо определенная величина, если не вводить жестких критериев селекции. Автоматически базы данных (а все рассуждения обычно применяют к тем данным, которые легко доступны в базе без дополнительной обработки, поэтому, например, все индексы считаются без выбрасывания самоцитирования, что досадно) включают в списки всякую «мелочевку», от которой часто трудно избавиться выставлением флагов и тэгов. Поэтому хочется какого-то самосогласованного выделения «ядра» публикаций, альтернативного хиршевскому.

Альтернатива оказывается очень похожа на сам индекс Хирша. Это индекс g: g=cN(g). То есть у человека имеется g статей со средней цитируемостью, больше или равной g. То есть это почти то же самое, что индекс Хирша, но уже не просто для цитируемости и статей, расставленных по ней, а для усредненной цитируемости и ранжирования по этой величине. На рисунке 2 показан соответствующий график. Пересечение прямой линии из начала координат с цветной соответствует показателю g для данного ученого. Аналогично hI можно ввести gI, что и делается.

Предельным случаем является цитируемость самой цитируемой статьи («ядро» состоит из одной статьи). Из анализа видно, что ранжирование по этой величине сильно отличается от других, более сглаженных и усредненных подходов. Шрейбер делает вывод, что по самой цитируемой статье плохо судить об интегральном вкладе ученого. Хотя, заметим, речь тут идет не об отдельных случаях особой гениальности, а о показателях вполне средних (в хорошем смысле) ученых. Для них, разумеется, строить какое-то ранжирование исходя из того, что у одного самая цитируемая статья имеет 53 ссылок, а у другого 47, — плохо.

Двигаемся дальше. Среднее можно брать по-разному. Например, можно брать медианное. И, конечно, есть такие индексы. Например, берем «ядро», определенное по Хиршу, и смотрим в нем медианную цитируемость. Получаем индекс т. Можно брать гармоническое или геометрическое среднее. И такие индексы есть. Шрей-бер показывает, что хотя все это и неплохо, но при большей сложности в определении не дает никакого выигрыша в итоге.

Люди играют и с другими вариантами. Например, с квадратным корнем из суммарного числа цитирований по «ядру». К примеру, есть хороший вариант определения индекса g как квадратного корня из s(g). Шрейбер выделяет интерполированный g (т.е. индекс gI) как один из лучших параметров.

Далее, есть весьма сложные индексы. Например, можно определять «энтропию» списка цитирования (максимальную энтропию имеет список, где все статьи имеют одинаковое число ссылок). Здесь опять же анализ выборки из 26 списков цитирования показывает, что увеличение сложности расчета коэффициента не ведет к новым положительным свойствам.

Интересные (но сложные) индексы возникают, если после выделения «ядра по Хиршу» пытаются учесть, насколько «хвост» может вскоре войти в «ядро». В таком случае чем ближе статья в ранге к границе ядра, тем больший вес получает ее цитируемость. То есть если у двух ученых абсолютно одинаковые «ядра по Хиршу», но у одного за «ядром» почти пусто, а у другого есть много статей, которые вот-вот войдут в «ядро» (т.е. возрастет индекс Хирша), то второй будет иметь лучший показатель.

Наконец, есть интересный индекс maxprod. Он определяется как максимум (по r) произведения r c(r). Здесь r — номер (ранг) статьи в списке, упорядоченном по цитируемости, а c(r), как и выше, — цитируемость статьи с номером r. Обычно этот индекс выше h2, что связано, как правило, с высокой цитируемостью статей внутри «ядра по Хиршу» (скажем, у меня при h=12, по данным NASA, ADS maxprod равен 240 за счет того, что восьмая статья в списке имеет цитируемость 30, но могло бы быть и иначе, если бы тянулся длинный хвост и, скажем, статья с номером 50 имела бы цитируемость 5).

Разумеется, стоит смотреть, как разные индексы коррелируют друг с другом. Хуже всего коррелируют с другими индексами полное число публикаций (n) и число публикаций с ненулевой цитируемостью (n1). Затем из числа описанных выше идут индексы w и A. После — т. А вот, скажем, индекс Хирша, индекс g и maprod неплохо коррелируют друг с другом, т.е. плохо коррелируют или индексы, основанные на большом числе статей (например, на всех), или, наоборот, индексы, основанные на очень маленьком «ядре». Как наилучший Шрейбер выделяет интерполированный g-индекс. По его мнению, стоит добавить его автоматическое определение в ведущих базах данных.

В заключение повторим слова Шрейбера о том, что важнее не качество индекса, а качество базы. Поэтому лучше уж использовать самый примитивный, но по подходящей базе, чем самый наилучший, но по плохой.