"Search in the RINC on your own!"

The struggle for taking into account publication indicators in assessing the effectiveness of scientific projects was crowned with success: in a number of documents both the Ministry of Education and Science, and the Russian Academy of Sciences are proposed to take into account quoting data collected in the Russian scientific citation index ( http://elibary.ru/project_risc.asp ). At the same time, the quality of the base itself causes serious complaints for many. We publish an interview with the main developers of the base, the General Electronic Library, Gennady Eremenko and Deputy Director of INION RAS Viktor Glukhov, -received by Mikhail Gelfand, as well as excerpts from the discussion of the RINC at the Scientific.ru forum .

- What is the status of the company "Scientific Electronic Library", which maintains the project "Russian Scientific Citation Index"?

- “Scientific Electronic Library” - a commercial company created in 1998. is a developer of a number of large information systems and information products, mainly in the field of scientific information. Five years ago, the company won a competition for the creation of the RSCI. Now this is one of our main projects.

- And who else participated in the competition?

-Several organizations, in particular the GU-HSE and the library in the natural sciences of the Russian Academy of Sciences. The competition was held in 2005, and in fact the project began in late 2005-early 2006.

- How is Rins used now?

- Differently. Users come to the RSCI not only in order to get statistical information about the citation of scientific articles. For many RSCIs, this is primarily a global source of bibliographic information on Russian scientific periodicals. In total, there are already more than one and a half million articles of more than 2400 Russian magazines in the RSCI. For comparison, no more than 25-30 thousand articles of Russian authors annually annually get into foreign databases of quoting.

This resource is actively used, we now have 30-50 thousand users that come for bibliography, and for analytical materials, and for complete texts of articles. The RSCT is integrated with the full -text base of the scientific periodicals located on the Elibary.ru platform. As a result, by clicking on the link in the list of literature, the user can get not only a description of the article, but often its complete text, and in the public domain, as, in fact, the entire Rins. In total, the NEB is now in full -text electronic form more than 1,700 Russian scientific journals, of which about 700 are in the public domain, and the rest are distributed by subscription.

- Is there full -text access to the magazines of Maik "Science"?

- There is, but paid, of course. Last year, the RAS, in the framework of centralized financing, signed almost all academic scientific organizations in electronic information on the journals of the AIC "Science". Unfortunately, this year this project has not been continued.

- How do magazines get to the RSCI list?

- At the initial stage of the project of creating the RINC, we were starting from the VAK list. We wrote out printed versions, digitized them and uploaded the information from these magazines the necessary for the RCNC. Then many Russian magazines did not have an electronic version at all.

Now the situation is different. Publishers themselves supply the necessary information to the RSCI, preparing it in a certain format using the software that we provide them. This is also facilitated by the decision of the Higher Attestation Commission, according to which the presence of a magazine in the RINC is a prerequisite for its entering the list of Higher Attestation Commission. Now the process of filling the RSCI is already information, regardless of state funding, which ended last year.

- Well, yes, you can't say against the Higher Attestation Commission ...

- It's not only about that. The editorial offices of magazines also understand that for many authors it is important to have their publications in the RSCI and taking into account their quoting, and the analyst in the entire editorial magazine is also interesting. In addition, many magazines conclude that the distribution of full -text electronic versions through the Unified Elibrary platform. RU is much more promising than through your own site.

- What are the selection criteria? Are there any precedents when you refused someone to conclude an agreement?

-So far, we took almost everything that refers to scientific periodicals, although interpreted quite widely, is scientific and technical magazines, scientific and educational and medical. We do not conduct special selection. This is a fundamental moment: we believe that at this stage we should not act as a subjective filter. The magazine gets into the RINC, receives some indicators-here it becomes clear what it is. Our task is to give objective information.

- That is, the famous “Journal of Scientific Publications of graduate students and doctoral students” do you have?

- No, we do not have this magazine. But even if it were, an impact factor would be zero, since there was not a single link in the RInts base at that time.

For all the time we refused twice. Once it was a magazine, as it were softer to say ..., a nationalist sense, and not scientific by and large. And the second time we refused the publishing house, which publishes “glamorous” glossy magazines, rather advertising than scientific ones.

- But at the same time, there are quite a few articles not from Russian magazines in the RINC. How do they get there?

- Indeed, when we display a list of publications of a particular author, we often show his publications in foreign magazines, as well as in Russian magazines over the past years, which we do not have in the database. These are publications that we pull out of the on -site lists of literature. This, of course, is not the best source of information, since there are many mistakes in the descriptions of articles, not all authors are indicated, etc. For this, by the way, we are often criticized. But at this stage, we believe that information about publications extracted from the lists of literature helps to get a more complete idea of ​​the scientific activity of a particular scientist as a whole. After all, the most important works are usually quoted. As the RSCI fills with archival information, we may refuse this practice and will only show publications that have entered the RSCI in the process of systematic processing of magazines.

Now as for foreign magazines. It is obvious that trying to conduct any bibliometric studies of Russian science based on publications in Russian magazines would be incorrect, just as it is incorrect to do this only on the basis of Web of Science or Scopus data, where only one of ten articles of Russian authors fall. Therefore, the task of the RINC is to collect all the publications of Russian authors into a single base, regardless of where they were published. At the same time, it is clear that we will not be able to process the entire international publication flow for financial reasons, so we decided to go the other way. We have negotiated with manufacturers of international scientific quoting databases - Thompson Reuters (Web of Science), Elsevier (Scopus), as well as Google (Scholar). The purpose of the negotiations was the possibility of integrating data on Russian publications from these databases and RSCIs.

With each of the manufacturers, we advanced to varying degrees. Thompson Reuters provided us with the opportunity to make in real time requests in Web of Science and show the number of quotes of a particular publication from the RInts. If the user is signed by Web of Science, he can immediately go to a page with a list of articles quoting this publication.

- And if not signed, then can not?

- No. Through the RSCI, he can only receive data on the total number of links to the article. Also, for Russian translation magazines, we are trying to determine the corresponding article in the English -language version of the magazine and show its citation in Web of Science. In general, it should be noted that Web of Science is now more actively starting to work with regional springs, in particular with Chinese.

- But Thompson Reuters has quite stringent criteria for indexing. How to integrate systems with different entry criteria?

- There is no question of integration of speech, if it comes in, we'll see. Of the entire many Russian magazines, selecting the best in accordance with certain criteria is not a problem.

With Scopus, the situation is even more interesting. We acquired from Elsevier a full array of publications of Russian authors, i.e. All articles where there are “Russia” in the addresses from 1996 to 2011, as well as all articles from Scopus, which refer to these publications. They are now in the process of processing and integration with the data of the RINC. The most difficult thing here is quoting, let's say that there is no duplication of links in the Russian journal and in its translated version.

The first results based on the joint data of SCOPUS and RSCI will appear at the end of July, and by September we plan to finish the binding of these integral data to Russian authors and organizations. There are other plans, for example, make a new analytical product together with Elsevier.

- That is, by the fall, the number of links in everyone will increase significantly?

- Yes, we will show the total citation in the RSCI and Scopus.

-If it’s not a secret, what it means “acquired”-you paid the money, or was it some kind of exchange agreement?

- Money, of course. We managed to do this at the end of last year, as part of the project, supported by Rosnauka.

Under-

I have one citation according to Rins. [B. Stern]

The article “Solar and heliosphere phenomena in October-November 2003: causes and investigation”. Veselovsky I.S., Panasyuk M.I. And another 70 authors. Space research. 2004. T. 42. No. 5. S. 453. (According to Scopus - more than 40 links).

On the page of Veselovsky I.S. There is this article with 30 links + it (as a separate article) with 3 links + English translation (as a separate article) with 8 links + English translation (as a separate article) with 2 links + English translation (as a separate article) with 1 link ...

On the page of Panasyuk M.I. There is this article with 22 links + it (as a separate article) with 2 links + English translation (as a separate article) with 8 links + English translation (as a separate article) with 1 link + again English translation (as a separate article) with 1 link ...

When selecting the other authors: no one is indicated for the Russian -speaking version of the article in general, only some have a link to an English translation with 8 links + he is from 1 or 2 links. [Yermlaev]

2 publications are listed for me (one - in the “Bulletin of the RFFIF”, the other in a secondary Russian magazine) and 2 links, and a completely different job. In international bases I have 100-140 publications and 5000-7000 links, depending on the database.

One of the most famous Russian scientists, academician Rubakov, in the RSCI - 152 publications and 488 links. Not as bad as mine, but still 20 times less than in reality. At the same time, work was included in the Rinz list almost completely from Western magazines! Moreover, exactly those in which I publish. This means that the RSCI records only links to articles from domestic magazines. Maybe links only from domestic magazines are taken? No, nothing of the kind: links also come from any magazines, including Western ones. [DD]

- Nevertheless, as of now, when the data from Scopus has not yet been laid, where did the non -Russian articles come from in the RINC?

- I have already talked about information from the lists of literature. There are other sources. So, in the framework of the library project of the RFFI, until 2004, electronic full -text versions of the scientific journals of the largest foreign manufacturers were posted on the Platform of the Scientific Electronic Library. We processed this information.

-And the notorious lists of literature in form 509 from the reports of the RFFI was somehow used?

- No. There is some belief that the RSCI uses data from these forms. Indeed, we had some relation to this project, we developed a Grant-Express system for the RFFIF 10 years ago, which, incidentally, is still working there. But the content of forms required in applications was the prerogative of the RFFI. We relate to the 509th form critically, since we consider it to fill it with an excessive load on a grant holder.

- How do you now evaluate the fullness and quality of the RSCT?

- In the sense of completeness, we still work and work.

- It would seem that after integration with SCOPUS the main claim that there are no articles in international journals and the number of links to articles is greatly understated, it will be shot. And the quality of the Rins itself?

- It depends on what is meant by quality. Typically, for some reason, Rins are trying to compare with Web of Science and are indignant that strongly diverging results are obtained in the number of citation, impact factors of magazines, etc. But these are completely different databases in terms of composition, and in the number of magazines, and in archival filling.

Say, if the scientist is more published in leading foreign magazines, then he has more quotes for Web of Science. And vice versa, if the main works of the scientist are published in Russian magazines, then he has more quotes in the RSCI than in Web of Science. There are a lot of authors with publications in Russian magazines who have more Hirsch index in the RInts than in Web of Science or Scopus.

- That is, we punish those who are published in international magazines? Here, for example, my most cited article is 460 links in Google Scholar, 338 - in Web of Science and 13 - in the RSCI.

- Where was she published?

- In Genome Research.

- Well, I see. You said correctly, after integration with Scopus, this issue will be removed. By the way, about Google Scholar: with them we also concluded an agreement and supply information from the RSCI to this search engine. Unfortunately, while Google Scholar is not very actively used in Russia.

Another problem is the completeness of information on Russian magazines. It turned out that it was quite difficult to work with Russian publishers. Our publishers are very small, on average they publish one or two magazines ...

- This is not the case of the AIC "Science". And who else publishes scientific journals, except for the "economic" loaf magazines? Universities who publish their messengers?

-Universities that publish 20-25 magazines are not enough-Moscow, St. Petersburg, Novosibirsk, Voronezh ... Most publish two or three series. There are few large publishers. Academic publishers are the AIC "Nauka" (150-160 magazines), their St. Petersburg department (24 magazines), the SB RAS publishing house (more than 20), and the rest is 1-2 magazines, which are published by some university or academic institute. We now have 2400 magazines in the RSCI, and publishers - 1400. We have to work separately with each, conclude contracts, control the receipt of data, etc.

- Returning to the already discussed issue: what is there for something to kill?

-Perhaps, for the sake of magazines that are not quoted, and not worth it, but such and such just try. It is important for us to cover the most cited Russian magazines in the RSCI. Some of these magazines are not yet in the RSCI, since they fall into the VAK list automatically.

-That is, the ZHETF is absent in the list of the Rinz impact factors, because he neglected?

- With ZHETF is another story. This is the journal of the AIC "Science", but its layout is prepared in the editorial office. It was included in our contract only a month ago, as well as “letters to the housing and energy complex”, so in the near future it will appear not only in the RSCI, but also as part of a full -text collection of magazines of the Science publishing house, distributed through Elibory.ru .

We gradually clean those gaps that are. The large amount of information has already been accumulated, we see which magazines are high -quality, which are not very. And focus on quality; It's not about collecting everything. According to the RSCI, 1,500 most cited Russian magazines (out of more than 3700) collect 95% of all links. By and large, it is enough to process them.

- And this will be another incarnation of the VAK list?

- Well, with the VAK list is another story ...

- Why? It would seem very natural: if there are many links to the magazine, then it should be on the list, and if there are no links, then what should he do there?

- That's right. But why then do you need a list of Higher Attestation Commission?

- That is - immediately along the Rins?

- Well, of course.

- It is clear why a list of Higher Professional Education was introduced at one time - so that publications in Murzilka would not be counted as scientific. Like any crutch, this is not the most elegant object, but sometimes the crutch is useful. And how good is the Rinz as such a crutch?

You say that an interesting biblometry can be made according to Rins. But the data array is poorly defined. Web of Science has an announced set of criteria and it is clear what you can work with. There are historical gaps, delay, the inclusion of magazines on request in the RINC. How much can biblometry be trusted with a not very clear initial sample?

- In fact, we have already answered this question. Subject to the coverage of 1500 of the most cited Russian magazines and integration with SCOPUS data, it is quite possible.

By the way, the sample is “not very intelligible” both in Web of Science and in Scopus. Of course, they have the selection criteria, if only because otherwise they would have to process an order of magnitude more scientific journals than now. However, which magazines fall into them, whether the situation around the world is adequately reflected is a very difficult question. Not in any base there is no such thing that, say, all magazines were presented in the same period of time. Some magazines are constantly added, some others are deleted.

Re-

I submitted projects for publishing grants in the Russian Federation, so they did not give grants, and 2 non -existent publications with the very names in the list of my articles are present. [Ate]

Where does so many articles come from? … либо двойное упоминание, либо учитываются и сама статья, и перевод, и отдельно реферат (это просто не лезет ни в какие ворота!) [abva]

Одна и та же статья фигурирует 4 раза, ссылки явно из отчета РФФИ /Alexei]

У меня расхождение ISI с РИНЦем в ИЦ не на три порядка, а всего в 30 раз. Зато в списке засчитанных РИНЦем статей приятные бонусы: три статьи засчитаны по три раза; Journal of Applied Physics (присутствует во всех трех тройках) — просто подарок, я в таком журнале никогда не публиковался; еще три зачтенные публикации — отчеты по грантам РФФИ, включенные в «Информационный бюллетень РФФИ». [VYLunin]

— Меня скорее беспокоят не лакуны, а журналы, которые научными по большому счету не являются. Особенно в общественных науках. Где грань между экономикой как наукой и пособием для бухгалтеров?

— Но для конкретной публикации это не так важно: если публикация не научная, на нее и ссылок из научных статей не будет, сколько журналов ни бери. Полторы тысячи журналов обработали — потом прироста ссылок практически уже не будет. Еще раз повторю: важнее, чтобы не было пробелов в хороших журналах.

— Недавно на Scientific.ru обсуждался список импакт-факторов РИНЦ. Он выглядит довольно парадоксально. Скажем, для биологических журналов, в которых я что-то понимаю, он совсем не соответствует представлениям о их реальной силе.

— Маленькие импакт-факторы?

— Не столько маленькие, сколько порядок журналов странный, он противоречит и репутации в сообществе, и импакт-факторам Web of Science. Причем отличия могут быть в разы.

— Сейчас данные есть, это объективная вещь, можно анализировать, почему так получается. Одна из возможных причин — разная популярность наук за рубежом и в России.

— Я говорил только про биологию.

— Всё равно, есть, наверное, разные направления в биологии. Чем-то в России занимаются больше, чем-то вообще не занимаются. Именно поэтому напрямую сравнивать сложно, надо смотреть все в комплексе.

— Вообще, список импакт-факторов РИНЦ выглядит забавно. Вы знаете, кто там лидер?

— Да, конечно, «Сибирский педагогический журнал» (на момент интервью; сейчас — уже нет. — МГ).

— А вы знаете, как это получилось? Там в статьи формально, вне всякой связи с текстом, были вставлены ссылки на статьи в том же журнале, причем на последние два года. То есть специально учитывался алгоритм подсчета импакт-факторов.

— Мы всё это прекрасно знаем.

— Предполагается как-нибудь отслеживать подобные ситуации?

— Сам факт того, что доступна такая аналитика, позволяет это сделать. Мы же видим в профиле журнала, что у него самоцитирование составляет 96%. Ситуация очевидна. Видно и что цитирование идет на последние два года. Есть, кстати, и более изощренные манипуляции с накруткой импакт-факторов. Например, когда у издательства не один журнал, а несколько: публикуются формальные обзоры, в которых просто перечисляются статьи в других журналах, и так в каждом номере -это тоже прекрасно видно.

Мимо

Откуда-то взялись статьи в Asian Pacific Journal of Cancer Prevention, похоже, они его путают с ApJ (Astrophysical Journal) [Pasha]

У Засова Анатолия Владимировича посчитано всего 96 публикаций, из них 16 — с 1973 по 2006 г. в не известном никому из нас журнале Zhongguo Hangkong Taikong Xuehui Huikan. Причем выходные данные статей в тайваньском журнале подозрительно буквально воспроизводят выходные данные реальных статей в отечественном «Астрономическом журнале». Неужели тайваньцы перепечатывают полный АЖ, чтобы следить за российскими достижениями в астрономии? Информация РИНЦ по тайваньскому журналу: всего 6 выпусков, все с 2002 по 2005 г., 3 статьи (из разных наук, ни одной из астрономии), 3733 цитирований. То есть совершенно не связанные между собой базы данных и какой-то полный сюр в опознании статей по авторам. <[OC]

— Можно привести примеры?

— Например, Воронежское ООО «Научная книга». У них четыре журнала, которые друг друга цитируют. В общем и журналы-то неплохие, но вот используют такие методы.

— Казалось бы, за это канделябром надо бить?

— Да, но кто будет бить?

— Web of Science бьет просто путем исключения из своих списков.

— Мы пока так не делаем. Однако и такие ложные цитирования не засчитываем при расчете показателей журнала. Если же такая практика будет распространяться — сделаем дополнения в Регламент включения журналов в РИНЦ и будем действительно исключать.

— В свое время «Журнал научных публикация аспирантов и докторантов» судился с ВАК в арбитражном суде, когда его исключили из списков. Правда, проиграл.

— С нами бесполезно судиться, мы же не ВАК, мы создаем базу данных по установленным нами правилам. Так же, как, впрочем, и Web of Science.

— Но у вас есть монопольное положение на этом рынке в России. Все-таки, возвращаясь к вопросу о качестве. Скажем, дублирование статей: я нашел статью, которая фигурирует в РИНЦ четырежды как разные объекты.

— Скорее всего, у нее слева стоит пометка «REF». Это означает, что эта запись извлечена из пристатейных списков литературы. Но там, естественно, есть варианты и опечатки. Если описание этой статьи появится в базе из более достоверных источников, данные будут объединены.

В цель

В РИНЦ большинство раздражает даже не перекос в российские журналы, а совершенно дикий технический уровень того, что сделано. Они на сегодняшний день не могут адекватно посчитать статьи наших ученых в наших журналах. Выдумывают какие-то липовые публикации, липовые журналы, на порядки не сходится арифметика даже в их собственных, выложенных в открытый доступ таблицах. [OC]

В принципе, e-library с выложенными в ней статьями в российских журналах — дело нужное, особенно для гуманитарных и прикладных наук. Это можно приветствовать. И выкладывание библиографий к статьям — дело нужное. Но индекс цитирования и прочие хирши считать по такой базе данных — дело странное. А уж тем более использование ее чиновниками для чего-то, с оценкой организаций и людей вообще недопустимо. [akg]

Имейте в виду, что по ходу обсуждения РИНЦ здесь, на «Сайнти-фике», цифры по индивидуальным авторам непрерывно корректируются. Вот просто на глазах. [OC]

Я раскритиковал, если не сказать — разнес, РИНЦ, имея в тот момент 17 ссылок по их классификации. Из них половина — отчеты по РФФИ. Это я проделал два или три раза пару лет назад на своем и каких-то других примерах. Результат — у меня сейчас 417 ссылок: значит, читают и приспосабливаются к «центрам негативной информации». [Александр Андрианов]

Их неосмотрительность подпадает под статью о подрыве деловой репутации. Коллективный иск вполне имеет перспективы. [Засим]

Ребята, хотите делать что-нибудь полезное — изучайте вопрос, в частности как коррелируют ваши результаты с общеизвестными, и учитесь. И публикуйте только после того, как получите вразумительную картину и сможете прокомментировать наблюдаемые отклонения. А то сейчас этой хренью начнут чиновники пользоваться… За это ведь отвечать придется когда-то! [Б.Штерн]

— По какому сегменту РИНЦ можно считать полным, во всяком случае в перспективе? Скажем, договор со Scopus вроде бы гарантирует полноту с 1996 г.

— Конечно, по российским журналам тоже хорошо было бы с 1996 г. обработать, но на это потребуется финансирование, которого сейчас у нас нет. Пока можно считать, что с 2006 г. всё полно. Если у журнала есть импакт-фактор РИНЦ, это значит, что все выпуски этого журнала за это время были обработаны.

— Как вы отождествляете авторов? Скажем, мне приписаны несколько статей в журнале Discount Merchandiser (на момент интервью. — МГ), к которым я отношения совсем не имею, да и научными они не являются ни в каком смысле, это чисто промышленные заметки.

— А инициалы там совпадают?

— Один совпадает, а второго у него нет. Еще есть человек из Южной Африки, с ним у нас и инициалы совпадают, и область близка — тут уже мы получаемся совсем один человек (на момент интервью. — МГ).

— Проблема привязки публикаций к автору — это отдельный вопрос. Причем эта проблема характерна для всех баз данных. Web of Science и Scopus, так же как и РИНЦ, пытаются кластеризовать публикации по авторам, но привязки к конкретному ученому, с полными фамилией, именем и отчеством, не делают.

— Web of Science делает.

— Не делает. Если бы всё было так просто, то для списка самых цитируемых российских ученых на Scientific.ru достаточно было бы просто выгрузить этот список из Web of Science.

— Я смотрел про себя, там хорошая прочистка сделана. Не 100%, но с минимальными ошибками; иногда отсутствуют статьи, где я писал один инициал, а не два. Но химер нет.

— Просто вам повезло — у вас не очень много однофамильцев в среде известных мировых ученых. Из нашего опыта работы с базами данных по цитированию могу сказать, что для активно публикующегося ученого с не очень редкой фамилией полная выверка информации по Web of Science или Scopus может занять несколько часов даже у специалиста. Просто взяв один из предрассчитанных авторских профилей, вы получите с большой вероятностью цифры, сильно отличающиеся от реальных.

— Вот этот M. Gelfand из Discount Merchandiser. Видимо, он идет по экономике. На суммарной страничке указано, что у меня есть пять статей по экономике (на момент интервью. — МГ), я попробовал их найти поиском по области — не по лучилось. Выходит, суммарно идет одна информация, а в самой базе — другая. How does it work?

— Скорее всего, дело в том, что тематика статьи ставится по тематике журнала. Если он междисциплинарный, но не разделен по секциям, то его тематики приписываются всем статьям. Для того, чтобы рубрицировать каждую статью, нужно очень много сотрудников. Этого не делают ни в Web of Science, ни в Scopus — везде идет рубрикация на уровне журналов.

— Сколько сейчас человек занимается работой над проектом?

— Человек тридцать. Конечно, для такого проекта это мало.

— Еще одно такое же наблюде ние. На суммарной странице у меня указано 75 публикаций в российских журналах, из них в журналах списка ВАК — 35. То есть 40 публикаций — неизвестно где. Откуда они взялись, простым просмотром установить не удалось. Всего указано 718 ссылок. А если пойти на «профиль автора» и просуммировать приведенную там гистограмму по цитированиям, то получается уже примерно 1900. Опять: откуда берется такое несогласование? Суммарная страница генерируется не на основании базы?

— Скорее всего, это связано с обработкой данных из Scopus. Какие-то цифры уже показываются с учетом этих данных, какие-то еще нет. Через некоторое время всё нормализуется.

— Последний вопрос, к которому мы несколько раз уже подходили. Вы подчеркиваете, что РИНЦ — это замечательный инструмент для библиометрии. А насколько он хорош как инструмент для принятия административных решений?

— Административные решения — это более серьезный шаг, который требует разработки методики использования данных РИНЦ в зависимости от того, какая цель ставится. В настоящее время в основном в этих методиках используются простейшие показатели — число публикаций, число цитирований, импакт-фактор журнала. Мы сейчас разработали целый ряд новых показателей для оценки журналов и организаций, позволяющих более корректно сравнивать их между собой.

— Как отождествляются разные названия организаций?

— Есть нормативный список, к которому мы пытаемся приписать другие написания.

— Но тем не менее. Я видел несколько проектов документов, и РАН, и Минобрнауки, в которых предписывается пользоваться данными РИНЦ. При обсужденных нами проблемах не приведет ли это к искажениям? Никто же не будет делать этих прочисток, будут пользоваться суммарными данными. Я бы хотел получить по этому поводу официальное разъяснение.

— Насчет суммарных данных мы согласны. Было бы методически более правильно дать возможность авторам и организациям самим искать и выверять свои данные, а не полагаться на их автоматическую привязку. И мы им такую возможность скоро предоставим. Пока же эту работу делаем мы сами по запросам отдельных авторов и организаций, которых, кстати, в последнее время становится всё больше и больше.

Что касается ведомств, выпускающих эти методики, то их тоже можно понять — им нужно, по возможности, простое, легко проверяемое решение, причем доступное для всех. В любом случае наша задача — сделать суммарные данные максимально приближенными к реальным, которые можно получить путем кропотливого поиска и отбора публикаций и цитирований в базе данных.

— И потом, не очень хорошо определено покрытие, и, скажем, человек, который публиковался в начале 2000-х, окажется в проигрышном положении по сравнению с человеком, который публиковался в конце 2000-х.

— Если требуется привести данные за все годы, то да. Но в большинстве методик требуются данные за последние 5 лет. Здесь покрытие уже вполне адекватное. What can be done? РИНЦ — динамичный проект. На данный момент есть вот такой массив, он вовсе не такой маленький.

— Дело не в размере, а в том, что не очень хорошо определено покрытие. Есть небольшой интервал, где все сделано аккуратно, а вне его многое определяется случайными факторами. Все-таки я вернусь к первоначальной формулировке. Как авторы проекта считаете ли вы, что РИНЦ в текущем состоянии является адекватным инструментом для принятия административных решений?

— В принципе мы уже ответили на этот вопрос. Без головы, без дополнительного труда использовать нельзя никакие базы, в том числе и Web of Science. Если, скажем, вы возьмете просто импакт-факторы журналов и не будете понимать, что они от тематики к тематике могут сильно отличаться, то вы получите некорректный результат.

— Вы ступили на опасный путь: я спрашиваю, готов ли РИНЦ, а вы отвечаете, что и Web of Science тоже хорош. Если сравнивать с Web of Science, то можно по пунктам смотреть, чем РИНЦ хуже. Скажем, одна статья в четырех копиях в Web of Science не встречается…

— Встречается. Запустите поиск по ссылкам (Cited Reference Search) в Web of Science — там это прекрасно видно. Ошибка в номере страницы — и это уже другая статья. Еще раз: у нас в списке статей автора информация из ссылок сейчас показывается вместе с информацией из основной базы, а в Web of Science — нет.

— … в Web of Science отсутствует журнал Discount Merchandiser…

— Он действительно не обрабатывается ни в Web of Science, ни в РИНЦ, но есть ссылки на статьи в этом журнале. Поищите в ссылках в Web of Science, вы их найдете.

— …ситуаций, когда фамилия автора в записи идет в качестве названия статьи, тоже нет…

Я хочу получить четкий ответ. Конечно, вы мне его сейчас не дадите, и мы так и запишем. Но я хочу услышать от вас утверждение: «Просто использовать сырые результаты РИНЦ для оценки чего бы то ни было является административно порочным деянием». Yes or not?

- Yes, and no. Если к этому процессу подойти аккуратно, то уже сейчас можно получить объективную картину. Если вас смущают предрассчитанные данные в списках авторов или организаций — в конце концов проведите поиск в РИНЦ самостоятельно. Для этого есть все необходимые средства в интерфейсе РИНЦ. Да, это займет какое-то время, но без такой кропотливой работы вы не получите корректных результатов ни в одной системе учета цитирования.

— К любой статистике надо подходить с головой, с этим никто не спорит. Но тут же приходится вычищать ошибки самой базы.

— Ошибки есть в любой базе -они неизбежны при таких объемах информации.

Поэтому все данные нужно обязательно проверять и выверять — без этого никак. И если вы работаете с Web of Science или Scopus, вы же тоже получите список, и вам придется учитывать разные написания, просматривать статьи, убирать то, что не относится к делу.

— Но в РИНЦ этой работы приходится делать на несколько порядков больше, и, похоже, потери тоже гораздо существеннее. И чувствительность, и специфичность поиска куда хуже.

— Если вы хотите от нас услышать, что Web of Science более качественный информационный продукт, то, безусловно, это так, с этим бессмысленно спорить. Только Web of Science существует уже больше пятидесяти лет, а РИНЦу пока всего несколько лет.

— Спасибо, это ответ на мой вопрос — Web of Science использовать можно, а РИНЦ использовать рано.

— И то, и другое использовать можно и нужно, но с определенными допущениями и с пониманием того, что ты делаешь. Объем ссылочной массы в РИНЦ уже достаточен для аналитики. Тенденции, которые видны, вполне разумные, а ошибки могут поменять детали, но не качественную картину. Ну и давайте все-таки дождемся интеграции данных РИНЦ и Scopus, а потом вернемся к этому разговору.

Геннадий Еременко: Web of Science тоже ошибается
Недавно по всем новостным лентам прошло сообщение, в котором самым цитируемым российским автором был назван академик Владимир Игоревич Арнольд. То же самое написано и в статье «Википедии», посвященной этому известному ученому, со ссылкой на список самых цитируемых российских ученых на сайте Scientific. ru [1]. В этом списке, по данным ISI на 2009 г., число цитирований работ В.И. Арнольда превышает 22 тыс., что действительно больше, чем у других российских авторов, причем такой высокий уровень наблюдается и в списках предыдущих лет. V.I. Арнольд, безусловно, выдающийся ученый, но самым цитируемым автором не может быть просто потому, что он математик. Математики не очень активно цитируют своих коллег, среднее число ссылок в статьях по математике в несколько раз меньше, чем, скажем, в химии или биологии. Да и самих математиков не так много по сравнению с количеством ученых в других областях наук. На самом деле, суммарное число цитирований работ академика В.И. Арнольда, по данным Web of Science с 1955 г, составляет около 1300. Для сравнения, по данным РИНЦ у него почти 2000 цитирований.

И это далеко не единственный случай ошибок в расчетах на основе Web of Science. В 2004 г. составители списков самых цитируемых ученых на сайте Scientific.ru в статье в «Независимой газете» [2] с удивлением обнаружили, что число цитирований другого лидера списка, академика В.Л. Гинзбурга, за один год таинственным образом увеличилось с 10 тыс. до 17. На самом деле, согласно «последним» данным Web of Science, общее число цитирований В.Л. Гинзбурга составляет около 6000, и каждый год это число увеличивается в среднем на 100 цитирований.

1. www.scientific.ru/whoiswho/gt1000_8.html ; 2. www.ng.ru/science/2004-09-08/14_index.html

Комментарий главного редактора «Троицого варианта», создателя проекта «Индекс цитируемости российских ученых» на Scientific.ru Бориса Штерна

Данное высказывание Г. Еременко попросту ошибочно. Цифры, которые приводятся выше, свидетельствует о том, что он просто не туда смотрел, пользуясь базой данных ISI. Там можно запросить «citation report» — полное число цитирований работ, опубликованных в журналах, обрабатываемых ISI. Туда не попадают ни монографии, ни многие наши старые журналы, ни ссылки, написанные «неканоническим» образом. Всё это надо получать по запросу «cited reference search» — там учтены любые ссылки на данного человека, появившиеся в статьях ISI-шных журналов без разбора, на какое издание ссылка. Но тут уж надо суммировать самому. Отсюда и получается разница: 1300 — ссылки на статьи В.И. Арнольда в журналах, обработанных ISI, и 22000 — все ссылки. Разница особенно велика именно для ученых старшего поколения, к тому же широко пользовавшихся нежурнальными каналами распространения информации.