У зеркала или в Зазеркалье?

Не так давно на сайте ФАНО были опубликованы публикационные рейтинги академических институтов. Данный материал всколыхнул научную общественность и вызвал массу вопросов о критериях и методологии подобного ранжирования. В связи с этим, газета «Поиск»  опубликовала интервью с одним из создателей данных рейтингов, академиком Алексеем Хохловым (“У зеркала”, No11, 2017). Позднее на страницах этого издания появилась еще ода публикация на данную тему - отклик на интервью от профессора Георгия Романова (ИФР РАН, Москва) и ответ на него академика Хохлова («Что отражает зеркало?», №15, 2017). В продолжение этой важной и актуальной дискуссии мы публикуем новый комментарий проф. Романова и приглашаем присоединиться к обсуждению всех читателей Бюллетеня ОФР.

Акад. А.А. Хохлов

Проф. Г.А. Романов

Ответ академика Алексея Хохлова на мои предложения по совершенствованию методики оценки эффективности научных учреждений оставляет неясными многие аспекты этой проблемы. Импакт-фактор журналов действительно входит в число утвержденных ФАНО показателей индикативных рейтингов, однако лишь в виде среднего значения среди, как можно понять, журналов WoS, в которых опубликованы статьи сотрудников данного учреждения. Однако в таком виде импакт-фактор как показатель теряет смысл. Научные учреждения созданы для добычи нового знания. Общественность интересует, сколько нового знания добыл тот или иной институт за выбранный отрезок времени. Объем нового знания аппроксимируется величиной совокупного импакт- фактора, эта цифра имеет смысл. Однако один и тот же объем нового знания может быть изложен как в десятке статей в низкоимпактных журналах, так и в паре статей в престижных журналах. А показатель среднего импакт-фактора будет гораздо выше во втором случае. Кстати, на сайте ФАНО в объяснении способа расчета среднего импакт-фактора зачем-то включен РИНЦ. РИНЦ – это сугубо отечественный показатель, к американскому импакт-фактору никакого отношения не имеет и в указанном параграфе только путает читателя.

Согласен с Хохловым в том, что нельзя приписывать статье определенный “вес” в соответствии с импакт-фактором журнала. Одни статьи по качеству превышают уровень журнала, другие могут быть ниже среднего уровня. Любая оценка журнала идет за счет усреднения значимости большого числа статей. Но то же самое происходит и при оценке научных учреждений – там тоже идет усреднение большого числа статей. В результате отклонения качества статей в ту или иную сторону нивелируются и общий результат оказывается вполне релевантным.

Я абсолютно убежден, что совокупное число статей, даже распределенных по уровням (WoS, Scopus, РИНЦ и т.д.), является малозначащим показателем. Достаточно, с одной стороны, взять сумму импакт-факторов (т.е. совокупность полученного нового знания), а с другой стороны – сумму затраченных на получение этого знания денежных средств, и поделить одну цифру на другую. Любой ученый понимает, что результаты можно опубликовать либо в виде немногих больших статей в солидных журналах, либо в виде длинной серии небольших публикаций в малоизвестных изданиях. Статья в солидном журнале для науки и престижа, безусловно, предпочтительнее, она получит больший отклик и цитируемость. Вообще гонка за количеством статей противопоказана серьезной науке, спортивный подход здесь неуместен. К сожалению, нынешняя научная политика управленцев наукой в РФ толкает ученых на увеличение количества публикаций любой ценой, не обращая внимание на их качество. Эта политика ошибочна и недальновидна, нельзя стимулировать публикацию сырых результатов, научная публикация должна «вызреть». В противном случае доверие к российской науке может быть подорвано.

Трудно понять тезис А. Хохлова, что "... не стоит связывать деньги с количеством опубликованных статей" и что "вряд ли нужно учитывать базовое финансирование, которое зависит от исторически сложившейся численности организации". С первой частью еще можно согласиться, т.к. деньги надо связывать действительно не с количеством статей, а с их качеством, т.е. суммой импакт-факторов. Но при чем тут "исторически сложившая численность", которая, кстати, уже в исторически близкое время менялась многократно – остается непонятным.

Стоит остановиться на доводе А. Хохлова против оценки институтов по стоимости единицы импакт-факторов: "Понятно, что исследования, связанные с экспериментами, значительно более затратны, чем теоретические изыскания. Значит ли это, что, действуя “в интересах государства и налогоплательщиков”, надо закрыть все экспериментальные работы?". Этот довод звучит достаточно часто, при том, что, несмотря на отсутствие данной "экономической" системы оценки, финансирование фундаментальной науки (и экспериментальной, и теоретической) в России и так, прямо скажем, убогое. Конечно, экспериментальная работа – это основа деятельности большинства естественнонаучных учреждений, и она безусловно должна быть поддержана государством (к сожалению, наше государство давно перестало финансировать закупки оборудования и реактивов для работ по планам НИР). Практика показывает, что статьи, публикуемые в высокорейтинговых журналах, отличаются, как правило, разнообразием и новизной экспериментальных подходов, применение которых связано с немалыми затратами. Это означает, что при грамотном использовании выделяемых средств они вполне окупаются при публикации статей в наиболее престижных журналах. При этом, конечно, желательно стимулировать и теоретические работы. Угнаться за странами, где науку ценят, лелеют и умеют использовать, экспериментально в нынешних российских условиях трудно, зато там, где может сыграть игра воображения и сила интеллекта (например, в области биоинформатики) – мы могли бы преуспеть. Поэтому я не вижу ничего плохого в том, что предлагаемая система оценки поощряет такие интеллектуальные "прорывы", к сожалению, пока крайне редкие.

Академик Хохлов сообщает, что при составлении рейтинга работники институтов задействованы не были, комиссия ФАНО справилась сама, взяв исходные данные в Федеральной системе мониторинга результативности деятельности научных организаций (sciencemon.ru).  Но ведь именно институты вносили данные в эту систему. А. Хохлов сам указывает, что в список сведений о результатах деятельности, которые должны были быть предоставлены научными организациями в целях мониторинга и оценки, входили аж 25 показателей (причем отдельно по каждому году!). При сборе сведений у научных организаций возникли затруднения, которые могут поставить под сомнение достоверность показателей. Во-первых, для ввода данных по цитированию в системе WoS требовались скриншотытаблицы анализа суммарной публикационной активности Института. Однако не все институты имели на тот момент доступ на сайтWoS и поэтому могли только вручную подсчитать цитирование по каждой публикации. Это была огромная, и, как оказалось, напрасная работа. Во-вторых, возникают сомнения по самому поисковому запросу в WoS. Вряд ли в ФАНО проверяли правильность формулировки запроса институтами. Однако при неправильном запросе выходные данные могут сильно различаться. Например, если написать поисковый запрос, используя не все варианты написания названия Института, то можно недосчитаться большого числа единиц цитирования. С другой стороны, если в запросе указать излишне много вариантов названия Института, то можно приписать себе ещѐ и много чужих публикаций, т.е. неправомерно поднять цитирование. Институтам предложено самим исключить из получаемых списков публикации, которые к ним не относятся. Кто-нибудь проконтролировал это? То же самое касается и РИНЦ. В данной системе можно получить на выходе большое количество статей авторов-однофамильцев. Проверяли ли в ФАНО данный пункт? Также ряд вопросов возникал и при предоставлении сведений по совокупному импакт-фактору, хотя, как отмечалось выше, он не несет большой смысловой нагрузки. Удивляет, что среди запрашиваемых данных отсутствовали сведения о полученных грантах и проведѐнных научных мероприятиях. Неужели эти важнейшие составляющие деятельности научных организаций ФАНО не интересуют?

Можно вполне согласиться с академиком А. Хохловым, что составленные ФАНО таблицы - всего лишь зеркало, поставленное перед институтами. Однако очень бы хотелось, чтобы это зеркало не было кривым, и отражало, а не искажало, реальную ситуацию в науке.

Г.А. Романов, ИФР РАН, Москва

См. дополнительно:

• ФАНО: публикационные рейтинги институтов
• «У зеркала. Что отразил публикационный рейтинг?», Поиск №11, 2017
• «Что отражает зеркало?», Поиск №15, 2017