Лудо Вальтман: «Политика, основанная на наукометрии, представляет крайне узкую перспективу»

Лудо Вальтман (на переднем плане): «Начиная с 2024 года рейтинг университета будет основываться на открытых данных, которые будут доступны каждому пользователю. Раньше мы вынуждены были использовать коммерческие данные Web of Science, сейчас мы делаем переход к открытым данным OpenAlex и CrossRef». Фото с сайта www.sti2023.org

Лудо ВАЛЬТМАН – профессор количественных исследований науки, научный директор Центра исследований науки и технологий Лейденского университета (CWTS of Leiden University) – крупнейшей наукометрической школы в мире. Самый молодой в истории получатель медали Дерека де Солла Прайса – высшей международной награды в наукометрии. Автор свыше 120 научных работ, соавтор широко известного Лейденского манифеста (2015). Об актуальных проблемах наукометрической оценки эффективности научных исследований с ним беседует доцент кафедры теории вероятностей и кибербезопасности РУДН им. Патриса Лумумбы, докторант Центра исследований науки и технологий, заместитель главного редактора журнала «Экономика науки» Дмитрий КОЧЕТКОВ.

Об оценке продуктивности науки

– Лудо, добрый день! Спасибо, что нашел время на интервью во время рождественских каникул. Ты хорошо известен публике как один из авторов Лейденского манифеста, опубликованного в 2015 году (1). Восемь лет – это достаточно большой срок. Что изменилось за это время и какие вызовы стоят сейчас перед ответственным подходом к оценке научно-исследовательской деятельности?

– Я думаю, что на самом деле изменилось, так это то, что идеи манифеста, которые восемь лет назад казались относительно новыми, сейчас стали мейнстримом, по крайней мере в Западной Европе. Под мейнстримом я понимаю политические дебаты вокруг научных исследований и то, как они оцениваются.

С другой стороны, это не значит, что эти идеи стали мейнстримом в оценке научно-исследовательской деятельности на практике. Эти идеи хорошо известны и широко приняты. Достигнут большой прогресс, но в то же время, когда смотришь на то, как эти идеи реализовываются на практике, понимаешь, что еще многое предстоит сделать.

Видишь ли, существует группа людей, которые думают о принципах ответственного подхода к оценке научно-исследовательской деятельности, внедряют их в политику, участвуют в дебатах и т.д. На их мышление действительно сильно влияет Лейденский манифест. В то же время существует бесконечное количество реальных ситуаций, в которых оценка научно-исследовательской деятельности осуществляется на практике. Поэтому идеи манифеста необходимо реализовать во всех этих разнообразных условиях и ситуациях, что, конечно, требует много времени.

Отчасти эти трудности объясняются сложностью самих внедряемых механизмов, отчасти тем, что люди, которые работают на практике, либо не знают этих принципов, либо просто не хотят их применять. Таким образом, мы движемся, более того, мы сейчас в некой отправной точке. Но в целом дискурс ответственного подхода к оценке научно-исследовательской деятельности сейчас сосредоточен вокруг практической реализации, и это определит повестку на ближайшие восемь лет.

– Насколько я знаю, идеи Лейденского манифеста во многом реализованы в системе оценки научно-исследовательской деятельности в Нидерландах, в первую очередь в Стратегическом протоколе оценки (Strategy Evaluation Protocol – SEP) (2)?

– Да, так и есть. Ранее этот протокол назывался Стандартным протоколом оценки (Standard Evaluation Protocol). Изменение содержания буквы S в названии хорошо согласуется с одним из принципов Лейденского манифеста, который гласит, что отправной точкой оценки научно-исследовательской деятельности должна быть миссия организации. В этом смысле SEP адаптировал идеи Лейденского манифеста, по крайней мере в формулировках. Однако это не значит, что протокол полностью основан на Лейденском манифесте, но тем не менее он «подталкивает» организации в этом направлении.

Перед открытием международной конференции Science, Technology and Innovation Indicators 2023 (STI 2023), посвященной показателям науки, технологий и инноваций, которая проходила в сентябре в Лейдене. Конференция была организована CWTS.  Фото с сайта www.sti2023.org

Несмотря на то что документ был формально поддержан всеми нидерландскими университетами, его практическая реализация все еще находится на ранней стадии.

– А каково отношение академического сообщества к этой инициативе? Все ли воспринимают ее положительно?

– Нет, далеко не все счастливы. Например, много возражений от медицинского исследовательского сообщества, которое всегда характеризовалось сопротивлением переменам. В основном контраргументы сводятся к возможным рискам.

Отчасти возражения носят прагматичный характер, например, что если мы пойдем на изменения, а другие страны – нет? Это может повлиять на академическую мобильность: исследователям, привычным к новым стандартам оценки научно-исследовательской деятельности в Нидерландах, будет сложно работать в тех странах, где политика носит более традиционный характер. Их количественные показатели будут недостаточными, чтобы удовлетворять традиционным критериям продуктивности.

То есть это просто прагматика: не стоит быть слишком далеко впереди остальных. Но есть и более фундаментальные возражения. Например, всегда существовала дискуссия, до какой степени можно оценивать научные исследования на основе публикаций. И если мы идем этим путем, то можно ли оценивать публикацию на основе журнала, в котором она вышла?

Традиционная система с фокусом на публикациях с учетом престижа журнала – она вроде как работает хорошо, и лучше не менять ее, потому что это на самом деле рискованно. В конце концов традиционный подход позволяет оценивать качество на приемлемом уровне. Вот такие критические голоса.

– Давай с национального уровня переместимся на европейский. Насколько я знаю, университеты Нидерландов активно участвовали в подготовке Соглашения о реформировании оценки исследований (3). Оно было принято в 2022 году и на сегодняшний день подписано 661 университетом, академическим институтом и финансирующей организацией. Тем не менее это далеко не все европейские университеты и исследовательские институты. Что ты думаешь о перспективах его непосредственной реализации?

– Соглашение о реформировании оценки исследований действительно созвучно тому, что мы уже реализуем в Нидерландах. Вопрос реализации во многом сводится к тому, будут ли эти принципы работать хорошо в различных европейских контекстах. Мы должны признать, что исследовательские системы в европейских странах достаточно сильно отличаются друг от друга и в некоторых случаях очень сложно продвигать изменения.

В частности, в некоторых странах приводится аргумент, что мы должны быть осторожны в своей опоре на экспертную оценку. Подобные системы оценки могут быть опасны в случае их использования недобросовестными игроками. Для некоторых стран эта проблема действительно актуальна, поэтому вопрос реализации соответствующих принципов соглашения в этих странах требует более тщательного рассмотрения.

Кроме того, в европейских странах существенно различается уровень централизации научных и образовательных систем, в том числе в части оценки продуктивности научно-исследовательской деятельности. Поэтому ключевой вопрос сейчас: как соглашение может быть реализовано в странах с высоким уровнем централизации и низким уровнем университетской автономии.

В этом аккуратном особняке Willem Einthoven Building и располагается Центр исследований науки и технологий Лейденского университета (CWTS).  Фото из архива автора

– В соглашении явно прописано, что университетские рейтинги не должны использоваться в оценке научно-исследовательской деятельности. А нет ли опасения, что подобные изменения приведут к «проседанию» европейских университетов в глобальных университетских рейтингах и это приведет к снижению притока иностранных студентов?

– Да, такие критические голоса звучат. Однако сторонники реформ приводят аргумент, что рейтинги сами по себе часть проблемы. Критерии, по которым проводится ранжирование университетов, устарели, уже не имеют никакого смысла в текущей ситуации, и нам не стоит беспокоиться о потере позиций в рейтингах. Возможно, с прагматической точки зрения реформы грозят финансовыми потерями, в том числе для нашего университета, но мы должны найти более фундаментальное решение проблемы. Рейтинги проблематичны, и мы не должны ориентироваться на них.

Конечно, университетские рейтинги являются предметом острой дискуссии, в которой европейские страны занимают довольно разные позиции. Как ты знаешь, в Нидерландах доминирует негативное отношение к университетским рейтингам. Например, совсем недавно Утрехтский университет отказался отправлять данные и объявил о выходе из рейтинга Times Higher Education (THE). В других странах, например во Франции, отношение к рейтингам более лояльное, хотя рейтинги также вызывают опасения, но они еще не стали мейнстримом. В итоге противоположная позиция сводится к тезису: «Как иначе понять, насколько хорошо мы работаем?» Таким образом, в некоторых странах рейтинги все еще воспринимаются как неизбежное зло.

– Центр исследований науки и технологий в 2023 году подготовил отчет для ассоциации университетов Нидерландов (VSNU), в котором была предложена стратегия поэтапного отказа от рейтингов на организационном, национальном и европейском уровнях. Я знаю, что ты активно продвигал данную стратегию на европейском уровне. Какова была обратная связь в Нидерландах и Европе в целом?

– Ассоциация университетов Нидерландов формально поддержала отчет. Университеты работают над реализацией стратегии, хотя подобные изменения, безусловно, требуют времени. Посмотрим, насколько амбициозными будут изменения, но в Нидерландах они точно назрели. Нидерландские университеты также продвигают эту дискуссию на европейском уровне, и она будет развиваться в ближайшие месяцы, но пока сложно предсказать, к чему это приведет. Как я уже говорил, в европейских странах все больше критических голосов, и это выглядит многообещающим. В то же время я должен признать: несмотря на то что некоторые части стратегии могут быть реализованы в других странах, в большинстве европейских стран эти настроения еще не набрали критической массы в отличие от Нидерландов.

– Однако Центр исследований науки и технологий публикует свой собственный, Лейденский, рейтинг. Как это соотносится с отчетом и в чем отличие Лейденского рейтинга от других университетских рейтингов?

– Во-первых, Лейденский рейтинг не использует сводного индекса как QS, THE или ARWU, использование которого является наиболее проблемным. Взамен этого Лейденский рейтинг предлагает набор индикаторов, которые позволяют оценить разные аспекты научной деятельности университета.

Во-вторых, Лейденский рейтинг всегда использовал полностью прозрачную воспроизводимую методологию, и это согласуется с рекомендациями отчета, о котором мы говорили. Наконец, сейчас мы готовимся сделать следующий шаг – начиная с 2024 года рейтинг будет основываться на открытых данных, которые будут доступны каждому пользователю. Дело в том, что раньше мы вынуждены были использовать коммерческие данные Web of Science, сейчас мы делаем переход к открытым данным OpenAlex и CrossRef. Пользователи даже смогут строить свои альтернативные рейтинги на наших исходных данных. Таким образом, это будет решающий шаг в направлении полной воспроизводимости, а воспроизводимость и транспарентность – это ключевые элементы наших рекомендаций.

На конференции STI 2023 был представлен и стендовый доклад из России: «Выявление препятствий для женщин в российском грантовом финансировании». Фото с сайта www.sti2023.org

– Предлагаю поговорить об открытой науке. Я думаю, тебя по праву можно назвать ее амбассадором. За последние 10 лет ландшафт открытой науки в мире очень сильно изменился. Какие вызовы стоят сейчас перед нами? Я имею в виду как Нидерланды, так и Европу в целом, потому что Нидерланды исторически были одним из локомотивов открытой науки в Европе.

– Мы точно можем сказать, что движение за открытый доступ в Европе было успешным, потому что все больше результатов научных исследований публикуется в открытом доступе. В Нидерландах мы приближаемся к 100%, поэтому формально цели политики перехода к открытому доступу достигнуты. В то же время приходит осознание, что эти цели сами по себе были слишком узкими. И я думаю, что сейчас мы находимся на том этапе, когда переходим от узкого понимания открытого доступа к более широкому обсуждению того, что является открытостью.

И здесь речь идет не только об открытом доступе к научным статьям, но также обо всех других формах открытости. Например, о том, как мы осуществляем рецензирование, когда делаем статьи доступными – до рецензирования или после рецензирования и т.д. Таким образом, мы движемся к более широкому пониманию того, какая открытость на самом деле нам нужна. С этой точки зрения предстоит еще очень много работы.

Кроме того, продолжается дискуссия вокруг стоимости публикации в открытом доступе, бизнес-моделей издательств и равенства. Высокая стоимость открытого доступа становится финансовым барьером для многих. Это очень серьезный вопрос, но я могу сказать, что за последние пять лет мы накопили существенную базу знаний по данной проблеме.

– Но ведь открытая наука – это не только про открытый доступ?

– Конечно, открытая наука подразумевает не только и не столько публикацию результатов научных исследований в открытом доступе, сколько открытость всего исследовательского процесса для общества. Открытость не в плане поделиться результатами с обществом, а скорее работать совместно с обществом над достижением значимых целей.

Непосредственное вовлечение граждан в научные исследования называют гражданской наукой. Идея состоит в том, чтобы наука лучше согласовывалась с реальными общественными потребностями. Более того, это сделает науку сильнее, мы сможем использовать те знания, которыми обладают граждане и которые сейчас не задействованы в исследовательском процессе. Это действительно важное начинание, и мы в Лейденском университете стараемся реализовать его различными способами. Мы сотрудничаем с муниципалитетом Лейдена и другими заинтересованными сторонами, проводим исследования с непосредственным вовлечением общественности и направлением на решение городских проблем.

Науковедам ничто человеческое не чуждо. Участники STI 2023 отправляются на лодочную прогулку по каналам Лейдена.  Фото с сайта www.sti2023.org

– Ты упомянул открытое рецензирование. Я помню, что совсем недавно ты с группой коллег объявил о создании принципиально нового издательского проекта – MetaROR. Можешь рассказать нам о нем? В чем его особенность?

– Этот проект основан на идее, что рецензирование должно быть открытым. В этом смысле он похож на ряд других проектов (eLife, F100). Рецензии должны публиковаться со статьями. Кроме того, это уход от бинарной системы «да/нет», «хорошая наука/плохая наука». Открытое рецензирование показывает любому заинтересованному пользователю, обоснованы ли результаты исследования и выполнен ли анализ должным образом.

Но наука не ограничивается исключительно «да» или «нет». Существуют серые зоны между этими двумя полюсами. Иногда мы просто еще не пришли к ответам на некоторые сложные вопросы или существуют конкурирующие точки зрения, при этом важно, чтобы дискуссия продолжалась. Именно поэтому открытое рецензирование – важный элемент проекта MetaROR.

Но есть и еще один не менее важный аспект: рецензирование должно происходить не до публикации, а после нее. В традиционной модели статья сначала проходит рецензирование, потом, если рецензии положительные, публикуется в журнале. Мы хотим изменить этот порядок: сначала публикуется препринт, потом он открыто рецензируется, то есть рецензии доступны любому заинтересованному читателю. В этой системе распространение новых знаний происходит ускоренными темпами. Кроме того, такой порядок облегчает процесс открытого рецензирования: отсутствует необходимость принимать бинарные решения, как в случае традиционных журналов, где даже открытое рецензирование направлено на принятие решения, достаточно ли хороша статья для публикации. В нашем случае решение о публикации уже принято.

– Таким образом, мы говорим об открытом рецензировании препринтов. А есть ли какие-либо инициативы, которые позволяют осуществлять открытое рецензирование препринтов вне рамок проектов, которые мы обсуждали?

– Существует платформа PREreview, которая позволяет осуществлять открытое рецензирование препринтов. Такие платформы, как MetaROR, все равно предполагают наличие редакционной команды, которая организует процесс рецензирования. В свою очередь, PREreview является децентрализованной системой. Существует только команда, осуществляющая техническую поддержку. Что касается авторов и рецензентов, они сами решают, когда разместить препринт и когда сделать рецензию. В каком-то смысле PREreview даже более радикальный отход от традиционной журнальной системы, чем MetaROR или другие подобные проекты, и это очень интересное начинание.

– То есть научные журналы умрут в ближайшем будущем?

– Это зависит от того, как мы определяем понятие «журнал». Одно из определений основывается на рабочем процессе. Авторы направляют рукопись в организационную единицу, которая сопровождает рецензирование, чаще всего закрытое, и в случае положительных рецензий обеспечивает доступ читателей к контенту, открыто или по подписке. Это то, что мы привыкли подразумевать под словом «журнал». В этом смысле журналы действительно исчезнут.

Альтернативно мы можем отталкиваться от самой сути научно-исследовательской деятельности и определить журнал как группу людей, которые считают себя частью определенного академического сообщества и готовы взять на себя ответственность за процессы обеспечения качества внутри этого сообщества. В этом понимании журналы нам понадобятся в будущем, потому что, несмотря на различные способы издательской деятельности, нам по-прежнему нужны сообщества, которые берут на себя ответственность за процессы обеспечения качества.

Тем не менее способ работы журналов кардинально изменится. Поэтому я думаю, что на твой вопрос нельзя однозначно ответить «да» или «нет».

О Центре исследований науки и технологий (CWTS)

– Давай поговорим о CWTS. Недавно ты был назначен научным директором центра. Как ты ощущаешь себя в новой роли?

– Сейчас у нас есть отличная возможность приложить энергию и ресурсы к реализации нашей обновленной стратегии и исследовательской программы, которую мы сформировали в последние два года. Новая стратегия повлекла за собой существенную реорганизацию: новые типы внутренних подразделений, новые приоритеты. Сейчас мы должны показать, что разработанная нами стратегия работает. Я хочу сказать, что для меня было личным вызовом взять на себя роль лидера в это очень захватывающее время для нашего центра.

– Пожалуйста, расскажи подробнее о реорганизации. Традиционные исследовательские группы заменены фокальными областями. В чем разница?

– В нашем случае исследовательские группы представляли разные традиции, разные способы проведения исследований. Например, количественные и качественные исследования. Теперь мы перешли к фокальным областям, где традиции и методы больше не являются определяющим критерием для нашей организационной структуры. На передний план вышли исследовательские проблемы, которые мы хотим решить, объекты, которые мы хотим изучить, а также социальные проблемы, которые мы можем помочь решить на основе наших исследований. Теперь наша организационная система построена не вокруг дисциплинарных традиций, а вокруг ключевых проблем в нашей исследовательской программе. Это согласуется с новой формулировкой нашей миссии, которая теперь звучит так: «наша миссия в CWTS – улучшать практику проведения научных исследований и управление наукой, а также то, как она служит обществу».

О наукометрии

– CWTS является крупнейшим наукометрическим центром в мире, но мы ни разу с тобой не упомянули термин «наукометрия». Мне кажется, это симптоматично. Термин «наукометрия» устарел?

– И да, и нет. Нет, потому что термин «наукометрия» по-прежнему важен в части практики создания, изучения, анализа и использования количественных показателей, отражающих то, что происходит в исследовательской системе. Хорошо, что у нас есть научное и профессиональное сообщество, объединенное этой тематикой, и вполне логично, что сообщество называется наукометрическим. В этом смысле нам нужен этот термин, и мы должны это принять.

Тем не менее в отношении связи наукометриии и научной политики многое изменилось за последнее время. Исторически наукометрия была одним из ключевых инструментов научной политики. Однако с теми изменениями во взглядах на оценку продуктивности научно-исследовательской работы и отчасти подходов к развитию открытой науки мы стали уделять больше внимания вещам, которые нельзя измерить количественно, и это привело к снижению значимости наукометрии как инструмента научной политики.

На самом деле это хорошо, потому что политика, основанная на наукометрии, представляет крайне узкую перспективу. Научная политика должна определяться амбициями, целями, которые вы хотите достичь, потребностями общества, но ни в коем случае не количественными инструментами. Я думаю, мы сейчас движемся к реализации этого подхода в политике, и наукометрия где-то отходит на второй план.

– Насколько я знаю, CWTS принимал активное участие в создании Института исследований науки (Research on Research Institute – RORI). Его миссия – сократить разрыв между количественными и качественными исследованиями науки?

– Я бы не сказал, что это его миссия. Миссия RORI – проводить исследования, направленные на нужды учредителей, в первую очередь организаций, финансирующих научные исследования. Таким образом, исследования института в основном сфокусированы на повышении эффективности использования финансовых средств, инвестируемых в науку. Тем не менее RORI разделяет наш подход, что набор используемых методов и инструментов определяется самой исследовательской задачей, поэтому применяются как количественные, так и качественные методы. Вместе они дают синергетический эффект. Иногда ситуация диктует использование исключительно количественных методов, иногда наоборот – исключительно качественных.

– Лудо, в заключение нашего разговора у тебя есть возможность обратиться к широкой российской аудитории и в особенности к научному сообществу.

– К сожалению, мое знание российской академической системы достаточно ограниченно. Поэтому я не чувствую себя вправе делать большие заявления для российской науки.

На самом деле я думаю, что существует риск нарастающей изоляции российской научной системы. Конечно, во многом это обусловлено текущей геополитической ситуацией, и это то, на что отдельные люди сейчас повлиять не могут. В долгосрочной перспективе как для России, так и для всего мира важно найти выход из ситуации, когда российская наука находится в изоляции, потому что в конечном итоге это пагубно для всех нас.

Во-первых, если мы посмотрим на эту ситуацию с точки зрения исследований науки, проблема изоляции и поиск путей выхода ставят очень много эмпирических вопросов. Нам критически необходимо лучше понять процессы, которые происходят сейчас. Это один момент.

Во-вторых, я хотел сказать, что идеи, лежащие в основе ответственного подхода к оценке научно-исследовательской деятельности и повестки открытой науки, основаны на признании недопустимости организации науки сверху вниз, когда несколько влиятельных акторов диктуют условия системе в целом. Нужна большая автономия, большая децентрализация, большая ответственность на всех уровнях. Это позволит сделать систему более плюралистичной, открытой для разных походов и идей, что в конечном итоге принесет большую пользу обществу. И я искренне верю, что со временем эти идеи, принятые сейчас в небольшой части мира, будут распространяться на другие страны, в том числе на Россию.

Я признаю, что разные страны имеют разную исследовательскую культуру, разные традиции, разные способы работы, поэтому существует определенный предел возможных изменений, но я чувствую, что это критически важно для всех нас. 

Примечания

1. Лейденский манифест, разработанный группой исследователей и опубликованный в журнале Nature в 2015 году, излагает набор из 10 принципов использования количественных показателей при оценке научно-исследовательской деятельности. Манифест подчеркивает необходимость ответственного использования индикаторов и призывает исследователей, политиков и финансирующие организации учитывать более широкий контекст и качественные аспекты исследований при оценке их воздействия. Это требует более целостного подхода к оценке исследований с учетом таких факторов, как значимость исследовательских вопросов, строгое соблюдение исследовательского протокола и потенциальные социально-экономические эффекты исследования. Лейденский манифест оказал значительное влияние на научное сообщество, вызвав дискуссии и реформы в области оценки научно-исследовательской деятельности.

2. Основная цель SEP заключается в оценке исследовательской единицы в соответствии с ее собственными целями и планами, включая адекватность самих целей и планов. Прохождение SEP помогает исследовательскому подразделению отслеживать и улучшать уровень качества проводимых исследований в рамках непрерывного процесса обеспечения качества. Оценка исследовательского подразделения проводится преимущественно на основе отчета самооценки объекта оценивания, также организуется выезд оценочной комиссии на объект.

3. Соглашение о реформировании оценки исследований определяет общее направление изменений в практике оценки исследователей и исследовательских организаций с общей целью максимизировать качество и эффекты исследований. Соглашение включает принципы, обязательства и сроки проведения реформ, а также излагает принципы создания коалиции организаций, желающих работать вместе над внедрением изменений. Соглашение подготовлено Европейской университетской ассоциацией (EUA), Science Europe и Европейской комиссией при непосредственном вовлечении в процесс всех заинтересованных сторон.