Перевод
Точные цифры все чаще используются для управления научными исследованиями. Оценка эффективности научных исследований раньше выполнялась силами коллег и была индивидуализирована, а теперь она стала рутиной и основана на наукометрии. Однако, проблема в том, что сегодня главными стали точные цифры, а не экспертные суждения. Наукометрия внедряется с благими намерениями, но сейчас не всегда обоснованно, а зачастую неправильно применяется. В силу того, что всё чаще организации руководствуются оценками научной деятельности, есть риск испортить систему научных исследований теми же инструментами, которые созданы для её улучшения.
До 2000 г. Индекс научного цитированияએ (Science Citation Index) создавался Институтом научной информации (Institute for Scientific Information) и распространялся среди экспертов на CD-ROM для специального анализа. В 2002 г. Thomson Reutersએ запустила легко доступную интегрированную веб-платформу и базу данных Web of Scienceએ. Позже появились конкурирующие индексы цитирования: Elsevier’y Scopusએ (запущен в 2004 г.) и Google Scholarએ (бета-версия выпущена в 2004 г.). Появление таких веб-инструментов, как InCites (на базе Web of Science) и SciVal (на базе Scopus) позволили легко сравнивать эффективность научных исследований организаций и их влияние (импакт). Кроме того, программное обеспечение Google Scholar (Publish or Perish, выпущено в 2007 г.) позволяет сравнивать научные публикации отдельных учёных.
В 2005 г. физик из Университета Калифорнии в Сан-Диего Хорхе Хирш предложил h-индекс (индекс Хиршаએ) для подсчета количества цитирований отдельных исследователей. С 1995 г. наблюдается уверенный рост интереса к импакт-факторએам журналов (см. «Одержимость импакт-фактором»). В последнее время набирает силу наукометрия, связанная с социальными сетями и онлайн-обсуждением: в 2002 г. создан , в 2008 г. – , в 2011 г. – (при поддержке Macmillan Science and Education, которому принадлежит Nature Publishing Group). Как специалисты по наукометрии, обществоведы и научные управленцы, мы с растущей тревогой наблюдаем широкое распространение ошибочного использования индикаторов при оценке эффективности научной деятельности. Вот лишь некоторые из многочисленных примеров. По всему миру университеты охватила одержимость позициями в глобальных рейтингах (например, Шанхайский рейтинг и список ), хотя эти списки, по нашему мнению, основаны на неточных данных и произвольных индикаторах.
Сегодня некоторые работодатели стали требовать от кандидатов заданные значения h-индекса. Есть университеты, где решения о карьерном продвижении сотрудников основываются на пороговых значениях h-индекса и на количестве статей в журналах с «высоким импакт-фактором». Исследователи, особенно в биомедицине, получили возможность хвастаться этими своими показателями в резюме. Повсюду научные руководители заставляют аспирантов публиковаться в журналах с высоким импакт-фактором для получения финансовой поддержки. В Скандинавии и Китае некоторые университеты распределяют средства или бонусы на основе количественных показателей: к примеру, рассчитывают индивидуальные импакт-факторы для распределения «ресурсов по индикаторам эффективности научной работы» или предоставляют исследователям бонусы за публикацию в журнале с импакт-фактором выше 15.
Довольно часто исследователи и те, кто их оценивает, все равно приходят к единому мнению. Однако злоупотребление наукометрией стало слишком распространённым, чтобы не обращать на это внимания.
Поэтому, мы предлагаем Лейденский манифест, названный так после конференции, на которой он был представлен и одобрен (см. ). Эти десять принципов не станут новостью для занимающихся наукометрией, хотя никто из нас по отдельности не смог бы изложить их во всей полноте, поскольку до сего времени такая кодификация отсутствовала. Светила наукометрии, такие, как основатель ISI Юджин Гарфилд (Eugene Garfield) уже провозглашали некоторые из них, но их не принимали во внимание специалисты по оценке научной деятельности в своих отчётах перед университетскими управленцами, которые, конечно, не эксперты соответствующих методологий. Ученые, занятые поиском литературы, чтобы с её помощью оспорить ту или иную оценку, находят материалы в разрозненных и – с их точки зрения – неизвестных журналах, доступ к которым у для них ограничен.
Мы предлагаем основные принципы в оценке эффективности исследовательской работы, основанной на наукометрии, с тем, чтобы ученые могли бы проверять оценщиков, а «оценщики» могли бы проверять свои индикаторы.
![Leiden2[1]](http://waksoft.susu.ru/wp-content/uploads/2016/07/Leiden21.jpg)
Десять принципов
1. Количественная оценка должна дополнять качественную, экспертную оценку
Количественные измерения могут уравновесить возможность предубеждения при экспертном рецензировании (peer review) и упростить обсуждение. Они должны усилить экспертное рецензирование, поскольку трудно судить коллег, не владея всем спектром необходимых сведений. Тем не менее, специалисты, проводящие оценку научной деятельности, не должны следовать соблазну переложить принятие решений на числа.
Индикаторы – не замена информированному мнению. Каждый сохраняет ответственность за свою оценку.
2. Сопоставляйте научную работу с исследовательскими задачами организации, группы или ученого
Цели исследовательской программы должны быть описаны в начале работы, а индикаторы, используемые для оценки научной работы, должны четко соответствовать этим целям. Выбор индикаторов и возможности их использования должны учитывать широкий социально-экономический и культурный контекст. У ученых разные научные задачи. Исследование, расширяющие границы научных знаний, отличаются от исследования, сосредоточенного на поиске решений общественных проблем. Экспертная оценка может быть основана не только на академических идеях о научных достижениях, но и принимать во внимание достоинства, важные для политических решений, производства или общества. Единая модель оценки не применима ко всем контекстам.
3. Отстаивайте научное качество исследований, важных для того или иного региона
Во многих частях мира высокое качество научного исследования приравнивается к публикациям на английском языке. Испанское законодательство, к примеру, утверждает желательность публикаций испанских ученых в журналах с высоким импакт-фактором.
Импакт-фактор рассчитывается все еще в основном по англоязычной базе Web of Scienceએ, расположенной в США. Эта специфика создает особые проблемы для общественных и гуманитарных наук, где исследования в значительной степени носят региональный и национальный характер. Многие другие дисциплины также имеют национальное или региональное значение, например, эпидемиология ВИЧ в Африке южнее Сахары.
Плюрализм и общественная значимость подавляются в пользу текстов, которые представляют интерес для «сторожей» высокого импакт-фактора – англоязычных журналов. В Web of Science широко цитируют только тех испанских социологов, которые работают на абстрактных моделях или проводят исследования на материалах США. Характерные черты работы тех социологов, чьи испаноязычные статьи имеют высокий импакт-факторએ, с такими темами, как местное рабочее законодательство, здравоохранение для пожилых семей или занятость иммигрантов теряются. Наукометрия, основанная на высококачественной не-англоязычной литературе, поможет определить и вознаградить высокий научный уровень в исследованиях, значимых для конкретных регионов.
4. Сохраняйте методологию сбора данных и процессы анализа открытыми, прозрачными и простыми
Создание баз данных, требуемых для оценки, должно четко следовать определенным правилам, установленным до завершения оценки эффективности исследования. В последние десятилетия это правило было обычной практикой в академических и коммерческих группах, создававших методологию библиометрической оценки. Такие группы публиковали свои протоколы в рецензируемой литературе. Прозрачность делала возможным тщательную проверку. Например, в 2010 г. общественное обсуждение технических свойств одного важного показателя, используемого одной из таких групп (Центр изучения науки и технологии в Лейденском университете в Нидерландах) привело к пересмотру методики расчета этого индикатора. Коммерческие организации, которые начали недавно заниматься подобной деятельностью, должны следовать тем же стандартам; никто не должен соглашаться с существованием черного ящика в качестве «машины для оценки».
Простота – достоинство индикатора, поскольку обеспечивает прозрачность. Но грубо упрощённая наукометрия может искажать результаты (см. принцип 7). Эксперты, занимающейся оценкой, должны стремиться к балансу – простота индикатора должна соответствовать сложности исследовательского процесса (Закон необходимого разнообразияએ).
5. Позволяйте оцениваемым исследователям проверять данные и результаты анализа
Для обеспечения качества данных все исследователи, включенные в библиометрические подсчеты, должны иметь возможность проверки своих зафиксированных научных результатов. Каждый, кто руководит процессами оценки или занимается ими, должен обеспечить правильность данных, используя самопроверку или проверку третьей стороной. Университеты могут реализовать этот принцип в своих информационно-исследовательских системах и именно он должен стать основой при отборе поставщиков этих систем. Для сбора точных, высококачественных данных нужны время и деньги. Найдите эти средства.
6. Дисциплины различаются друг от друга по практике публикаций и цитирования
Лучше всего составлять наборы возможных индикаторов и позволять делать выбор в зависимости от дисциплины. Несколько лет назад группа европейских историков получила относительно низкий рейтинг, поскольку они писали больше книг, а не статей в индексируемые Web of Science журналы. Этим историкам не повезло – они работали на департамент психологии. Историкам и обществоведам важно, чтобы в подсчет их публикаций входили и книги, и литература на национальных языках; специалистам по информатике нужно учитывать доклады на конференциях.
Количество цитирований зависит от дисциплины: математические журналы с наивысшим рейтингом имеют импакт-факторએ около 3, а равноценные журналы по клеточной биологии – около 30. Требуется нормализация индикаторов и наиболее убедительный метод нормализации основан на процентилях: каждый текст оценивается на основе процентиля, к которому он принадлежит в распределении цитат в своей дисциплине (к примеру, верхние 1%, 10%, 20%). Одна высокоцитируемая публикация несколько улучшает положение университета в рейтингах, основанных на перцентильных индикаторах, но может вознести университет с середины на самый верх рейтинга по индикаторам, основанным на средних показателях цитирования.
7. Оценка отдельного исследователя должна быть основана на качественной оценке их резюме
Чем старше исследователь, тем выше его h-индекс, даже если он больше ничего не публикует. H-индекс зависит дисциплин: максимум у ученых в области наук о жизни и составляет около 200, а у физиков – 100, обществоведов – 20–30. Он зависит от базы данных: есть исследователи, чей h-индекс составляет около 10 в Web of Science, но 20–30 в Google Scholar. Чтение работ и оценка исследователя куда важнее, чем опора только на один показатель. Даже в сопоставлении больших групп ученых наилучшим подходом будет тот, где принимается во внимание больше сведений об уровне знаний, опыте, деятельности и авторитете отдельного исследователя.
8. Избегайте неуместной конкретности и ложной точности
Научно-технологические индикаторы концептуально подвержены двусмысленности и неопределенности, поэтому требуют четких постулатов, с которыми не все согласны. К примеру, долго обсуждалось значение подсчетов цитирований. Итак, лучше всего использовать разнообразные индикаторы для обеспечения более убедительной и плюралистичной картины. Если погрешности и ошибки можно квантифицировать, например, через показатель величины ошибки («усы»), то такие сведения должны сопровождать публикацию показателей индикаторов. Если это не возможно, то те, кто расчитывают индикаторы, должны, по крайней мере, избегать ложной точности. К примеру, журнальный импакт-фактор публикуется с тремя десятичными знаками во-избежании совпадения показателей. Тем не менее, если принять во внимание концептуальную двойственность и случайную изменчивость подсчетов цитирований, нет смысла ранжировать журналы, основываясь на очень маленьком различии импакт-фактора. Избегайте ложной точности: только один десятичный знак гарантирован.
9. Признайте влияние оценок и индикаторов на систему научных исследований
Индикаторы изменяют систему установленными стимулами. Это влияние нужно предугадывать. Это означает, что наборы индикаторов всегда предпочтительнее – использование лишь одного индикатора создаст дух азартной игры и сместит цели научной работы (целью станет достижение стимулируемого показателя). Например, в 1990-е гг. Австралия финансировала университетские исследования на основе формулы, где в основном учитывалось количество материалов, опубликованных организацией. Университеты могут подсчитать «стоимость» материала в рецензируемом журнале; в 2000 г. она составляла 800 австралийских долларов (около 480 долларов США в том году) в финансировании исследований. Предсказуемо, что число материалов, публикуемых австралийскими учеными, выросло, но размещаться они стали в менее цитируемых журналах, что позволяет сделать предположение о падении качества статей.
10. Регулярно подвергайте индикаторы тщательной проверке и обновлению
Исследовательские задачи и цели оценки меняются и с ними развивается сама система исследований. Когда-то полезная наукометрия становится неадекватной, но возникает новая. Системы индикаторов нужно пересматривать и порой менять. Поняв последствия своей упрощенной формулы, Австралия в 2010 г. ввела более сложный показатель – инициативу «Исследовательское превосходство для Австралии», которая делает акцент на качестве научных исследований.
Следующие шаги
При соблюдении этих десяти принципов оценка исследовательской деятельности может играть важную роль в развитии науки и ее взаимодействии с обществом. Наукометрия может обеспечить ключевой информацией, которую сложно собрать или понять средствами индивидуальной экспертизы. Но нельзя позволять этой количественной информации превратиться из инструмента в самоцель.
Лучшие решения принимаются, когда надежная статистика сочетается с вниманием к целям и природе исследования, которое подвергается оценке. Требуются как количественные, так и качественные данные; и те и другие по-своему объективны. Принятие решений в науке должно быть основано на высококачественных процессах, основанных на данных высочайшего качества.
Авторы:
Дайана Хикс (Diana Hicks) – профессор публичной политики, Джорджийский технологический институт (Атланта, Джорджия, США);
Пауль Воутерс (Paul Wouters) – профессор наукометрии и директор Центра изучения науки и технологии в Лейденском университете (Нидерланды);
Лудо Валтман (Ludo Waltman) – исследователь, Центр изучения науки и технологии в Лейденском университете (Нидерланды);
Сара де Рийке (Sarah de Rijcke) – ассистент, Центр изучения науки и технологии в Лейденском университете (Нидерланды);
Исмаэль Рафолс (Ismael Rafols) – исследователь научной политики, Испанский национальный совет по исследованиям, Политехнический университет Валенсии (Испания).
Полезные материалы
Библиометрия: Лейденский манифест для наукометрии, опубликовано К ВВ, лицензия — Creative Commons Attribution-NonCommercial 4.0 International.
1 нравится это
