Leidener Manifest zu Forschungsmetriken
Liste von zehn Grundsätzen zur Forschungsbewertung
From Wikipedia, the free encyclopedia
Das Leiden Manifesto for research metrics, deutsch Leidener Manifest zu Forschungsmetriken, ist eine Liste von zehn Grundsätzen zur Forschungsbewertung. Es wurde im September 2014 von einer Gruppe von Wissenschaftsforschern um Diana Hicks und Paul Wouters auf der 19. Internationalen Konferenz zu Wissenschafts- und Technologie-Indikatoren (19th International Conference on Science and Technology Indicators, STI 2014 Conference)[1] im niederländischen Leiden formuliert und am 22. April 2015 als Kommentar in der wissenschaftlichen Fachzeitschrift Nature veröffentlicht.
Das Manifest ist als Leitfaden gedacht, der dabei helfen soll, den Missbrauch der Bibliometrie bei der Forschungsevaluation zu bekämpfen. Beispiele für häufig verwendete Bibliometrie/Szientometrie in der Wissenschaft sind der h-Index, der Impact-Faktor und alternative Metriken (Altmetrics). Zentrale Forderung des Manifests ist, dass die mithilfe der Bibliometrie gewonnenen quantitativen Informationen sich nicht „von einem Werkzeug in das Ziel“ verwandeln dürfen.[2] Laut den Autoren des Manifests führen diese Metriken oftmals zu einer weitreichenden Fehleinschätzung wissenschaftlicher Materialien. Quantitative Kriterien müssen daher immer mit qualitativen Kriterien kombiniert werden, um zu guten Entscheidungen zu gelangen. Das Manifest richtet sich weniger an die Kollegen aus dem Bereich der Bibliometrie als an Wissenschaftler außerhalb der Szientometrie bzw. an Entscheider in den Hochschulverwaltungen und in der Forschungspolitik,[3.1] denn diese sind zumeist die Anwender der Impact-Informationen.[4]
Geschichte
Ab 1985 hatten nach und nach etliche Länder nationale Forschungsbewertungsschemata eingeführt, die zum Teil ausschließlich auf Metriken beruhen.[3.2]
Die falsche Verwendung von Metriken und speziell des Impact-Faktors zur Forschungsbewertung wird von Szientometrikern schon seit den 1990er Jahren kritisiert.[5] Sozialwissenschaftliche Studien zu den Auswirkungen der Quantifizierung wissenschaftlicher Leistungen werden zunehmend durch Veröffentlichungen mit eher politischer Ausrichtung ergänzt, als Beispiel mündete die Kritik 2013 in der San Francisco Declaration on Research Assessment (DORA).[6.1]
Kritikpunkte des Leidener Manifests
Der wichtigste Kritikpunkt des Manifests ist, dass Forschungsbewertungen, die früher maßgeschneidert waren und von Fachkollegen durchgeführt wurden, heute routinemäßig aufgrund von Metriken entschieden werden. Die Bewertung wird nun eher von Daten als von Urteilsvermögen geleitet.[2.1][6.2] „Gutachter dürfen jedoch nicht der Versuchung erliegen, die Entscheidungsfindung den Zahlen zu überlassen. Indikatoren dürfen ein fundiertes Urteil nicht ersetzen“.[2.2]
Im Leidener Manifest wird außerdem die zunehmende Obsession von Einrichtungen zu ihrer Position in Hochschulrankings wie dem Shanghai-Ranking oder dem THE-Ranking kritisch erwähnt.[2.2]
Die zehn Prinzipien
Das Manifest ist ein Listicle[3.3] mit 10 Prinzipien, denen jeweils eine Erläuterung folgt. Die Prinzipien haben Aufforderungscharakter und lauten:
- Quantitative Untersuchungen sollen qualitative Bewertungen durch Experten unterstützen.
- Messt die Leistung anhand der Forschungsaufträge der Einrichtung, der Gruppe oder des Forschers.
- Schützt die Spitzenleistungen der lokal relevanten Forschung.
- Die Datensammlung und die Verarbeitungsschritte müssen offen, transparent und einfach bleiben.
- Die Begutachteten müssen die Daten und die Analysen überprüfen können.
- Berücksichtigt die unterschiedlichen Publikations- und Zitationskulturen.
- Die grundlegende Bewertung einzelner Forscher muss anhand einer qualitativen Beurteilung ihrer Veröffentlichungen erfolgen.
- Vermeidet fehlgeleitete Konkretheit und falsche Präzision.
- Erkennt die systemischen Auswirkungen von Bewertungen und Indikatoren.
- Hinterfragt und aktualisiert die Indikatoren regelmäßig.
Es wurde eine Webseite eingerichtet, auf der ein Erläuterungsvideo[7] bereitgestellt wurde. Freiwillige übersetzten das Manifest nach der Veröffentlichung in 25 verschiedene Sprachen.
Rezeption
Überwiegend wird die Umsetzung der Empfehlungen des Manifests als ressourcenintensiv, aber lohnenswert beschrieben. Das Manifest wird oft gemeinsam mit DORA und einem Report des UKRI (The metric tide: review of metrics in research assessment) zitiert,[3.4] so auch in dem europäischen Reformprojekt CoARA von 2022. Etliche Universitäten und Forschungseinrichtungen verschiedener Nationen haben seit der Veröffentlichung des Manifests damit begonnen, Vorgaben aus dem Manifest in ihren Forschungsbewertungskriterien zu berücksichtigen, darunter Einrichtungen in Brasilien, Panama, Portugal und Universitäten in Großbritannien und Belgien.[3.5]
Das Leidener Manifest hat zudem praktische Implementierungsfragen für wissenschaftliche Bibliotheken angestoßen.[8.1]
2016 erhielt das Manifest den von der European Association for the Study of Science and Technology (EASST) vergebenen Ziman Award, der für Aktivitäten verliehen wird, die die Interaktion von Wissenschaft und Technologie mit der Öffentlichkeit fördern.[9]
Die indischen Wissenschaftler Tanuj Kanchan und Kewal Krishan urteilen in einem Kommentar in der Zeitschrift Science and Engineering Ethics, dass das Leidener Manifest angesichts des Wettlaufs um mehr und mehr publizierte Paper „eines der besten Kriterien“ für die Bewertung wissenschaftlicher Forschung sei.[10]
Literatur
- Diana Hicks, Paul Wouters, Ludo Waltman, Sarah de Rijcke, Ismael Rafols: Bibliometrics: The Leiden Manifesto for research metrics. Nature 520, 429–431 (2015). https://doi.org/10.1038/520429a (Link zum Volltext, abgerufen am 30. November 20)
- Deutsche Übersetzung von Gerald Langhake: Bibliometrie: Das Leidener Manifest zu Forschungsmetriken
Weblinks
- https://www.leidenmanifesto.org/
- Erklärvideo (englisch) The Leiden Manifesto for Research Metrics
- Best Practices in Research Metrics: A Conversation with the lead author of the Leiden Manifesto. (Youtube-Video vom 14. Oktober 2020).