flowchart LR
A[article] --> B{is OA?}
B -->|FALSE| D(closed)
B -->|TRUE| C{best OA location?}
C -->|repository| E(green)
C -->|publisher| F{fully OA journal?} --- G
F -->|TRUE| H(gold)
H --> L{APC = 0?}
subgraph OpenAlex [" "]
L -->|TRUE| M(diamond)
OAlabel(OpenAlex) ~~~ M
end
L -->|FALSE| H
F -->|FALSE| I{open license?}
I --->|TRUE| J(hybrid)
I -->|FALSE| K(bronze)
style D fill:#D6D3D1,stroke:#A6A09B,color:#000
style E fill:#50C878,stroke:#059669,color:#fff
style H fill:#f59e0b,stroke:#d97706,color:#fff
style J fill:#C3B1E1,stroke:#8C68C4,color:#fff
style K fill:#CD7F32,stroke:#B87333,color:#fff
style M fill:#6495ED,stroke:#0047AB,color:#fff
style OpenAlex fill:#D3D3D3,color:#000
style OAlabel fill:none,stroke:none,color:#000
G@{ shape: braces, label: "journal_is_in_doaj = true
OR
journal_is_in_doaj = false & fully OA-publisher
OR
jorunal_is_in_doaj = false & only OA-articles" }
Open Access in institutionellen Rankings
Institutionelle oder Hochschulrankings genießen eine hohe Aufmerksamkeit in Wissenschaftspolitik und Öffentlichkeit, weil sie wissenschaftliche Einrichtungen auf globaler Ebene übersichtlich miteinander vergleichen. Sie dienen verschiedenen Interessengruppen, wie politischen Entscheidungsträgern, Hochschulmanagern oder Studieninteressierten, unter anderem als Instrument zur strategischen Entscheidungsfindung, Veranschaulichung der institutionellen Exzellenz oder bei der Wahl des Studienorts (Johnes, 2018; Waltman et al., 2012). Die jeweilige Methodik, auf der die Rankings basieren, ist mitunter zahlreicher Kritikpunkte ausgesetzt, beispielsweise wegen ihrer Tendenz, mehrere Dimensionen des Leistungsspektrums wissenschaftlicher Einrichtungen zu einer einzigen, oft undurchsichtigen Punktzahl zusammenzufassen (Diprose et al., 2023; Piro & Sivertsen, 2016; van Raan, 2005). Dieser Ansatz erschwert nicht nur die Interpretation der Rankings, sondern berücksichtigt auch nicht hinreichend die unterschiedlichen Aufgaben und Prioritäten der Einrichtungen (Huang, Neylon, Brookes-Kenworthy, et al., 2020; Waltman et al., 2012).
In den letzten Jahren hat die Einbeziehung von Open-Access-Kennzahlen in Hochschulrankings an Bedeutung gewonnen. Open Access bezeichnet den freien und uneingeschränkten Online-Zugang zu Forschungsergebnissen (Suber, 2012) und ist zu einem wichtigen Indikator für das Engagement einer wissenschaftlichen Einrichtung für eine offene und transparante Wissenschaftspraxis geworden. Diese Entwicklung wird zusätzlich durch die Vorgaben von Förderorganisationen unterstützt, die Open Access zunehmend als Voraussetzung für die Forschungsförderung betrachten (Deutsche Forschungsgemeinschaft, 2025; Fournier, 2017; Huang, Neylon, Hosking, et al., 2020b; National Institutes of Health, 2024; Rücknagel, 2021; Wellcome, 2025). Diese Vorgaben setzen neben dem Selbstverständnis vieler Einrichtungen einen zusätzlichen Anreiz, Forschungsergebnisse im Open Access zugänglich zu machen. Die Integration von Open-Access-Kennzahlen in Hochschulrankings ermöglicht, den Aktivitäten der Einrichtungen im Bereich Open Access Rechnung zu tragen, und bietet eine zusätzliche Vergleichsdimension (Diprose et al., 2023).
Der Argumentation von Moed (2016) folgend wird davon ausgegangen, dass eine vergleichende Analyse mehrerer Rankingsysteme Nutzenden dabei helfen kann, die in diesen Systemen bereitgestellten Informationen besser zu verstehen sowie informiert zu interpretieren und einzusetzen. Dies gilt ebenfalls für die Open-Access-Dimension von Rankings. Werden Rankings zum Vergleich des institutionellen Open-Access-Engagements oder zum Monitoring entsprechender Aktivitäten herangezogen, hängt die Aussagekraft der Ergebnisse von Rankingsystemen maßgeblich davon ab, wie stark sich die zugrunde liegenden Rankingmethodiken unterscheiden. Bislang liegt jedoch, soweit ersichtlich, keine systematische Untersuchung vor, die speziell die Open-Access-Dimension über mehrere Rankingsysteme hinweg vergleicht.
In dieser Studie wurden institutionelle Rankings mit Open-Access-Indikatoren mittels einer Websuche identifiziert. Rankings wurden einbezogen, sofern sie drei Kriterien erfüllten: (1) es handelt sich um ein Ranking auf institutioneller Ebene (im Gegensatz zu z.B. Zeitschriften- oder Forschenden-Rankings), (2) es ist mindestens ein Open-Access-Indikator enthalten, und (3) es liegt eine globale geografische Ausrichtung vor. Anhand dieser Kriterien konnten fünf institutionelle Rankings mit Open Access als Vergleichsdimension identifiziert werden: das Leiden Ranking 2025 (LR), das Leiden Ranking Open Edition 2025 (LROE), das SCImago Institutions Ranking 2025 (SIR), das Quacquarelli Symonds World University Rankings: Sustainability 2025 (QS) und das COKI OA Dashboard 2025 (COKI). Alle fünf Rankings enthalten einen oder mehrere Open-Access-Indikatoren und sind hinsichtlich ihrer geografischen Abdeckung global ausgerichtet.
Diese Seite bietet eine Übersicht über die Charakteristika der fünf Rankingsysteme, sowie eine Untersuchung dazu, inwieweit die Ergebnisse der Rankings miteinander vergleichbar sind. Dies beinhaltet unter anderem einen Vergleich der von den Rankings verwendeten Datenquellen und Open-Access-Indikatoren, sowie eine Erhebung dazu, in welchem Umfang sich die Einrichtungen an der Datenerhebung durch die Rankinganbieter beteiligen können. Der Fokus liegt dabei insbesondere auf der Open-Access-Dimension.
Institutionelle Rankings mit Open Access als Vergleichsdimension
Die folgenden Abschnitte beginnen mit einer Beschreibung der Kernmerkmale der ausgewählten Rankings. Am Ende jedes Abschnitts werden Details zu den Rankings in einem aufklappbaren Textkasten mit der Überschrift „Ranking-Details“ zusammengefasst. Dazu gehört insbesondere eine umfassende Liste der in jedem Ranking verwendeten Open-Access-Indikatoren.
Leiden Ranking
Das Leiden Ranking wird seit 2007 jährlich vom Centre for Science and Technology Studies (CWTS) der Universität Leiden in den Niederlanden erstellt (Centre for Science and Technology Studies, Leiden University, n.d.-i; Waltman et al., 2012). Das Ranking bietet keine klassische Rangliste, bei der eine Gesamtkennzahl berechnet wird, jedoch verschiedene bibliometrische Indikatoren entlang der Dimensionen scientific impact, collaboration, Open Access und gender. Die Indikatoren werden sowohl in größenabhängiger (absolute Zahlen) als auch in größenunabhängiger (relative Anteile) Form dargestellt, um Unterschiede in der Größe der Universitäten zu berücksichtigen. Das Ranking bietet auch Trendanalysen über Zeiträume und Stabilitätsintervalle, um statistische Unsicherheiten zu berücksichtigen (Centre for Science and Technology Studies, Leiden University, n.d.-c; Van Eck, 2025c).
Die Version 2025 des Leiden Ranking umfasst bibliometrische Daten für 1.594 Universitäten weltweit (Van Eck, 2025c). Indikatoren werden jeweils für Zeiträume von vier Jahren angegeben, die Version 2025 erweitert diese um den Zeitraum 2020–2023 (Van Eck, 2025c). Die bibliographischen Daten stammen aus dem Web of Science, wobei jedoch nur Artikel und Reviews berücksichtigt werden, die in internationalen wissenschaftlichen Zeitschriften veröffentlicht wurden (Van Eck, 2025c). Die Auswahl der Universitäten erfolgt auf der Grundlage ihrer Forschungsleistung, wobei diese mindestens 800 sogenannte core publications vorweisen müssen, um in das Ranking aufgenommen zu werden. Unter core publications werden Veröffentlichungen verstanden, die in internationalen wissenschaftlichen Zeitschriften in solchen Feldern veröffentlicht wurden, die für die Zitationsanalyse geeignet sind. Diese Publikationen müssen in englischer Sprache verfasst sein, mindestens eine:n Autor:in haben, dürfen nicht zurückgezogen (retracted) worden sein und müssen in einem sogenannten core journal erschienen sein. core journals zeichnen sich durch ihre internationale Ausrichtung aus und müssen in einem Feld angesiedelt sein, das für die Zitationsanalyse geeignet ist. Das Leiden Ranking verwendet keine Daten, die direkt von Universitäten stammen (Centre for Science and Technology Studies, Leiden University, n.d.-g; Van Eck, 2025c).
Ein wesentliches Merkmal des Leiden Ranking ist der Fokus auf Open-Access-Veröffentlichungen. Mit der Version 2019 des Rankings wurden Indikatoren zum Open-Access-Publizieren hinzugefügt (Centre for Science and Technology Studies, Leiden University, n.d.-i). Um den Open-Access-Status von Publikationen zu bestimmen, nutzt das Leiden Ranking OpenAlex als Datenquelle (Centre for Science and Technology Studies, Leiden University, n.d.-e; Van Eck, 2025c).
Version: 2025
Website: https://traditional.leidenranking.com/
Ersteller: Centre for Science and Technology Studies (CWTS)
Ranking Typ: Hochschulranking
Sektoren: Hochschulen
Link zur Methodik: https://doi.org/10.5281/zenodo.17473108
Datenquellen: Web of Science (Publikationen), OpenAlex (Open Access Status)
Dimension mit Open-Access-Indikatoren (Gewichtung): Open Access
Open-Access-Indikatoren (Gewichtung):
- Gesamtzahl der Veröffentlichungen einer Universität
- Anzahl und Anteil der Open-Access-Veröffentlichungen einer Universität
- Anzahl und Anteil der Gold-Open-Access-Veröffentlichungen einer Universität
- Anzahl und Anteil der Hybrid-Open-Access-Publikationen einer Universität
- Die Anzahl und der Anteil der Bronze-Open-Access-Publikationen einer Universität
- Die Anzahl und der Anteil der grünen Open-Access-Publikationen einer Universität
- Die Anzahl und der Anteil der Publikationen einer Universität, deren Open-Access-Status unbekannt ist
Publikations-/Update-Rythmus: jährlich
Anzahl an Institutionen: 1.594 Hochschulen
Geographische Abdeckung: global
Darstellung: Multi-Indikatoren Ranking
Datenverfügbarkeit: Ergebnisdaten verfügbar unter CC-BY Lizenz: Van Eck (2025c)
Leiden Ranking Open Edition
Das Leiden Ranking Open Edition wird seit 2024 (Waltman et al., 2024) jährlich vom Centre for Science and Technology Studies (CWTS) der Universität Leiden in den Niederlanden erstellt (Centre for Science and Technology Studies, Leiden University, n.d.-j). Es ist eine annähernde Reproduktion des traditionellen Leiden Ranking unter Nutzung offener Datenquellen (Waltman et al., 2024) und bietet ebenfalls keine klassische Rangliste, sondern verschiedene bibliometrische Indikatoren entlang der Dimensionen scientific impact, collaboration, und Open Access. Die Indikatoren werden in der Open Edition ebenfalls sowohl in größenabhängiger (absolute Zahlen) als auch in größenunabhängiger (relative Anteile) Form dargestellt, um Unterschiede in der Größe der Universitäten zu berücksichtigen. Die Open Edition des Leiden Ranking bietet zudem ebenfalls Trendanalysen über Zeiträume und Stabilitätsintervalle, um statistische Unsicherheiten zu berücksichtigen (Centre for Science and Technology Studies, Leiden University, n.d.-d).
Die Version 2025 des Leiden Ranking Open Edition bietet im Vergleich zur Version 2024 zwei Neuerungen: Einerseits werden neben den core publications auch sogenannte non-core publications bei der Erstellung berücksichtigt. Andererseits werden im Gegensatz zur Version 2024 sowie zum traditionellen Leiden Ranking bibliographische Daten von einer größeren Anzahl an Universitäten erfasst (van Eck et al., 2025). Während die Version 2024 bibliometrische Daten für 1.506 Universitäten weltweit umfasste (Centre for Science and Technology Studies, Leiden University, n.d.-a), stützt sich die Version 2025 auf bibliometrische Daten von 2.831 Universitäten (Centre for Science and Technology Studies, Leiden University, n.d.-h; van Eck et al., 2025). Indikatoren werden jeweils für Zeiträume von vier Jahren angegeben, die Version 2025 erweitert diese um den Zeitraum 2020–2023 (Centre for Science and Technology Studies, Leiden University, n.d.-d). Die bibliographischen Daten stammen aus OpenAlex und die jeweiligen Indikatoren werden separat für das Set an core publications sowie das Set an core publications und non-core publications berechnet und ausgewiesen. Die Definition von core publications und core journals ist im Leiden Ranking Open Edition weitestgehend identisch zum traditionellen Leiden Ranking (Centre for Science and Technology Studies, Leiden University, n.d.-c, n.d.-d). Die Open Edition erweitert jedoch das Set an core publications um Publikationen vom Typ Buchkapitel, die in Buchreihen veröffentlicht wurden. Ferner müssen alle Publikationen nicht nur Autor:innenangaben, sondern auch Affiliationsangaben und Referenzen enthalten, um zu den core publications zu zählen (Centre for Science and Technology Studies, Leiden University, n.d.-d). Für die non-core publications gelten weniger restriktive Kriterien, beispielsweise fällt die Einschränkung auf englischsprachige Publikationen weg und non-core publications können auch in Veröffentlichungsorten außerhalb der core journals erschienen sein, etwa in Zeitschriften mit nationalem oder regionalem Fokus, Büchern, Buchreihen, oder Konferenzbänden (Centre for Science and Technology Studies, Leiden University, n.d.-d).
Auch das Leiden Ranking Open Edition legt einen Fokus auf Open-Access-Veröffentlichungen und bietet weitestgehend dieselben Open-Access-Indikatoren wie das traditionelle Leiden Ranking, mit Ausnahme der Indikatoren zu Publikationen mit unklarem Open-Access-Status (Centre for Science and Technology Studies, Leiden University, n.d.-d). Darüber hinaus weist das Leiden Ranking Open Edition die Besonderheit auf, dass über die Weboberfläche die den Indikatoren zugrunde liegenden Publikationen eingesehen werden können (van Eck, Waltman, et al., 2024).
Version: 2025
Website: https://www.open.leidenranking.com/
Ersteller: Centre for Science and Technology Studies (CWTS)
Ranking Typ: Hochschulranking
Sektoren: Hochschulen
Link zur Methodik: https://open.leidenranking.com/information/data
Datenquellen: OpenAlex
Dimension mit Open-Access-Indikatoren (Gewichtung): Open Access
Open-Access-Indikatoren (Gewichtung):
- Gesamtzahl der Veröffentlichungen einer Universität
- Anzahl und Anteil der Open-Access-Veröffentlichungen einer Universität
- Anzahl und Anteil der Gold-Open-Access-Veröffentlichungen einer Universität
- Anzahl und Anteil der Hybrid-Open-Access-Publikationen einer Universität
- Die Anzahl und der Anteil der Bronze-Open-Access-Publikationen einer Universität
- Die Anzahl und der Anteil der grünen Open-Access-Publikationen einer Universität
Publikations-/Update-Rythmus: jährlich
Anzahl an Institutionen: 2.831 Hochschulen
Geographische Abdeckung: global
Darstellung: Multi-Indikatoren Ranking
Datenverfügbarkeit: Rohdaten und Ergebnisdaten verfügbar unter CC0 Lizenz:
SCImago Institutions Ranking
Das SCImago Institutions Ranking wird seit 2009 jährlich von der SCImago Research Group erstellt (Rousseau et al., 2018). Das Ranking bietet eine klassische Rangliste (league table) von wissenschaftlichen und forschungsnahen Einrichtungen anhand eines zusammengesetzten Indikators auf einer Skala zwischen 0 und 100. Der zusammengesetzte Indikator kombiniert Bewertungen entlang dreier Dimensionen: Forschung, Innovation und gesellschaftliche Wirkung. Der zusammengesetzte Indikator ergibt sich aus einer gewichteten Kombination von Metriken entlang dieser Dimensionen, wobei sowohl größenabhängige als auch größenunabhängige Metriken verwendet werden. Für jede Einrichtung bietet das Ranking zusätzlich noch eine Reihe von Grafiken beispielsweise zu der Rangentwicklung über die Zeit, Vergleichen auf nationaler, regionaler oder globaler Ebene, oder ähnlichen Institutionen gemäß des Publikationsprofils (SCImago Research Group, n.d.-a).
Die Version 2025 des SCImago Institutions Ranking umfasst Daten für 9.755 Institutionen weltweit (SCImago Research Group, n.d.-b). Der zusammengesetzte Indikator wird pro Jahr für einen Zeitraum von fünf Jahren bis zwei Jahre vor Veröffentlichung des Rankings angegeben, für die Version 2025 also für den Zeitraum 2019–2023. Die bibliographischen Daten stammen aus Scopus. Die Auswahl der Institutionen erfolgt auf der Grundlage ihrer Veröffentlichungsleistung. Im letzten Jahr des betrachteten Zeitraums müssen die Institutionen mindestens 100 in Scopus indexierte Publikationen veröffentlicht haben, um in das Ranking aufgenommen zu werden. Ferner müssen mindestens 75% des gesamten Publikationsvolumens einer Einrichtung sogenannte zitierfähige Dokumente ausmachen. Zu den zitierfähigen Dokumenten werden für das SCImago Institutions Ranking die Dokumenttypen Artikel, Bücher, Buchkapitel, Konferenzbeiträge, Data Paper, Editorials, Letters, Notes, Reviews und Short Surveys gezählt (Elsevier, 2026; SCImago Research Group, n.d.-a).
Innerhalb der Forschungsdimension, die mit 50% in den zusammengesetzten Indikator einfließt, wurde mit der Version 2019 ein Open-Access-Indikator dem Ranking hinzugefügt. Dieser geht mit 2% Gewichtung in die Forschungsdimension ein und misst den Prozentsatz der Dokumente, die in Open-Access-Zeitschriften veröffentlicht wurden oder in Unpaywall indexiert sind. Um den Open-Access-Status von Publikationen zu bestimmen, nutzt das SCImago Institutions Ranking Unpaywall als Datenquelle (SCImago Research Group, n.d.-a).
Version: 2025
Website: https://www.scimagoir.com/
Ersteller: SCImago Research Group
Ranking Typ: Institutionenranking
Sektoren: Behörden, Hochschulen, Unternehmen, Gesundheitsorganisationen, Non-Profit Organisationen
Link zur Methodik: https://www.scimagoir.com/methodology.php
Datenquellen: Scopus (Publikationen), Unpaywall (Open Access Status)
Dimension mit Open-Access-Indikatoren (Gewichtung): Research (50%)
Open-Access-Indikatoren (Gewichtung): Prozentualer Anteil der Dokumente, die in Open-Access-Zeitschriften veröffentlicht oder in Unpaywall indexiert sind (2%)
Publikations-/Update-Rythmus: jährlich
Anzahl an Institutionen: 9.756 Hochschulen und forschungsnahe Einrichtungen
Geographische Abdeckung: global
Darstellung: Rangliste (league table)
Datenverfügbarkeit: Ergebnisdaten verfügbar über die Ranking Website, keine Lizenzangabe: https://www.scimagoir.com/rankings.php
QS World University Rankings: Sustainability
Das QS World University Rankings: Sustainability wird seit 2023 jährlich von Quacquarelli Symonds erstellt, nachdem bereits 2022 eine Pilotversion veröffentlicht wurde (Quacquarelli Symonds, 2024). Das Ranking bietet eine klassische Rangliste (league table) von Hochschulen anhand eines zusammengesetzten Indikators sowohl für die einzelnen Kategorien und Unterkategorien (Lenses), als auch eine Gesamtpunktzahl. Dabei werden die kategorialen Punktzahlen für alle bewerteten Institutionen angezeigt, während die Gesamtpunktzahlen nur bis zu einem bestimmten Punkt angezeigt und danach ausgeblendet werden (Quacquarelli Symonds, n.d.-a). Das QS World University Rankings: Sustainability bewertet Institutionen entlang dreier Dimensionen: Environmental Impact, Social Impact, und Governance.
Die Version 2025 des QS World University Rankings: Sustainability umfasst Daten für 1.744 Hochschulen weltweit (Quacquarelli Symonds, 2024). Die bibliographischen Daten stammen aus Scopus und bilden einen 5-jahres Zeitraum ab (Quacquarelli Symonds, n.d.-d). Es werden dabei ausschließlich die Dokumenttypen Artikel, Review, Konferenzbeitrag, Buch, Buchkapitel, Article in Press, Business Article, Data Paper und Report berücksichtigt (Quacquarelli Symonds, n.d.-e, n.d.-f). Institutionen werden nur in das QS World University Rankings: Sustainability aufgenommen, wenn sie einerseits Eignungskriterien für die Aufnahme in mindestens eines der Rankings QS World University Rankings, QS Rankings by Region oder QS Rankings by Subject erfüllen und zusätzlich noch eine Punktzahl ungleich Null für spezifische Indikatoren innerhalb der Dimensionen Environmental Impact und Social Impact erreichen (Quacquarelli Symonds, n.d.-g).
Innerhalb der Governance-Dimension, die mit 10% in die Gesamtpunktzahl einfließt, bildet ein Indikator Open-Access-Publikationen ab. Dieser geht mit 1% Gewichtung in die Governance-Dimension ein und misst den Anteil an Open-Access-Publikationen am gesamten Publikationsvolumen. Der Anteil wird einzeln für die sechs berücksichtigten Felder berechnet und zu einer gewichteten Summe aggregiert. Gold- und Hybrid-Publikationen werden bei der Berechnung stärker gewichtet als Publikationen, die über den grünen Open-Access-Weg veröffentlicht wurden. Um den Open-Access-Status von Publikationen zu bestimmen, nutzt das QS World University Rankings: Sustainability Unpaywall als Datenquelle (Quacquarelli Symonds, n.d.-b).
Version: 2025
Website: https://www.topuniversities.com/sustainability-rankings
Ersteller: Quacquarelli Symonds Ltd.
Ranking Typ: Hochschulranking
Sektoren: Hochschulen
Link zur Methodik: https://support.qs.com/hc/en-gb/articles/8551503200668-QS-World-University-Rankings-Sustainability
Datenquellen: Scopus (Publikationen), Unpaywall (Open Access Status)
Dimension mit Open-Access-Indikatoren (Gewichtung): Governance (10%)
Open-Access-Indikatoren (Gewichtung): Der Anteil der gesamten Forschungsergebnisse einer Einrichtung, die laut Unpaywall im Open Access verfügbar sind (1%)
Publikations-/Update-Rythmus: jährlich
Anzahl an Institutionen: 1.744 Hochschulen
Geographische Abdeckung: global
Darstellung: Rangliste (league table)
Datenverfügbarkeit: Ergebnisdaten verfügbar über die Ranking Website nach Registrierung, keine Lizenzangabe: https://www.topuniversities.com/sustainability-rankings
COKI OA Dashboard
Das COKI Open Access Dashboard wird seit 2022 von der Curtin Open Knowledge Intitiative erstellt (Curtin Open Knowledge Initiative, 2022; Curtin Open Knowledge Initiative & Wilson, 2022). Das Dashboard ist kein klassisches Ranking, jedoch lassen sich Institutionen und Länder nach dem Open Access Anteil sowie den gesamten und Open-Access-Publikationsvolumina sortieren (Curtin Open Knowledge Initiative, 2022). Das Dashboard zeigt ferner für die einzelnen Länder und Institutionen an, über welche Plattform die Open-Access-Veröffentlichungen verfügbar gemacht werden, sowohl aggregiert über den gesamten Publikationszeitraum, als auch aufgeschlüsselt für die einzelnen Publikationsjahre (Curtin Open Knowledge Initiative, 2022).
Die Version vom 18.08.2025 des COKI Open Access Dashboard umfasst Daten für 227 Länder und 56.187 Institutionen weltweit (Curtin Open Knowledge Initiative, n.d.-c). Die bibliographischen Daten stammen aus mehreren offenen Datenquellen und berücksichtigen den Publikationszeitraum 2000–2024, zur Identifikation von Publikationen wird insbesondere Crossref genutzt (Curtin Open Knowledge Initiative, n.d.-c, n.d.-d). Die Auswahl der Dokumenttypen ist im Vergleich zu den anderen Rankings weniger restriktiv, ausgeschlossen werden lediglich Publikationen mit den Typen Datensätze, Datenbanken, Komponenten, Berichtskomponenten, Peer Reviews, Fördermittel, Tagungsbände, Zeitschriftenausgaben, Berichtsreihen, Buchverzeichnisse, sowie alle Publikationen ohne angegebenen Dokumenttyp (Curtin Open Knowledge Initiative, n.d.-c). Institutionen müssen mindestens 50 Publikationen aufweisen, um in das COKI Open Access Dashboard aufgenommen zu werden, es sei denn, die Institutionen waren bereits im Datensatz aufgenommen, als dieser noch auf Microsoft Academic Graph basierte (Curtin Open Knowledge Initiative, n.d.-c).
Das COKI Open Access Dashboard legt den Fokus ausschließlich auf Open-Access-Aktivitäten der Institutionen und Länder. Während in der Listenansicht vorwiegend die absolute Anzahl sowie der prozentuale Anteil an Open-Access-Veröffentlichungen dargestellt wird, zeigen Detailansichten zu einzelnen Institutionen und Ländern differenziertere Aufschlüsselungen zu Publikationsaktivitäten und -orten, ergänzt durch Visualisierungen (Curtin Open Knowledge Initiative, n.d.-d). Um den Open-Access-Status von Publikationen zu bestimmen, nutzt das COKI Open Access Dashboard Unpaywall als Datenquelle (Curtin Open Knowledge Initiative, n.d.-c).
Version: 18.08.2025
Website: https://open.coki.ac/
Ersteller: Curtin Open Knowledge Initiative
Ranking Typ: Länder- und Institutionen-Ranking
Sektoren: Förderorganisationen, Behörden, Hochschulen, Unternehmen, Gesundheitsorganisationen, Non-Profit Organisationen, Infrastrukturorganisationen, Archive, Sonstige
Link zur Methodik: https://open.coki.ac/how/
Datenquellen: Crossref (Publikationen), Unpaywall (Open Access Status)
Dimension mit Open-Access-Indikatoren (Gewichtung): –
Open-Access-Indikatoren (Gewichtung):
- Prozentualer Anteil an Open-Access-Veröffentlichungen
- Gesamtanzahl der Veröffentlichungen
- Gesamtanzahl an Open-Access-Veröffentlichungen
- Prozentualer Anteil an Artikeln, die über den Verlag Open Access zugänglich sind
- Prozentualer Anteil an Artikeln, die über andere Platformen Open Access zugänglich sind (Repositorien, Preprint-Server, etc.)
- Prozentualer Anteil an Artikeln, die sowohl über den Verlag, als auch über andere Platformen Open Access zugänglich sind
- Prozentualer Anteil an Closed Artikeln
- Prozentualer Anteil an Artikeln, die in einer Open-Access-Zeitschrift veröffentlicht wurden
- Prozentualer Anteil an Artikeln, die in einer Hybrid Zeitschrift Open Access zugänglich sind
- Prozentualer Anteil an Artikeln, die über den Verlag ohne Wiederverwendungsrechte Open Access sind
- Prozentualer Anteil an Artikeln, die über institutionelle Repositorien Open Access sind
- Prozentualer Anteil an Artikeln, die über Preprint Server Open Access sind
- Prozentualer Anteil an Artikeln, die über Fachrepositorien Open Access sind
- Prozentualer Anteil an Artikeln, die über anderweitige, öffentliche Repositorien Open Access sind
- Prozentualer Anteil an Artikeln, die über anderweitige Webseiten oder Portale Open Access sind
Publikations-/Update-Rythmus: regelmäßig
Anzahl an Institutionen: 56.187 Institutionen
Geographische Abdeckung: global
Darstellung: Multi-Indikatoren Dashboard
Datenverfügbarkeit: Ergebnisdaten verfügbar unter CC-BY Lizenz: Hosking et al. (2025)
Vergleichbarkeit der Ranking-Ergebnisse
Um zu beurteilen, wie vergleichbar die Ergebnisse der ausgewählten Rankings sind, konzentrieren sich die nachfolgenden Abschnitte auf die Überprüfung folgender Aspekte: die Anzahl und Überschneidung der in allen Rankings vertretenen Institutionen, die geografische Verteilung der Institutionen über Länder und Weltregionen hinweg, die von den Rankings verwendeten Datenquellen, die von den Rankings verwendeten Open-Access-Indikatoren und deren Gewichtung, sowie die Möglichkeit der institutionellen Beteiligung am Datenerhebungsprozess der Ranking-Anbieter.
Es soll dabei herausgearbeitet werden, inwiefern sich die einzelnen Rankingsysteme unterscheiden und welche Auswirkungen dies mitunter für die Nutzung eines bestimmten Rankings bei Open-Access-Monitoringaktivitäten oder der strategischen Entscheidungsfindung haben kann.
Überschneidung von Institutionen
Zur Bestimmung der institutionellen Überschneidungen zwischen den Rankings wurden zunächst die verfügbaren Ergebnisdaten der Rankings heruntergeladen1. Neben den Namen und Standorten (Länderangaben, teilweise auch Angaben zu Regionen und Unterregion) aller Institutionen, enthalten die Daten der beiden Versionen des Leiden Rankings sowie des COKI OA Dashboards auch Identifier aus dem Research Organization Registry (ROR). Darüber hinaus umfassen die Daten des COKI OA Dashboard und des SCImago Institutions Ranking Sektorenzuordnungen für alle in den Rankings abgebildeten Institutionen.
Um identische Institutionen zwischen den Rankings anhand ihrer ROR-IDs eindeutig zuordnen zu können, mussten zunächst die Daten des SCImago Institutions Rankings und des QS Sustainability Rankings um ROR-IDs ergänzt werden. Dazu wurde der gesamte ROR-Datensatz in der Version 2.9 (Research Organization Registry, 2026) heruntergeladen. Anschließend wurde jeweils für beide Rankings ein maschineller Abgleich auf Basis der institutionellen Namensansetzung und der Länderangabe mit den ROR-Daten durchgeführt. Die QS Daten enthielten Einträge für insgesamt 1.743 Institutionen2, von denen 502 Institutionen mittels des maschinellen Abgleichs keine ROR-IDs zugeordnet werden konnten.
Schwieriger gestaltete sich die Zuordnung von ROR-IDs zu den 9.755 im SCImago Institutions Ranking inkludierten Institutionen3. Über den maschinellen Abgleich auf Basis der institutionellen Namensansetzung und der Länderangabe konnten zu 5.065 Institutionen keine ROR-IDs zugeordnet werden. In Teilen könnte dies darauf zurückzuführen sein, dass das SCImago Institutions Ranking auch Institutionen listet, die als multinational gekennzeichnet sind (SCImago Research Group, n.d.-a). Dies scheint insbesondere Unternehmen zu betreffen, die überregional agieren, beispielsweise Google. Zwar bietet ROR auch IDs für Unternehmen (siehe Google), scheint dabei jedoch eindeutige Länderzuordnungen vorzunehmen. Die größere Schwierigkeit für den maschinellen Abgleich stellen jedoch vermutlich unterschiedliche Namensansetzungen zwischen dem SCImago Institutions Ranking und ROR dar4. Um die Abdeckung mit ROR-IDs für das SCImago Institutions Ranking zu erhöhen, wurde ein fuzzy matching Ansatz getestet, der auch alternative Namensformen und Akronyme aus dem ROR-Datensatz berücksichtigte. Das Ergebnis war jedoch nicht hinreichend genau und hätte einen hohen Datenbereinigungsaufwand erfordert. Insgesamt stellt dies eine deutliche Limitation für die Verwendbarkeit des SCImago-Datensatzes für eine globale Analyse der institutionellen Überschneidungen dar.
Aufgrund der Einschränkungen bei der Zuordnung von ROR-IDs wurde entschieden, die Analyse der institutionellen Überschneidungen auf Einrichtungen aus Deutschland zu beschränken. Im Datensatz des QS Sustainability Ranking konnten insgesamt 50 Einrichtungen aus Deutschland identifiziert werden, von denen allen eine ROR-ID zugeordnet werden konnte, entweder über den maschinellen Abgleich oder manuelle Ergänzungen. Im Datensatz des SCImago Institutions Ranking konnten insgesamt 364 Einrichtungen aus Deutschland identifiziert werden, von denen 342 keine ROR-ID über den maschinellen Abgleich zugeordnet werden konnten. Für diese 342 wurde eine manuelle Zuordnung vorgenommen, allerdings konnte für 5 dieser Einrichtungen keine Zuordnung einer ROR-ID erfolgen, da diese keinen Datensatz in ROR haben. Für die Analyse der institutionellen Überschneidungen deutscher Einrichtungen konnten demnach 385 Einrichtungen für das SCImago Institutions Ranking berücksichtigt werden.
Abb. 1 stellt quantitativ die institutionellen Überschneidungen deutscher Einrichtungen zwischen den Rankings dar. Die Abbildung bezieht dabei nur die Institutionen ein, denen ROR-IDs zugeordnet werden konnten.
Insgesamt konnten nach dem Abgleich der ROR-IDs 2.928 einzigartige Institutionen aus Deutschland über alle Rankingsysteme hinweg identifiziert werden. Anhand von Abb. 1 ist zu erkennen, dass das COKI OA Dashboard deutlich mehr deutsche Einrichtungen abbildet, als alle anderen Rankingsysteme, sowohl insgesamt (2.927 Institutionen, 99,97%), als auch in Bezug auf die Anzahl an Institutionen, die in keinem anderen Rankingsystem abgebildet werden (2.570 Institutionen, 87,77%). Dies könnte insbesondere darauf zurückzuführen sein, dass das COKI OA Dashboard einerseits einen relativ langen Publikationszeitraum abbildet (2000–2024) und andererseits auch Institutionen aus mehreren Sektoren, sowie Institutionen mit einem relativ geringen Publikationsvolumen von i.d.R. mindestens 50 Publikationen in das Ranking aufnimmt (Curtin Open Knowledge Initiative, n.d.-c, n.d.-b).
Abb. 1 zeigt ferner, dass von den 358 aus dem SCImago Institutions Ranking berücksichtigten Institutionen, 1 Institutionen (0,03%) in keinem anderen Ranking erfasst sind. Dahingegen werden alle Institutionen aus beiden Versionen des Leiden Ranking sowie aus dem QS Sustainability Ranking auch in mindestens einem weiteren Ranking abgebildet. Insgesamt sind lediglich 47 Institutionen (1,61%) in allen fünf Rankingsystemen erfasst.
Während das QS Sustainability Ranking sowie beide Versionen des Leiden Ranking lediglich Hochschulen in ihre Rankings einbeziehen, sind im COKI OA Dashboard und dem SCImago Institutions Ranking auch Institutionen aus anderen Sektoren erfasst. Hochschulen werden im COKI-Datensatz mit dem Institutionentyp Education klassifiziert, während im Datensatz des SCImago Institutions Ranking der Sektor Universities für Hochschulen zugewiesen ist. Um folgend die institutionellen Überschneidungen der deutschen Hochschulen zwischen den fünf Rankingsystemen zu untersuchen, wurde im zusammengeführten Datensatz aller Rankingsysteme eine Spalte sector hinzugefügt. Für Einrichtungen, die in beiden Versionen des Leiden Ranking oder im QS Sustainability Ranking abgebildet sind, wurde die Sektorzuordnung Universities ergänzt. Für Einrichtungen, die im SCImago Institutions Ranking oder COKI OA Dashboard abgebildet sind wurde die ursprüngliche Klassifikation beibehalten. Anschließend wurde der Datensatz nach Einrichtungen gefiltert, denen in der sector-Spalte die Werte Universities oder Education zugewiesen waren.
Abb. 2 stellt folgend die institutionellen Überschneidungen bezogen auf deutsche Hochschulen zwischen den Rankings dar. Die Abbildung bezieht dabei ebenfalls nur diejenigen Institutionen ein, denen ROR-IDs zugeordnet werden konnten.
Insgesamt konnten 395 verschiedene deutsche Hochschulen über alle Rankingsysteme hinweg identifiziert werden. Abb. 2 zeigt, dass das COKI OA Dashboard auch in Bezug auf die deutschen Hochschulen deutlich mehr Institutionen abbildet, als alle anderen Rankingsysteme, sowohl insgesamt (395 Institutionen, 100%), als auch in Bezug auf die Anzahl an Institutionen, die in keinem anderen Rankingsystem erfasst sind (287 Institutionen, 72,66%). Nach Angaben des Statistischen Bundesamt wurden im Wintersemester 2024/2025 insgesamt 422 deutsche Hochschulen gezählt (Statistisches Bundesamt, 2025). Demnach bildet das COKI OA Dashboard nach aktuellem Stand 93,6% aller deutschen Hochschulen ab. Es ist zudem das einzige Rankingsystem, das Hochschulen abbildet, die in keinem anderen Ranking erfasst sind. Die absolute Anzahl an deutschen Hochschulen, die in allen fünf Rankingsystemen erfasst sind ist mit 47 Hochschulen unverändert zur absoluten Anzahl aller deutschen Einrichtungen, die in allen fünf Rankingsystemen erfasst sind.
Das COKI OA Dashboard und das SCImago Institutions Ranking sind die beiden einzigen der untersuchten Rankingsysteme, die nicht nur Hochschulen in ihre Rankings mit einbeziehen. In Bezug auf Deutschland entfallen auf die insgesamt 2.927 deutschen Einrichtungen, die im COKI OA Dashboard abgebildet sind, 13,5% auf deutsche Hochschulen. Im Vergleich entfallen auf die insgesamt 358 deutschen Einrichtungen, die im SCImago Institutions Ranking abgebildet sind, 30,17% auf deutsche Hochschulen. Für beide Rankingsysteme lässt sich demnach feststellen, dass der Großteil an abgebildeten deutschen Einrichtungen anderen Sektoren zugewiesen ist.
Geographische Verteilung
Abbildungen 3 und 45 zeigen folgend die geographische Verteilung der Institutionen in Bezug auf die Länder und Weltregionen, in denen sie lokalisiert sind. Auch wenn alle fünf Rankings eine globale Ausrichtung haben, soll anhand der Abbildungen visualisiert werden, ob es Unterschiede in der geographischen Verteilung zwischen den Rankings gibt. Um eine bessere Vergleichbarkeit zu gewährleisten, wurde entsprechend auf die Institutionen eingeschränkt, die dem Hochschulsektor (Universities, Education) zugeordnet sind.
Betrachtet man die absoluten Anzahlen an Hochschulen, so zeigen Abbildungen 3 und 4 insbesondere, dass für beide Versionen des Leiden Ranking sowie das SCImago Institutions Ranking die meisten Hochschulen in China ansässig sind (LR: Institutionen, LROE: Institutionen, SIR: Institutionen). Hingegen sind für das QS Sustainability Ranking sowie das COKI OA Dashboard die meisten Institutionen in den Vereinigten Staaten von Amerika ansässig (QS: Institutionen, COKI: Institutionen). Ferner verdeutlichen die Abbildungen, dass, mit Ausnahme des COKI OA Dashboards, insbesondere einige Länder aus dem globalen Süden gar nicht in den Rankingsystemen repräsentiert sind.
Zusätzlich zur absoluten Anzahl an Hochschulen pro Land und Rankingsystem soll im Folgenden die Über- bzw. Unterrepräsentation von Ländern innerhalb der Rankingsysteme anhand der preference nach Moed (2016) betrachtet werden. Moed (2016) definiert die preference als6:
The preference of ranking system R for a particular country C is expressed as the ratio of the actual and the expected number of institutions from C appearing in R, where the expected number is based on the total number of institutions across countries and across systems, under the assumption of independence of these two variables. A value of 1.0 indicates that the number of institutions from C in R is ‘as expected’.
Der resultierende Präferenzwert (preference score) misst also, ob ein Land, gemessen an der Anzahl dort ansässiger Institutionen, innerhalb eines Rankingsystems überproportional oder unterproportional repräsentiert ist. Das Maß ist bei einem Wert von 1 neutral, d.h. die Anzahl an Institutionen aus einem Land in einem Rankingsystem entspricht den Erwartungen. Werte über 1 deuten darauf hin, dass mehr Institutionen aus einem Land in einem Rankingsystem erfasst sind als erwartet. Werte unter 1 deuten darauf hin, dass weniger Institutionen aus einem Land in einem Rankingsystem erfasst sind als erwartet.
Tab. 1 stellt für alle fünf Rankingsysteme für die Top-5-Länder, gemessen am Präferenzwert (preference score), die absolute Anzahl an Hochschulen und den jeweiligen Präferenzwert dar, ergänzend wird auch der Wert für Deutschland ausgewiesen.
| Ranking | Land | Nr. Hochschulen | preference score |
|---|---|---|---|
| Leiden | Luxemburg | 1 | 2,44 |
| Malta | 1 | 2,44 | |
| China | 356 | 2,33 | |
| Australien | 35 | 2,30 | |
| Spanien | 47 | 2,25 | |
| Deutschland | 58 | 1,44 | |
| SIR | Färöer-Inseln | 1 | 2,69 |
| Guadeloupe | 1 | 2,69 | |
| Französisch-Guayana | 1 | 2,69 | |
| Lesotho | 1 | 2,69 | |
| Réunion | 1 | 2,69 | |
| Deutschland | 108 | 0,85 | |
| COKI | Myanmar | 27 | 1,70 |
| Nicaragua | 15 | 1,70 | |
| El Salvador | 13 | 1,70 | |
| Tadschikistan | 13 | 1,70 | |
| Angola | 10 | 1,70 | |
| Deutschland | 397 | 0,99 |
| Ranking | Land | Nr. Hochschulen | preference score |
|---|---|---|---|
| Leiden OE | Grenada | 1 | 3,20 |
| Kamerun | 7 | 1,98 | |
| Türkei | 10 | 1,85 | |
| Südafrika | 20 | 1,76 | |
| Italien | 63 | 1,53 | |
| Deutschland | 73 | 1,02 | |
| QS | Brunei | 2 | 3,47 |
| Hongkong | 9 | 3,35 | |
| Saudi-Arabien | 28 | 2,65 | |
| Fidschi | 1 | 2,60 | |
| Aserbaidschan | 7 | 2,54 | |
| Deutschland | 50 | 1,14 |
Tab. 1 zeigt deutliche Unterschiede in der geografischen Überrepräsentation der Rankingsysteme. Das traditionelle Leiden Ranking weist ein heterogenes Länderspektrum ohne einheitliches regionales Muster (Luxemburg, Malta, China, Australien, Spanien) auf. Das Leiden Ranking Open Edition bildet verstärkt Länder des Globalen Südens sowie einzelne weitere Länder außerhalb der etablierten Wissenschaftszentren Nordamerikas und Westeuropas (Grenada, Kamerun, Südafrika, Türkei, Italien) ab und das QS Sustainability Ranking fokussiert überwiegend auf asiatische Länder und Territorien (Brunei, Hongkong, Saudi-Arabien, Fidschi, Aserbaidschan). Die regionale Ausrichtung des Leiden Ranking Open Edition deutet auf einen Effekt der Erweiterung um sogenannte non-core publications sowie einem niedrigeren Publikationsschwellenwert hin. Durch die Erweiterung werden gezielt mehr Universitäten aus Ländern wie Indien, Indonesien und Brasilien erfasst, die im traditionellen Leiden Ranking unterrepräsentiert sind (van Eck et al., 2025). Beim SCImago Institutions Ranking und beim COKI OA Dashboard teilen sich jeweils die Top-5-Länder einen identischen Präferenzwert (2,69 bzw. 1,70). Dies ist darauf zurückzuführen, dass die jeweiligen Länder ausschließlich im jeweiligen Rankingsystem vertreten sind. Auffällig ist auch, dass die Top-5-Länder im SCImago Institutions Ranking nur eine einzige Institution stellen.
Bezogen auf Deutschland zeigt Tab. 1 ein uneinheitliches Bild. Während das traditionelle Leiden Ranking (1,44), das QS Sustainability Ranking (1,14) und das Leiden Ranking Open Edition (1,02) eine leicht überproportionale Repräsentation deutscher Hochschulen aufweisen, liegt COKI OA Dashboard (0,99) nahe am Erwartungswert und SCImago Institutions Ranking (0,85) sogar darunter. Deutschland ist damit in keinem der fünf Systeme unter den Top-5-Ländern vertreten.
Datenquellen
In diesem Abschnitt werden die von den fünf Rankings verwendeten Datenquellen untersucht, wobei der Fokus auf folgenden zwei Kategorien von Datenquellen liegt: 1) Datenquellen, die zur Erhebung bibliografischer Daten verwendet werden, und 2) Datenquellen, die zur Bestimmung des Open-Access-Status herangezogen werden. Unterschiede in der Abdeckung, Vollständigkeit und Methodik dieser Datenquellen können zu Abweichungen bei der Berechnung von Metriken führen und somit die Vergleichbarkeit der Ergebnisse unterschiedlicher Rankings einschränken. Ferner wird untersucht, ob sich aufgrund der verwendeten Datenquellen disziplinäre Unterschiede zwischen den Rankings ergeben.
Bibliographische Datenquellen
Huang, Neylon, Hosking, et al. (2020a) identifizieren zwei wesentliche Informationsquellen, die für die Analyse von Forschungsergebnissen erforderlich sind. Zum einen Informationsquellen, die Daten bereitstellen, um Forschungsergebnisse mit den jeweiligen Analyseeinheiten (z.B. Universitäten, Forschungseinrichtungen) zu verknüpfen. Zum anderen Informationsquellen, die Daten bereitstellen, um Forschungsergebnisse mit den jeweiligen Metriken (z.B. Open-Access-Status) zu verknüpfen (Huang, Neylon, Hosking, et al., 2020a). Im Kontext der Erstellung von Hochschulrankings nehmen bibliographische Datenquellen eine zentrale Rolle bei der Bereitstellung dieser Daten ein und bedingen eine quantitative Bewertung der jeweiligen Produktivität der betrachteten Hochschulen.
Tab. 2 stellt folgend die von den fünf untersuchten Rankings verwendeten bibliographischen Datenquellen dar.
| Ranking | Web of Science | Scopus | OpenAlex | Crossref |
|---|---|---|---|---|
| Leiden Ranking | x | |||
| Leiden Ranking Open Edition | x | |||
| SCImago Institutions Ranking | x | |||
| QS Sustainability Ranking | x | |||
| COKI OA Dashboard | x |
Wie Tab. 2 zeigt, nutzen die fünf untersuchten Rankings vier unterschiedliche bibliographische Datenquellen: Web of Science (WoS), Scopus, Crossref und OpenAlex. Von diesen stellt Web of Science (WoS) die am längsten existierende Abstract- und Zitationsdatenbank dar (Birkle et al., 2020). Bis Mitte der 2000er Jahre war WoS das maßgebliche Werkzeug für bibliometrische Analysen (Gauch, 2023). 2004 brachte Elsevier mit Scopus eine erste konkurrenzfähige multidisziplinäre Datengrundlage heraus, die das bis dahin bestehende Monopol von WoS auflöste (Baas et al., 2020; Gauch, 2023; Huang, Neylon, Brookes-Kenworthy, et al., 2020). Crossref entwickelte sich 2000 als mitgliedschaftsbasierte DOI-Registrierungsagentur. Verlage und andere Publikationsinfrastrukturen können über Crossref DOIs für ihre Publikationen registrieren und liefern zeitgleich Publikationsmetadaten an den Dienst. Seit 2013 bietet Crossref eine REST API an, über die Crossrefs Publikationsmetadaten offen zugänglich sind und nachgenutzt werden können (Hendricks et al., 2020). 2022 trat OpenAlex als offene Datenquelle hinzu, mit dem Ziel als Nachfolgerdienst für den eingestellten Microsoft Academic Graph (MAG) eine vollständig offene Quelle für Forschungsinformationen zu sein (Priem et al., 2022). Seit seiner Einführung hat sich OpenAlex insbesondere durch die Integration von Daten aus heterogenen offenen Datenquellen wie Crossref, PubMed, ORCID und institutionellen Repositorien als ernstzunehmende Alternative zu kommerziellen Anbietern positioniert (Abramo et al., 2026; Torres-Salinas & Arroyo-Machado, 2026).
Die Etablierung neuer Datenquellen zieht in der Regel Vergleichsanalysen nach sich, um Unterschiede zwischen den Datenquellen zu verstehen und eine Einordnung der Datenquellen in der sich wandelnden Forschungs- und Infrastrukturlandschaft vorzunehmen (Gauch, 2023). Eine aktuelle Übersicht über Vergleichsanalysen bietet die Studie von Torres-Salinas & Arroyo-Machado (2026), allerdings fokussieren sich die Vergleichsanalysen überwiegend auf WoS, Scopus sowie Microsoft Academic/Microsoft Academic Graph bzw. OpenAlex. Hingegen gibt es vergleichsweise wenige bibliometrische Studien, die Crossref explizit in den Vergleich mit anderen Datenquellen einbeziehen.
Die Studie von Harzing (2019) verglich die quantitative Abdeckung von Crossref und Dimensions mit Google Scholar, Microsoft Academic, Scopus und Web of Science bezogen auf Publikationsoutput und Zitationsrate der Publikationen der Autorin sowie von sechs Top-Journals im Bereich Business & Economics. Harzing (2019) fand eine höhere Publikationsabdeckung von Crossref und Dimensions gegenüber Scopus und WoS bei Zeitschriftenartikeln, Buchkapiteln und Konferenzpapieren, jedoch eine niedrigere Publikationsabdeckung gegenüber Google Scholar und Microsoft Academic in Bezug auf alle betrachteten Dokumenttypen. Harzing (2019) befand zudem, dass die offenen Datenquellen einen Vorteil in Bezug auf die Aktualität gegenüber den proprietären Datenquellen haben, da sie Publikationen oft innerhalb von wenigen Wochen nach Online-Erscheinen erfassen, während Scopus und WoS Publikationen oft erst bei deren Print-Veröffentlichung indexieren. Die Studie von Harzing (2019) schlussfolgert, dass Crossref und Dimensions Alternativen zu den etablierten kommerziellen Datenquellen darstellen, Google Scholar und Microsoft Academic jedoch umfassendere offene Datenquellen sind.
Die Studie von Visser et al. (2021) führte einen paarweisen Vergleich von Scopus mit den bibliographischen Datenquellen WoS (in der vom Centre for Science and Technology Studies (CWTS) lizenzierten Version, welche die Indices SCIE, SSCI, AHCI, CPCI umfasst), Dimensions, Crossref und Microsoft Academic bezogen auf die Abdeckung von Dokumenten sowie die Vollständigkeit und Genauigkeit von Zitationslinks durch. Als zentrale Erkenntnisse benennen Visser et al. (2021), dass Microsoft Academic die breiteste Abdeckung an Dokumenten bietet, gefolgt von Dimensions/Crossref, Scopus und CWTS WoS. Microsoft Academic umfasst dabei auch eine größere Anzahl an nichtwissenschaftlichen Dokumenten. Hingegen berichteten Visser et al. (2021), dass Scopus und WoS in Bezug auf Vollständigkeit und Genauigkeit von Zitationslinks gegenüber Dimensions und Microsoft Academic überlegen sind. Ferner zeigt sich für Crossref ein strukturelles Problem, da Zitationslinks teilweise nicht offen zugänglich sind, auch wenn sie intern bei Crossref vorhanden sind. Visser et al. (2021) schlussfolgern, dass sich die Wahl der geeigneten Datenquelle an der Zielsetzung der Analyse orientieren muss und sowohl die Vollständigkeit von Dimensions und Microsoft Academic als auch die Selektivität von Scopus und WoS einen Mehrwert bieten können.
Kramer & Jonge (2022) analysierten die Abdeckung von Förderinformationen für NWO-finanzierte Publikationen in Crossref, The Lens, Web of Science, Scopus und Dimensions. Die Analyse ergab, dass Crossref lediglich 67% der Publikationen mit Förderinformationen versah, wobei NWO in nur 45% der Fälle mittels Förderer-ID korrekt identifiziert wurde. Im Gegensatz dazu erreichten Web of Science (83%) und Scopus (78%) eine deutlich höhere Vollständigkeit der Förderinformationen, da sie diese aus den Volltexten extrahierten, während Crossref ausschließlich auf die Verlagsübermittlung der Metadaten setzte.
Die Studie von Asubiaro & Onaolapo (2023) verglich die Abdeckung afrikanischer Zeitschriften in Web of Science, Scopus und Crossref. Asubiaro & Onaolapo (2023) fanden eine deutlich höhere Abdeckung an afrikanischen Zeitschriften in Crossref als in Web of Science und Scopus. Insgesamt bewerten Asubiaro & Onaolapo (2023) jedoch die afrikanische Forschung als unterrepräsentiert in globalen Zitationsdatenbanken.
Die Studie von Torres-Salinas & Arroyo-Machado (2026) kombinierte eine systematische Literaturübersicht mit einer empirischen bibliometrischen Analyse, um Web of Science, Scopus und OpenAlex zu vergleichen. Die Literaturübersicht von Torres-Salinas & Arroyo-Machado (2026) analysierte fünf Schlüsselbereiche: Gesamtvolumen an Datensätzen, Abdeckung von Open-Access-Zeitschriften, sprachliche Abdeckung, Referenzabdeckung sowie Qualität und Zuverlässigkeit der Metadaten. Der empirische Teil verglich die drei Datenquellen insbesondere in Bezug auf Dokumenttypen, Sprachen und Forschungsbereiche für Publikationen zwischen 2015 und 2024. Torres-Salinas & Arroyo-Machado (2026) berichten, dass WoS und Scopus abonnementbasierte Geschäftsmodelle mit streng kuratierter, englischsprachig-dominierter Inhaltsauswahl verfolgen und eine hohe strukturelle Überschneidung untereinander aufweisen. OpenAlex hingegen bietet eine Open-Source-Plattform mit heterogenen Bezugsquellen und weist ein höheres Volumen an Datensätzen, eine höhere sprachliche und geografische Vielfalt – insbesondere in Bezug auf Open-Access-Publikationen und Publikationen aus dem Globalen Süden – sowie eine geringere Überschneidung mit den kommerziellen Systemen auf. In Bezug auf die Metadatenqualität fanden Torres-Salinas & Arroyo-Machado (2026), dass OpenAlex höhere Fehlerquoten bezüglich der Erkennung und Zuordnung von Dokumenttypen, Publikationsjahren, Sprache und Affiliationsinformationen zeigt als WoS und Scopus. Thematisch berichten Torres-Salinas & Arroyo-Machado (2026), dass WoS und Scopus eine ähnlich stark naturwissenschaftlich geprägten Fokus aufweisen, während OpenAlex eine deutlich höheren Anteil an Publikationen aus den Sozial- und Geisteswissenschaften indexiert. Zudem stellten Torres-Salinas & Arroyo-Machado (2026) eine höhere Abdeckung und Genauigkeit von Referenzen in WoS und Scopus fest, während OpenAlex einen erheblichen Teil insbesondere grauer Literatur unterrepräsentiert. Torres-Salinas & Arroyo-Machado (2026) schließen, dass keine einzelne Datenquelle ein umfassendes Bild der globalen Wissenschaftslandschaft liefern und die kombinierte Nutzung aller drei Datenquellen disziplinäre, sprachliche und geografische Verzerrungen reduzieren kann.
Die Studie von Abramo et al. (2026) verglich Web of Science, Scopus und OpenAlex sowohl auf individueller Ebene als auch auf aggregierter Institutionenebene hinsichtlich Publikationsoutput, Impact-Metriken und den daraus resultierenden Rangpositionen. Für italienische Professor:innen sowie Universitäten im Bereich Management Engineering zeigte der Vergleich, dass die Übereinstimmung der Datenquellen beim reinen Publikationsoutput hoch war, bei impact-basierten Metriken jedoch nur moderat ausfiel. Auf institutioneller Ebene verschoben sich die Rangpositionen einzelner Universitäten je nach genutzter Datenquelle teils erheblich, wobei kleinere Institutionen besonders stark betroffen waren. Als Hauptursachen identifizierten Abramo et al. (2026) Unterschiede in den disziplinären Taxonomien, den Normierungsverfahren sowie den Konventionen zur Bestimmung der Publikationsjahre. Diese Faktoren hatten insbesondere bei der Aggregation auf Institutionenebene eine deutliche Auswirkung auf die Rangpositionen. Abramo et al. (2026) empfehlen daher, bei Evaluationen die Ergebnisse aus mindestens zwei Datenquellen zu triangulieren, die Sensitivität der Ergebnisse transparent auszuweisen sowie bei der Nutzung von OpenAlex methodische Konventionen, insbesondere die Definition einzubeziehender Dokumenttypen, vorab explizit festzulegen und zu kommunizieren.
Die Studie von Huang, Neylon, Brookes-Kenworthy, et al. (2020) ist bereits älter, jedoch im Kontext von Hochschulrankings besonders interessant. Huang, Neylon, Brookes-Kenworthy, et al. (2020) verglichen Web of Science, Scopus und Microsoft Academic auf institutioneller Ebene und untersuchten deren Auswirkungen auf Hochschulrankings. Die Ergebnisse zeigten, dass die Wahl der Datenquelle deutliche Unterschiede in den untersuchten bibliografischen Merkmalen (Dokumentabdeckung, Publikationsjahre, Dokumenttypen, Zitatraten, Open-Access-Status, Affiliationszuordnung) bewirkte. Huang, Neylon, Brookes-Kenworthy, et al. (2020) fanden, dass Microsoft Academic die umfassendste Dokumentenabdeckung bot, insbesondere in den Sozial- und Geisteswissenschaften, jedoch über weniger präzise Affiliationsmetadaten verfügte. WoS und Scopus zeigten eine geringere Gesamtdeckung, waren aber bei der Zuordnung von Institutionen zu Publikationen zuverlässiger. Bezüglich der Publikationsjahre zeigten die Quellen insgesamt eine hohe Übereinstimmung, jedoch traten bei einzelnen Institutionen, insbesondere aus nicht-englischsprachigen Ländern, deutliche Abweichungen zwischen den Datenquellen auf. Huang, Neylon, Brookes-Kenworthy, et al. (2020) berichteten, dass der Open-Access-Anteil auf institutioneller Ebene je nach Quelle variierte, was zudem zu erheblichen Verschiebungen in den Rankings führte, besonders bei Universitäten aus nicht-englischsprachigen Regionen. In Bezug zu Dokumenttypen fiel auf, dass Microsoft Academic einen höheren Anteil an Buchkapiteln und Konferenzbeiträgen erfasste, während Scopus häufig Bücher und Monographien indexierte, die von den anderen Quellen nicht erfasst wurden. Bei den Zitatraten zeigte die Studie für Microsoft Academic tendenziell niedrigere Durchschnittswerte, was zu deutlichen Veränderungen der Rangpositionen führte, wenn die Datenquelle gewechselt wurde. Besonders betroffen waren Universitäten, die in internationalen Rankings keine Spitzenpositionen erreichten. Die Studie zeigte insgesamt, dass die alleinige Nutzung einer Datenquelle Verzerrungen in der Bewertung von Universitäten bewirken kann, insbesondere für nicht-westliche Institutionen und solche, die in internationalen Rankings niedriger gerankt werden. Die zentrale Empfehlung von Huang, Neylon, Brookes-Kenworthy, et al. (2020) lautete daher, für robuste Bewertungssysteme mehrere Datenquellen zu integrieren, um eine faire und umfassende Analyse zu ermöglichen.
Die Literatur zu den vier untersuchten bibliographischen Datenquellen – Web of Science, Scopus, Crossref und OpenAlex – zeigt, dass alle Quellen Stärken und Schwächen aufweisen, die jeweils Auswirkungen auf die Bewertung von Forschungsleistungen und die Erstellung von Hochschulrankings haben. Web of Science und Scopus zeichnen sich tendenziell durch eine hohe strukturelle Zuverlässigkeit, präzise Affiliationszuordnungen und eine exaktere Zitationsverfolgung aus, sind jedoch durch ein englischsprachig-dominierendes, selektives Inhaltsprofil und eine geringere Abdeckung von Open-Access-Publikationen und Forschung aus dem Globalen Süden gekennzeichnet. Crossref bietet eine hohe Aktualität und umfassende Abdeckung von Publikationen, insbesondere für Formate wie Konferenzbeiträge und Buchkapitel, leidet jedoch unter unvollständigen Förderinformationen und strukturell eingeschränkten Zugänglichkeiten von Zitationslinks. OpenAlex positioniert sich als umfassende, offene Alternative mit dem größten Datenvolumen, einer höheren sprachlichen und geografischen Vielfalt sowie einer stärkeren Repräsentation von Forschungsergebnissen aus den Sozial- und Geisteswissenschaften. Gleichzeitig zeigt OpenAlex tendenziell eine geringere Metadatenqualität, insbesondere bei der Dokumenttypzuordnung, Spracherkennung und Referenzabdeckung. Insbesondere die Studien von Huang, Neylon, Brookes-Kenworthy, et al. (2020), Torres-Salinas & Arroyo-Machado (2026) und Abramo et al. (2026) belegen, dass die Wahl der Datenquelle nicht nur die quantitative Abdeckung beeinflusst, sondern auch entscheidend für die Rangpositionen von Hochschulen ist, besonders solcher aus nicht-englischsprachigen Regionen. Die Ergebnisse legen nahe, dass keine einzelne Datenquelle eine vollständige und faire Abbildung der globalen Forschungslandschaft ermöglicht. Vielmehr wird in der Literatur eine kombinierte Nutzung mehrerer Quellen als notwendig erachtet, um disziplinäre, sprachliche und geografische Verzerrungen zu reduzieren und robuste, transparente und gerechtere Bewertungssysteme zu schaffen. Zu beachten ist dabei jedoch auch, dass die jeweiligen Studien immer nur eine Momentaufnahme der untersuchten Datenquellen bieten können.
Open-Access-Datenquellen
Die Bestimmung des Open-Access-Status wissenschaftlicher Publikationen bildet die Voraussetzung für die Berechnung von Open-Access-Indikatoren. Dieser Abschnitt bietet eine Übersicht der von den untersuchten Rankings genutzten Datenquellen zur Bestimmung des Open-Access-Status der jeweiligen Publikationen sowie ihrer Spezifika. Dazu stellt Tab. 3 zunächst folgend die von den fünf untersuchten Rankings verwendeten Open-Access-Datenquellen dar.
| Ranking | Unpaywall | OpenAlex |
|---|---|---|
| Leiden Ranking | x | |
| Leiden Ranking Open Edition | x | |
| SCImago Institutions Ranking | x | |
| QS Sustainability Ranking | x | |
| COKI OA Dashboard | x |
Tab. 3 zeigt, dass insgesamt zwei verschiedene Open-Access-Datenquellen genutzt werden: Unpaywall und OpenAlex. Das SCImago Institutions Ranking, das QS Sustainability Ranking und das COKI OA Dashboard nutzen jeweils Unpaywall, während beide Versionen des Leiden Ranking sich bei der Bestimmung des Open-Access-Status auf OpenAlex stützen.
Unpaywall ist ein kostenloser, automatisierter Dienst, der Open-Access-Artikelversionen anhand von DOIs ermittelt. Die Grundlagen für Unpaywall wurden bereits 2011 gelegt, 2016 erfolgte die Veröffentlichung eines Teils der zugrundeliegenden Technologie und 2017 wurde das Unpaywall Browser-Plugin veröffentlicht (Else, 2018). Der Dienst erfasst ausschließlich Publikationen mit Crossref-DOIs und ist dabei primär auf Zeitschriftenartikel und Preprints ausgerichtet (OpenAlex, n.d.-d; Unpaywall, n.d.-b). Andere Dokumenttypen mit Crossref-DOI, beispielsweise Buchkapitel oder Konferenzbeiträge, werden von Unpaywall grundsätzlich ebenfalls verarbeitet, da das genre-Feld im Unpaywall-Datenschema den Crossref-Typ direkt übernimmt (Unpaywall, n.d.-a). Unpaywall selbst macht jedoch keine Aussagen zur Abdeckungsqualität dieser Dokumenttypen (Unpaywall, n.d.-b). Neben Publikationen ohne Crossref-DOI werden außerdem sogenannte component DOIs strukturell nicht abgedeckt (OpenAlex, 2025b) – Crossref vergibt diese für einzelne Bestandteile von Zeitschriftenartikeln wie Abbildungen, Tabellen oder Supplementary Materials (Crossref, 2025). Die OA-Statusbestimmung stützt sich auf mehrere offene Datenquellen, dazu gehören Crossref, DOAJ und PubMed Central. Darüber hinaus harvestet Unpaywall über 50.000 Online-Quellen, darunter Zeitschriften, sowie institutionelle und Fachrepositorien (Unpaywall, n.d.-c). Konkret harvested Unpaywall Repositorien über das OAI-PMH-Protokoll und gleicht die so gewonnenen Metadaten mit den DOIs in seiner Datenbank ab. Daneben werden die Landingpages von Verlagen direkt gescrapt, um Lizenzinformationen zu extrahieren, die nicht in Crossref hinterlegt sind. Zusätzlich pflegt Unpaywall manuelle Korrekturen für bekannte Problemfälle oder Fehlklassifikationen (OurResearch, n.d.-c). Als OA-Fundstellen werden dabei nur Quellen gezählt, die Volltexte ohne Registrierungspflicht und ohne CAPTCHA-Abfragen zugänglich machen (OpenAlex, n.d.-c). Auf Basis dieser Informationen weist Unpaywall jeder Publikation einen OA-Status zu, wobei zwischen fünf Kategorien unterschieden wird (Unpaywall, n.d.-a): Gold, Hybrid, Green, Bronze, und Closed. Diese Klassifikationslogik folgt einer festen Entscheidungsabfolge (OurResearch, n.d.-c; Unpaywall, 2021), die in Abb. 5 schematisch dargestellt ist.
Zuerst wird geprüft, ob ein Artikel im Open Access verfügbar ist. Anschließend wird geprüft, ob die beste verfügbare Version beim Verlag oder in einem Repositorium liegt; liegt sie beim Verlag, entscheidet der OA-Status des Journals sowie das Vorhandensein einer offenen Lizenz über die Einordnung als Gold, Hybrid oder Bronze. Für die Einordnung als Gold ist zentral, ob eine Zeitschrift als vollständig OA gilt, was Unpaywall anhand von drei Kriterien bestimmt (OpenAlex, n.d.-a): Erstens gilt eine Zeitschrift als Gold-OA, wenn sie im DOAJ gelistet ist. Da das DOAJ jedoch nicht alle Gold-OA-Zeitschriften erfasst, werden zweitens Zeitschriften bekannter OA-Verlage über eine gepflegte Whitelist als Gold-OA eingestuft, und drittens wertet Unpaywall empirisch aus, ob eine Zeitschrift ausschließlich OA-Artikel publiziert. Liegen mehrere OA-Versionen eines Artikels vor, wählt Unpaywall anhand eines Scoring-Algorithmus die beste OA-Fundstelle aus, wobei Verlagsversionen gegenüber Repositoriumsversionen, peer-reviewte Versionen gegenüber Preprints sowie Versionen mit direktem PDF-Link höher gerankt werden (OpenAlex, n.d.-b; OurResearch, n.d.-c). Der OA-Status ergibt sich anschließend deterministisch aus der gewählten besten OA-Fundstelle. Im Mai 2025 wurde die zugrundeliegende Codebasis von Unpaywall überarbeitet, um Geschwindigkeit, Wartbarkeit und Datenqualität zu verbessern sowie eine Community-Kuration von Fehlern zu ermöglichen (OpenAlex, 2025a). Im Zuge der Überarbeitung wurde auch die Gold-OA-Erkennung gezielt erweitert, unter anderem durch die Auswertung von Daten aus OJS-Journals, J-STAGE und SciELO, um die Abdeckung jenseits des DOAJ zu verbessern (OpenAlex, 2025b).
OpenAlex ist bereits im vorangehenden Abschnitt als bibliografische Datenquelle eingeführt worden. Als solche beschränkt sich OpenAlex im Gegensatz zu Unpaywall bei der Indexierung von Forschungsinformationen auch nicht auf Publikationen mit Crossref-DOI. Vor dem OpenAlex-Walden-Rewrite im November 2025 wurden OpenAlex und Unpaywall von derselben Organisation auf getrennten Codebasen betrieben, was im Kontext der OA-Statusbestimmung gelegentlich zu Diskrepanzen zwischen den OA-Statusangaben beider Dienste führte (OpenAlex, 2025b; Priem, 2025b). Die OA-Statusbestimmung in OpenAlex folgte jedoch einer zu Unpaywall analogen Logik (siehe Abb. 5) mit denselben fünf Kategorien Gold, Hybrid, Bronze, Green und Closed – die Kategorie Diamond wurde erst im Juli 2024 als eigenständige Kategorie implementiert. Mit dem OpenAlex-Walden-Rewrite im November 2025 werden beide Systeme nun auf der selben Codebasis betrieben und Unpaywall läuft seither als Subroutine der OpenAlex-Infrastruktur (OpenAlex, 2026; Priem, 2025a). Der Walden-Quellcode zeigt, dass dies spezifisch bedeutet, dass OpenAlex-Werkdaten, die in Crossref indexiert sind, ausgelesen und in das Unpaywall-Format überführt werden (OurResearch, n.d.-b), womit Diskrepanzen zwischen beiden Diensten strukturell ausgeschlossen sein sollten. Die Walden-Pipeline bestimmt den OA-Status in zwei Stufen (OurResearch, n.d.-a): Zur Bestimmung des OA-Status wird zunächst auf Quellenebene geprüft, ob eine Zeitschrift vollständig OA ist (via DOAJ, J-STAGE oder beobachteter OA-Rate). Darauf aufbauend wird jeder Publikation ein Status zugewiesen — Diamond, Gold, Hybrid, Bronze, Green oder Closed — je nach Zugänglichkeit, APC-Kosten, Lizenz und Hosting-Ort, wobei die beste OA-Version analog zu Unpaywall nach Versionstyp und PDF-Verfügbarkeit priorisiert wird (OurResearch, n.d.-a). OpenAlex vergibt seit Juli 2024 die OA-Status-Kategorie Diamond, die Publikationen in reinen OA-Zeitschriften ohne APCs kennzeichnet. Haupka (2026) zeigte empirisch, dass der Walden-Rewrite zu deutlichen Verschiebungen in der OA-Klassifizierung geführt hat. Diamond-OA wurde nach dem Rewrite deutlich häufiger vergeben, während Gold-, Bronze- und Hybrid-OA zurückgingen. Diese Befunde verdeutlichen, dass einzelne Releases bei OpenAlex Auswirkungen auf OA-Indikatoren haben können und illustrieren zugleich, dass sich OpenAlex dynamisch weiterentwickelt (Haupka, 2026).
Für Rankings, die OpenAlex als OA-Datenquelle nutzen, bedeutet dies, dass OA-Kennzahlen nicht nur von der zugrundeliegenden Klassifikationslogik, sondern auch vom Zeitpunkt des genutzten Datenstands abhängen – eine Einschränkung, die bei der Interpretation der Ergebnisse des Leiden Ranking und des Leiden Ranking Open Edition zu berücksichtigen ist. Für Rankings, die Unpaywall als Datenquelle nutzen, hat die Einführung der Diamond-Kategorie keine unmittelbaren Auswirkungen: Im Unpaywall-Export wird Diamond auf Gold abgebildet (OurResearch, n.d.-b), da das Unpaywall-Datenschema Diamond als eigenständigen OA-Status-Wert nicht vorsieht (Unpaywall, n.d.-a). Das SCImago Institutions Ranking, das QS Sustainability Ranking und das COKI OA Dashboard erhalten Diamond-Artikel daher als Gold klassifiziert und können die Diamond-Kategorie strukturell nicht ausweisen, solange das Unpaywall-Schema nicht entsprechend erweitert wird. Rankings, die OpenAlex direkt nutzen, haben Diamond hingegen als eigenständige Kategorie verfügbar und könnten diese künftig in OA-Indikatoren berücksichtigen.
Dokumenttypen
Tab. 4 gibt nachfolgend eine Übersicht zu den berücksichtigten Dokumenttypen pro Ranking. Dabei ist zu beachten, dass die Rankings unterschiedliche Typen-Vokabularien verwenden — Crossref-Typen bei COKI, Scopus-Typen beim SCImago Institutions Ranking und QS Sustainability Ranking, OpenAlex-Typen beim Leiden Ranking Open Edition und WoS-Typen beim traditionellen Leiden Ranking — sodass nominell gleiche Bezeichnungen wie article nicht notwendigerweise deckungsgleiche Inhalte beschreiben (Alperin et al., 2024; Haupka et al., 2026).
| Ranking | Dokumenttypen |
|---|---|
| Leiden Ranking | article, review |
| Leiden Ranking Open Edition | article, review, book chapter |
| SCImago Institutions Ranking | article, book, book chapter, conference paper, data paper, editorial, letter, note, review, short survey |
| QS Sustainability Ranking | article, article in press, review, conference paper, book, book chapter, business article, data paper, report |
| COKI OA Dashboard | journal articles, proceedings articles, reports, posted content, edited books, books, book chapters, book parts, book sections, reference books, monographs, reference entries, other |
Die fünf Rankings unterscheiden sich deutlich in Bezug auf die berücksichtigten Dokumenttypen. Das traditionelle Leiden Ranking beschränkt sich auf Artikel und Reviews in internationalen Zeitschriften (Centre for Science and Technology Studies, Leiden University, n.d.-c). Das Leiden Ranking Open Edition schließt zusätzlich Buchkapitel in Zeitschriften und Buchreihen ein (Centre for Science and Technology Studies, Leiden University, n.d.-d). Das QS Sustainability Ranking berücksichtigt neben Artikeln und Reviews auch Konferenzbeiträge, Bücher, Buchkapitel, Articles in Press, Business Articles, Data Papers und Reports, schließt jedoch Editorials, Letters, Notes und Short Surveys aus (Quacquarelli Symonds, n.d.-e). Das SCImago Institutions Ranking ist unter den Scopus-basierten Rankings am inklusivsten und berücksichtigt alle Scopus-Dokumenttypen mit Ausnahme von Retracted, Erratum und Preprint, also auch Editorials, Letters und Notes, die QS explizit ausschließt (SCImago Research Group, n.d.-a). Das COKI OA Dashboard ist insgesamt am inklusivsten und schließt nahezu alle Crossref-Typen ein, darunter Monographien, Buchkapitel, Konferenzbeiträge, Reports und posted content – ausgeschlossen werden lediglich Datensätze, Datenbanken, Peer Reviews, Tagungsbände und einige weitere weniger traditionelle Dokumenttypen (Curtin Open Knowledge Initiative, n.d.-c).
Diese Unterschiede sind für die Berechnung der OA-Indikatoren besonders relevant, weil etwa der OA-Anteil je nach Dokumenttyp variieren kann. Auch werden Publikationen ohne Crossref-DOI in Unpaywall strukturell nicht abgedeckt (OpenAlex, n.d.-d). Daraus ergibt sich, dass der ausgewiesene OA-Anteil, für Rankings, die Unpaywall als OA-Datenquelle nutzen, eventuell trotz breiter Abdeckung an Dokumenttypen kein vollständiges Bild der OA-Landschaft gibt. Darüber hinaus können Unterschiede bezüglich der berücksichtigten Dokumenttypen disziplinäre Konsequenzen haben, die im nachfolgenden Abschnitt näher betrachtet werden. Die Einbeziehung verschiedener Dokumenttypen könnte daher selbst bei identischen Institutionen und Publikationszeiträumen systematisch andere OA-Anteile ausweisen, was die Vergleichbarkeit der Rankingergebnisse einschränkt.
Disziplinäre Unterschiede
A concern in any university evaluation is the existing disciplinary bias in large bibliographic sources used to support rankings. (Huang, Neylon, Hosking, et al., 2020b)
Disziplinäre Unterschiede oder Verzerrungen, die sich aufgrund der gewählten bibliographischen Datenquellen bei der Erstellung eines Rankings in diesem niederschlagen, können die Vergleichbarkeit der Ergebnisse zwischen Rankings negativ beeinflussen, indem sie verschiedene Disziplinen unter- oder überrepräsentieren. Dieser Abschnitt untersucht das Ausmaß der disziplinären Unterschiede in Bezug auf die Open-Access-Dimension. Da jedoch nur die Datensätze der beiden Versionen des Leiden Ranking eine disziplinäre Zuordnung ausweisen, beschränkt sich die Untersuchung auf die disziplinären Unterschiede zwischen dem traditionellen Leiden Ranking, welches Web of Science als bibliographische Datenquelle nutzt, und dem Leiden Ranking Open Edition, welches OpenAlex als bibliographische Datenquelle nutzt.
Damit Nutzende die Ergebnisse zwischen den beiden Versionen des Leiden Ranking vergleichen können, stellt das CWTS seit der Version 2023 interaktive Dashboards bereit (Centre for Science and Technology Studies, Leiden University, n.d.-f). Die Ergebnisse lassen sich anhand des Zeitraums, eines oder mehrerer Länder, Feldern und allen in den Leiden Rankings vorhandenen Indikatoren filtern, sodass ein detaillierter Vergleich möglich ist. Abb. 6 bindet das interaktive Dashboard für die Version 2025 der Leiden Rankings ein. Die x-Achse repräsentiert das traditionelle Leiden Ranking, während die y-Achse das Leiden Ranking Open Edition darstellt.
Filtert man in Abb. 6 nach deutschen Hochschulen und der Anzahl an Open-Access-Publikationen (P(OA)) für alle Felder, lässt sich feststellen, dass es eine leicht höhere Dichte oberhalb der Linie \(x = y\) gibt. Dies deutet darauf hin, dass über alle Felder hinweg mehr Open-Access-Informationen in OpenAlex zu erhöhten Werten im Leiden Ranking Open Edition führen. Filtert man ferner nach den einzelnen Feldern, so lässt sich feststellen, dass bis auf das Feld Life and earth sciences OpenAlex tendenziell mehr Open-Access-Informationen bietet, am stärksten ausgeprägt ist dies für die Felder Mathematics and computer science und Social sciences and humanities. Für diese beiden Felder ist auch für die Gesamtzahl an Publikationen (P) eine höhere Dichte oberhalb der Linie \(x = y\) erkennbar. Dies lässt darauf schließen, dass OpenAlex insgesamt mehr Publikationen in den Feldern Mathematics and computer science und Social sciences and humanities indexiert als Web of Science (WoS), was zu höheren Werten im Leiden Ranking Open Edition führt. Insgesamt scheint OpenAlex und damit das Leiden Ranking Open Edition eine bessere Abdeckung der Felder Mathematics and computer science und Social sciences and humanities zu bieten, WoS und damit das traditionelle Leiden Ranking bietet hingegen eine bessere Abdeckung im Feld Life and earth sciences. Dies bestätigt sich auch, wenn man die Anzahl an Open-Access-Publikationen für die einzelnen Open-Access-Statustypen (P(gold OA), P(hybrid OA), etc.) betrachtet.
Tab. 5 illustriert exemplarisch für das Feld Mathematics and computer science und die Top-5-Institutionen aus Deutschland, ob sich in Bezug auf die Werte für den Anteil an Open-Access-Publikationen (PP(OA)) Unterschiede in der Rangfolge ergeben. Tab. 5 zeigt deutlich, dass sich die Rangfolgen beider Ranking Versionen unterscheiden, während die PP(OA)-Werte der Top-5-Institutionen in beiden Rankings in einem ähnlichen Bereich liegen. Die Universität Konstanz führt das traditionelle Leiden Ranking an, Platz 1 in der Open Edition belegt hingegen die Medizinische Hochschule Hannover. Lediglich die Freie Universität Berlin und die Universität Heidelberg sind in beiden Rankings unter den Top 5 gelistet. Auffällig ist auch, dass OpenAlex im betrachteten Feld den beiden letztgenannten Einrichtungen erkennbar mehr Publikationen zugewiesen hat als WoS.
| Rang | Hochschule | P | P(OA) | PP(OA) |
|---|---|---|---|---|
| 1 | Univ Konstanz | 313 | 249 | 79,6% |
| 2 | Freie Univ Berlin | 649 | 540 | 77,8% |
| 3 | Heidelberg Univ | 753 | 582 | 77,4% |
| 4 | Univ Augsburg | 404 | 311 | 77,0% |
| 5 | Phillips-Univ Marburg | 240 | 185 | 76,9% |
| Rang | Hochschule | P | P(OA) | PP(OA) |
|---|---|---|---|---|
| 1 | Hannover Med Sch | 354 | 294 | 83,2% |
| 2 | Georg-August-Univ Göttingen | 953 | 756 | 79,3% |
| 3 | Univ Greifswald | 170 | 135 | 79,1% |
| 4 | Freie Univ Berlin | 1378 | 1087 | 78,9% |
| 5 | Heidelberg Univ | 1452 | 1143 | 78,7% |
Tab. 6 zeigt ergänzend welche konkreten Rangverschiebungen sich für die in Tab. 5 dargestellten Top-5-Universitäten des traditionellen Leiden Ranking in der Open Edition ergeben. Die Universität Konstanz verschiebt sich von Platz 1 im traditionellen Leiden Ranking auf Platz 6 im Leiden Ranking Open Edition, eine absolute Rangverschiebung um fünf Plätze. Die Freie Universität Berlin sowie die Universität Heidelberg verschieben sich jeweils um einen Rangplatz nach unten. Die Universität Augsburg verschiebt sich um drei und die Phillips-Universität Marburg um vier Rangplätze nach unten. Für alle der fünf Einrichtungen findet demnach eine Rangverschiebung nach unten statt.
| Hochschule | PP(OA) LR | PP(OA) LROE | Rang LR | Rang LROE |
|---|---|---|---|---|
| Univ Konstanz | 0,796 | 0,774 | 1 | 6 |
| Freie Univ Berlin | 0,778 | 0,789 | 2 | 3 |
| Heidelberg Univ | 0,774 | 0,787 | 3 | 4 |
| Univ Augsburg | 0,770 | 0,764 | 4 | 7 |
| Phillips-Univ Marburg | 0,769 | 0,762 | 5 | 9 |
Um die anhand der Tabellen 5 und 6 exemplarisch beobachteten Unterschiede zwischen den Rangfolgen beider Versionen des Leiden Ranking systematischer zu erfassen, wurde basierend auf der Rangfolge gemäß der PP(OA)-Werte pro Feld und Institution der Betrag der Differenz der Rangplätze zwischen dem traditionellen Leiden Ranking und dem Leiden Ranking Open Edition sowie der Median und das 90. Perzentil dieser Differenz berechnet. Die Berechnung wurde sowohl für die Menge aller gemeinsamen Institutionen (global), als auch für die Menge der gemeinsamen deutschen Institutionen (Deutschland) für den Publikationszeitraum 2020–2023 und ein minimales Publikationsvolumen von 100 Publikationen pro Institution durchgeführt. Tab. 7 zeigt die Ergebnisse pro Feld und weist zudem die absolute Anzahl an Hochschulen in den jeweiligen Schnittmengen aus.
| Feld | Nr. Hochschulen | Median |
|
|---|---|---|---|
| All sciences | 58 | 3 | 8,3 |
| Biomedical and health sciences | 57 | 3 | 12,4 |
| Life and earth sciences | 53 | 2 | 8,8 |
| Mathematics and computer science | 55 | 6 | 16,6 |
| Physical sciences and engineering | 57 | 8 | 21,4 |
| Social sciences and humanities | 56 | 5 | 14,5 |
| Feld | Nr. Hochschulen | Median |
|
|---|---|---|---|
| All sciences | 1586 | 39 | 124,5 |
| Biomedical and health sciences | 1528 | 59 | 199,3 |
| Life and earth sciences | 1490 | 43 | 146,0 |
| Mathematics and computer science | 1420 | 53 | 170,0 |
| Physical sciences and engineering | 1540 | 52 | 150,0 |
| Social sciences and humanities | 1207 | 52 | 162,8 |
Der Median der absoluten Rangverschiebung liegt für Deutschland zwischen 2 Plätzen im Feld Life and earth sciences und 8 Plätzen im Feld Physical sciences and engineering, das 90. Perzentil zwischen 8,3 (All sciences) und 21,4 Plätzen (Physical sciences and engineering). Im Feld Physical sciences and engineering bewegen sich deutsche Institutionen somit sowohl im typischen Fall als auch am oberen Rand der Verteilung stärker als in den anderen Feldern. Das Feld Life and earth sciences weist mit einem Median von 2 den niedrigsten Wert unter den sechs Feldern auf, während das 90. Perzentil mit 8,8 nahe am Median liegt und deutlich unter dem entsprechenden Wert für Physical sciences and engineering. Dies deutet auf eine vergleichsweise gleichmäßige, wenig durch einzelne stark bewegte Institutionen geprägte Verteilung hin. Für das Feld Mathematics and computer science bewegen sich deutsche Institutionen im typischen Fall um 6 Plätze und ein Zehntel um 16,6 Plätze. Das in Tab. 6 dargestellte Beispiel für Mathematics and computer science (Rangverschiebungen zwischen einem und fünf Plätzen für die Top-5-Institutionen) liegt dabei im unteren Bereich der für dieses Feld beobachteten Verteilung.
Global liegt der Median zwischen 39 und 59 Plätzen und das 90. Perzentil zwischen 124,5 und 199,3 Plätzen. Das Feld Biomedical and health sciences (Median 59, 90. Perzentil 199,3) weist dabei sowohl beim Median als auch beim 90. Perzentil die höchsten Werte unter den sechs Feldern auf, All sciences (Median 39, 90. Perzentil 124,5) die niedrigsten. Damit unterscheidet sich das auf globaler Ebene am stärksten von Rangverschiebungen betroffene Feld (Biomedical and health sciences) von den für Deutschland auffälligsten Feldern (Physical sciences and engineering, Mathematics and computer science).
Eine mögliche Erklärung für die vergleichsweise starken Rangverschiebungen in Mathematics and computer science und Physical sciences and engineering für deutsche Einrichtungen liefert die methodische Definition von core publications in beiden Rankingversionen. Die Methodik des Leiden Ranking definiert core publications für WoS ausschließlich über die Dokumenttypen article und review, für OpenAlex gilt dagegen eine weniger restriktive Definition (van Eck & Waltman, 2025). Grund dafür ist, dass OpenAlex im Vergleich zu den proprietären Datenbanken eine deutlich weniger granulare Dokumenttyp-Klassifikation verwendet. Während WoS Konferenzbeiträge als eigenen, von article/review klar abgegrenzten Dokumenttyp führt, fasst OpenAlex im Zuge der Dokumenttyp-Klassifikation Zeitschriftenartikel, Konferenzbeiträge und Preprints zu einem einzigen Typ article zusammen, article fungiert in OpenAlex faktisch als Auffangkategorie (Alperin et al., 2024; Haupka et al., 2026). Diese weniger ausgeprägte Granularität hat unmittelbare Folgen für die core-publications-Zählung. Konferenzbeiträge, die in WoS über die explizite Typzuweisung ausgeschlossen werden, werden in OpenAlex dem generischen article-Typ implizit zugeordnet. Je nach Feld und Publikationskultur könnten dadurch unterschiedliche Zählungen resultieren und Felder, die sich durch eine hohe Bedeutung von Konferenzbeiträgen als Publikationsform auszeichnen könnten somit stärkere disziplinäre Unterschiede zeigen. Das deutet außerdem darauf hin, dass selbst normierte, größenunabhängige Indikatoren wie PP(OA) nicht datenquellenunabhängig sind. Beim Vergleich unterschiedlicher Rankingversionen und der Interpretation ihrer Ergebnisse ist dies entsprechend zu berücksichtigen.
Anzumerken ist jedoch, dass OpenAlex inzwischen die eigene Dokumenttyp-Klassifikation überarbeitet hat (Demes, 2026). OpenAlex bildet nun 25 verschiedene Dokumenttypen ab und nach eigenen Aussagen hat sich der Dokumenttyp von etwa 10% der indexierten Werke verändert (Demes, 2026). Dies wird insbesondere Auswirkungen auf zukünftige Versionen der Rankings haben, die OpenAlex als Datenquelle nutzen.
Open-Access-Indikatoren
Innerhalb der evaluativen Bibliometrie konzentrieren sich sogenannte Produktivitätsindikatoren auf die Auszählung von Publikationsvolumina, um die Produktivität von Einzelpersonen, Institutionen oder Ländern zu quantifizieren (Gauch, 2023). Open-Access-Indikatoren lassen sich in diesem Zusammenhang als eine Form von Produktivitätsindikatoren verstehen, da sie meist die Anzahl an Open-Access-Publikationen auszählen und daraus ein approximierendes Maß für die Produktivität von Forschenden, Institutionen oder Ländern im Bereich Open Access generieren.
Aus einer guten bibliometrischen Praxis heraus, wie sie etwa im Leiden Manifest (Hicks et al., 2015) umrissen ist, erfordert die Auswahl der im Kontext von Rankings verwendeten Indikatoren sorgfältige Überlegungen bezüglich deren Eignung für den Vergleich von Institutionen. Ein Vergleich zwischen Einrichtungen aus unterschiedlichen regionalen Kontexten oder mit unterschiedlicher Anzahl an Forschenden und Publikationsvolumina kann problematisch sein, wenn die Indikatoren lediglich absolute Anzahlen an Publikationen darstellen, da die spezifischen Bedingungen und Herausforderungen jeder Einrichtung nicht berücksichtigt werden. Um eine bessere Vergleichbarkeit zwischen Einrichtungen zu schaffen, finden daher bei der Indikatorenkonstruktion verschiedene Formen der Normalisierung Anwendung (Gauch, 2023). Eine Form der Normalisierung in Bezug auf Open-Access-Indikatoren kann sein, die absolute Anzahl der Open-Access-Publikationen einer Einrichtung ins Verhältnis zu setzen zur absoluten Anzahl aller Publikationen einer Einrichtung im untersuchten Zeitraum.
Neben einzelnen Indikatoren werden auch sogenannte zusammengesetzte Indikatoren (composite indicators) für einige Rankings verwendet, die als Rangliste angelegt sind. Diese Indikatoren werden aus gewichteten Aggregaten von einzelnen Indikatoren generiert (Glänzel & Debackere, 2009; Johnes, 2018). Die Idee hinter zusammengesetzten Indikatoren besteht darin, komplexe Phänomene wissenschaftlicher Aktivitäten durch die Kombination und Verdichtung verschiedener Indikatoren zu einem einzigen, umfassenden Maß abzubilden. Durch diese Art der Linearisierung in eine einzelne Metrik, die sich sortieren lässt, ermöglichen zusammengesetzte Indikatoren eine einfachere Vergleichbarkeit zwischen Einrichtungen, Personen oder Ländern (Gauch, n.d.). Dennoch gehen gewisse Problematiken mit zusammengesetzten Indikatoren einher, eine gute Übersicht findet sich bei Forthmann et al. (2024). Zu den Problematiken und Kritikpunkten gehören beispielsweise, dass die Auswahl der Gewichtung einzelner Komponenten bei zusammengesetzten Indikatoren oft undurchsichtig und teils willkürlich erfolgt. Dabei haben die Gewichte der Einzelkomponenten einen beachtlichen Einfluss auf das resultierende Ranking (Forthmann et al., 2024; Glänzel & Debackere, 2009). Ferner wird auch kritisiert, dass es oft an hinreichender Transparenz bezüglich der Indikatorenkonstruktion mangelt, was die Interpretation der Rankingergebnisse erschweren kann (Forthmann et al., 2024).
Tab. 8 bietet einen zusammenfassenden Überblick über die zentralen Unterschiede zwischen den fünf Rankingsystemen in Bezug auf die verwendeten Open-Access-Indikatoren.
| Ranking | OA-Datenquelle | Unterschiedene OA-Statustypen | Darstellungsform | Gewichtung im Gesamtscore |
|---|---|---|---|---|
| Leiden Ranking | OpenAlex | Gold, Hybrid, Bronze, Green, Unknown | Einzelindikatoren (absolut & relativ) | kein Gesamtscore |
| Leiden Ranking Open Edition | OpenAlex | Gold, Hybrid, Bronze, Green | Einzelindikatoren (absolut & relativ) | kein Gesamtscore |
| SCImago Institutions Ranking | Unpaywall | keine Differenzierung | einzelner Indikator (%) | 2% (innerhalb Research: 50%) |
| QS Sustainability Ranking | Unpaywall | Gold, Hybrid, Green | aggregierter Indikator (0–100) | 1% (innerhalb Governance: 10%) |
| COKI OA Dashboard | Unpaywall | Publisher Open, Other Platform Open, Both, Closed | absolut & relativ | kein Gesamtscore |
Beide Versionen des Leiden Rankings bieten im Kern zwei Arten von Open-Access-Indikatoren: 1) Indikatoren, die das Gesamtpublikationsvolumen an Open-Access-Publikationen einer Hochschule über einen Vier-Jahreszeitraum ausweisen und 2) Indikatoren, die den Anteil des Open-Access-Publikationsvolumens am Gesamtpublikationsvolumen einer Hochschule über einen Vier-Jahreszeitraum ausweisen. Beide Indikatoren werden einmal insgesamt für die Open-Access-Publikationen ausgewiesen und zusätzlich noch einmal separat für die gängigen Open-Access-Statustypen (gold, hybrid, grün, bronze, sowie für das traditionelle Leiden Ranking unknown). Neben den Open-Access-Indikatoren wird auch das Gesamtpublikationsvolumen pro Einrichtung angegeben. Auch wenn ein Vergleich zwischen Einrichtungen anhand absoluter Anzahlen Limitationen hat, so kann es doch sinnvoll sein, absolute Zahlen auszuweisen, um die Transparenz und Nachvollziehbarkeit der Indikatoren zu verbessern. Die Angabe der absoluten Anzahlen ermöglicht es den Einrichtungen, die Anteilswerte zu überprüfen und deren Genauigkeit zu beurteilen.
Ähnlich wie die beiden Leiden Rankings weist auch das COKI OA Dashboard sowohl absolute Anzahlen als auch relative Anteile in Bezug auf das Open-Access-Publikationsvolumen einer Einrichtung aus. Die im COKI OA Dashboard ausgewiesenen Indikatoren unterscheiden sich im Umfang zwischen der institutionellen Übersichtsseite und den Detailseiten der einzelnen Institutionen. Die Übersichtsseite, die einem Vergleich aller im COKI OA Dashboard repräsentierten Einrichtungen dient, weist dabei folgende Indikatoren für den Publikationszeitraum 2000–2024 aus: 1) den prozentualen Anteil an Open-Access-Veröffentlichungen, 2) ein gestapeltes Balkendiagramm, welches die prozentualen Anteile an Artikeln visualisiert, die über den Verlag, andere Platformen, beides oder gar nicht im Open Access zugänglich sind. Das Balkendiagramm weist jedoch die jeweiligen Prozente nicht aus, 3) die Gesamtanzahl der Veröffentlichungen einer Einrichtung und 4) die Gesamtanzahl an Open-Access-Veröffentlichungen einer Einrichtung. Die Detailseiten der einzelnen Institutionen enthalten weitere spezifische Indikatoren, die eine detailliertere Übersicht des Open-Access-Publizierens einer Einrichtung ermöglichen. Unter anderem sind hier Prozentangaben für das gestapelte Balkendiagramm und zeitliche Verläufe dargestellt. Auffällig ist, dass es eine Diskrepanz zwischen der Übersichtsseite und der Detailseite einer Einrichtung bezogen auf die absoluten Anzahlen für das Publikationsvolumen insgesamt und das Open-Access-Publikationsvolumen gibt. Auf der Übersichstsseite werden die exakten Werte angegeben, während auf der Detailsseite gerundete Werte dargestellt werden. Zudem handelt es sich bei dem Wert des prozentualen Open-Access-Anteils auf beiden Seiten um einen gerundeten Wert. Während die Angabe absoluter Zahlen, ähnlich zu den Leiden Rankings, für eine bessere Überprüfbarkeit der Indikatoren sorgt, ist die Darstellung gerundeter Werte weniger exakt.
Das SCImago Institutions Ranking verwendet einen zusammengesetzten Indikator, der verschiedene Indikatoren aus den drei Bereichen Research, Innovation und Societal aggregiert. Die Research-Dimension geht mit 50% Gewicht in den zusammengesetzten Indikator ein und ist gegenüber den beiden anderen Dimension mit 30% (Innovation) und 20% (Societal) Gewichtung demnach deutlich stärker fokussiert. Der Open-Access-Indikator ist im SCImago Institutions Ranking Teil der Research-Dimension und geht mit einem Gewicht von 2% in diese ein. Er gehört damit zu den am wenigsten stark gewichteten Indikatoren innerhalb der Research-Dimension und des zusammengesetzten Indikators insgesamt. Der Open-Access-Indikator gibt den prozentualen Anteil der Publikationen an, die in Open-Access-Zeitschriften veröffentlicht oder in Unpaywall indexiert sind (SCImago Research Group, n.d.-a). Das SCImago Institutions Ranking weist aber weder den Open-Access-Indikator noch die von den Einrichtungen erreichte Gesamtpunktzahl aus, sondern gibt lediglich den resultierenden Rang an.
Ähnlich wie das SCImago Institutions Ranking verwendet auch das QS Sustainability Ranking einen zusammengesetzten Indikator. Das QS Sustainability Ranking aggregiert dazu verschiedene Indikatoren aus den Bereichen Environmental Impact, Social Impact, und Governance. Die Governance-Dimension geht mit 10% Gewicht in den zusammengesetzten Indikator ein und ist damit im Gegensatz zur den Gewichtungn der beiden anderen Dimensionen mit jeweils 45% deutlich weniger stark fokussiert. Der Open-Access-Indikator ist im QS Sustainability Ranking Teil der Governance-Dimension und geht mit einem Gewicht von 1% in diese ein. Alle Indikatoren innerhalb der Governance-Dimension haben das gleiche Gewicht zugewiesen, werden also gleichwertig für die Dimension berücksichtigt. Der Open-Access-Indikator gibt den Anteil der gesamten Forschungsergebnisse einer Einrichtung an, die laut Unpaywall im Open Access verfügbar sind (Quacquarelli Symonds, n.d.-b). Bei der Indikatorenkonstruktion wird zwischen verschiedenen Open-Access-Statustypen (gold, hybrid, grün) und Feldern unterschieden, denen unterschiedliche Gewichtungen zugewiesen sind. Der finale Open-Access-Indikator wird anhand der einzelnen Werte pro Feld aggregiert und auf einen Wertebereich zwischen 0 und 100 skaliert (Quacquarelli Symonds, n.d.-b). Der Datensatz QS Sustainability Ranking weist zusätzlich zur Gesamtpunktzahl für jede Dimension gesondert die erreichte Punktzahl aus. Die Gesamtpunktzahl wird dabei nur bis zum Rang 902 angegeben.
Insgesamt ist erkennbar, dass sich die fünf Rankingsysteme teilweise stark in der Verwendung von Open-Access-Indikatoren unterscheiden, auch wenn alle beschriebenen Open-Access-Indikatoren die Produktivität von Einrichtungen in Bezug auf Open Access messen und darstellen. Unterschiede und Herausforderungen für die Vergleichbarkeit der Rankingergebnisse ergeben sich beispielsweise aus der Berücksichtigung verschiedener Open-Access-Statustypen (gold, hybrid, grün, etc.) zur Klassifikation von Open-Access-Publikationen. Hierbei ergibt sich auch eine Pfadabhängigkeit zu der verwendeten Datenquelle, anhand derer die Open-Access-Publikationen identifiziert werden. Beide Versionen des Leiden Ranking verwenden OpenAlex als Datenquelle zur Identifikation von Open-Access-Publikationen und weisen ferner die Open-Access-Indikatoren gesondert für alle Open-Access-Statustypen aus. Das QS Sustainability Ranking hingegen stützt sich auf Unpaywall als Datenquelle, scheint jedoch nur zwischen goldenen, hybriden und grünen Open-Access-Publikationen zu unterscheiden (Quacquarelli Symonds, n.d.-b). Das SCImago Institutions Ranking verwendet Unpaywall als Datenquelle, scheint jedoch keine Open-Access-Statustypen zu unterscheiden (SCImago Research Group, n.d.-a). Das COKI OA Dashboard verwendet ebenfalls Unpaywall als Datenquelle zur Identifikation von Open-Access-Publikationen, weist aber im Vergleich zu den anderen Rankings nicht die typischen Open-Access-Statustypen mit ihren Farben aus. Vielmehr werden im COKI OA Dashboard goldene, hybride und bronze Publikationen zu der Kategorie Publisher Open zusammengefasst. Diese Unterschiede erschweren die Vergleichbarkeit zwischen den Rankingsystemen in Bezug auf Open Access.
Durch die differenziertere Darstellung der Indikatoren verlangen beide Versionen des Leiden Ranking sowie das COKI OA Dashboard von den Nutzenden eine gesonderte Betrachtung der einzelnen Dimensionen, um eine umfassende Bewertung der Einrichtungen vornehmen zu können. Dies geht mit einer höheren Komplexität bei der Interpretation der Ergebnisse einher. Das SCImago Institutions Ranking und das QS Sustainability Ranking vereinfachen diese Komplexität durch die verwendeten zusammengesetzten Indikatoren. Allerdings erweisen sich die zusammengesetzten Indikatoren als weniger geeignet für das Open-Access-Monitoring und die Bewertung von Open-Access-Aktivitäten, da die spezifischen auf Open Access bezogenen Werte nicht direkt aus den zusammengesetzten Indikatoren abgeleitet werden können. Darüber hinaus spielen Open-Access-Indikatoren beim SCImago Institutions Ranking und dem QS Sustainability Ranking eine deutlich untergeordnete Rolle, da sie jeweils nur einen sehr geringen Anteil an der Gesamtwertung ausmachen.
Institutionelle Beteiligung bei der Datenerhebung
Dieser Abschnitt befasst sich mit den Datenerhebungsverfahren der verschiedenen Rankinganbieter und untersucht, inwieweit sich Einrichtungen an der sie betreffenden Datenerhebung beteiligen können.
Für das traditionelle Leiden Ranking erhebt das CWTS keinerlei Daten direkt von den gerankten Einrichtungen (Centre for Science and Technology Studies, Leiden University, n.d.-e; Van Eck, 2025c). Das Ranking basiert auf Daten aus dem Web of Science, die vom CWTS aufbereitet und standardisiert werden. Da es sich beim Web of Science jedoch um eine proprietäre Datenquelle handelt, die mit lizenzrechtlichen Restriktionen einhergeht, ist es dem CWTS nicht möglich die Rohdaten sowie die kuratierten Daten offen zugänglich zu machen (van Eck, Visser, et al., 2024). Dadurch ist es den betreffenden Einrichtungen nicht ohne Weiteres möglich die Datenqualität zu überprüfen.
Für das Leiden Ranking Open Edition werden ebenfalls keine Daten direkt bei den Einrichtungen erhoben (Centre for Science and Technology Studies, Leiden University, n.d.-h). Im Gegensatz zum traditionellen Leiden Ranking greift das Leiden Ranking Open Edition jedoch auf offene Datenquellen, wie OpenAlex und ROR, zur Erstellung des Rankings zurück (Centre for Science and Technology Studies, Leiden University, n.d.-b). Durch die Verwendung von offenen Datenquellen und aufgrund der Bereitstellung der Roh- und Ergebnisdaten durch das CWTS (Centre for Science and Technology Studies, Leiden University, n.d.-f) ist es den gerankten Einrichtungen möglich, einerseits die Qualität der Daten zu überprüfen und andererseits am Datenkurierungsprozess teilzunehmen, indem die Einrichtungen Probleme mit der Datenqualität an die jeweiligen Akteure melden (van Eck, Visser, et al., 2024).
Die Methodik des SCImago Institutions Rankings beschreibt, dass für das Ranking Daten aus verschiedenen Quellen erhoben werden, dies sind: Scopus, PATSTAT, Google, Semrush, Unpaywall, PlumX Metrics, Mendeley und Overton (SCImago Research Group, n.d.-a). Die Methodik erwähnt keine Möglichkeit der institutionellen Beteiligung bei der Datenerhebung, weshalb davon ausgegangen wird, dass keine Daten direkt von den gerankten Institutionen erhoben werden. Die bibliographischen Daten für das SCImago Institutions Ranking stammen aus Scopus, einer proprietären Datenquelle, die, ähnlich wie das Web of Science, mit lizenzrechtlichen Einschränkungen einhergeht. Die Rohdaten des SCImago Institutions Ranking sind nicht öffentlich zugänglich, wodurch davon auszugehen ist, dass gerankte Institutionen nicht ohne Weiteres die Möglichkeit haben, die sie betreffenden Daten zu überprüfen oder zu korrigieren, bevor sie in das Ranking einbezogen werden. Zur Bestimmung des Open-Access-Status verwendet das SCImago Institutions Ranking mit Unpaywall eine offene Datenquelle. Ähnlich wie beim Leiden Ranking Open Edition könnte für die Open-Access-Daten eine Beteiligung der betreffenden Einrichtungen am Datenkuratierungsprozess möglich sein, indem Probleme mit der Datenqualität direkt an Unpaywall gemeldet werden. Insgesamt weist die Methodik des SCImago Institutions Ranking wenig Informationen bezüglich Datenqualität und möglicher Einschränkungen auf, es wird auch nicht transparent kommuniziert, welche Möglichkeiten es für Einrichtungen gibt zu einer verbesserten Datenqualität beizutragen.
Die COKI Open Access Dashboard verwendet zur Datenerhebung ausschließlich offene Datenquellen, darunter Crossref, Unpaywall, oder ROR (Curtin Open Knowledge Initiative, n.d.-c). Die Methodik des COKI OA Dashboard beschreibt detailliert den Prozess der Datenerhebung anhand externer Datenquellen, macht jedoch keine Angaben zu einer Datenlieferung durch die gerankten Institutionen selbst (Curtin Open Knowledge Initiative, n.d.-c). Es ist daher davon auszugehen, dass es keine direkte institutionelle Beteiligung bei der Datenerhebung gibt. Da der COKI-Datensatz auf offenen Datenquellen basiert, ist ähnlich wie beim Leiden Ranking Open Edition davon auszugehen, dass die betreffenden Institutionen die Möglichkeit haben sich indirekt am Datenkuratierungsprozess zu beteiligen, indem sie Probleme mit der Datenqualität direkt an die jeweiligen Verantwortlichen der verschiedenen Datenquellen melden. Darüber hinaus kommuniziert COKI Limitationen des eigenen Datensatzes (Curtin Open Knowledge Initiative, n.d.-c) und bietet verschiedene Kontaktmöglichkeiten (Curtin Open Knowledge Initiative, n.d.-a), sodass Einrichtungen auch die Möglichkeit haben, aktiv an der Verbesserung der Daten des COKI-Datensatzes mitzuwirken.
Das QS Sustainability Ranking ist das einzige der fünf untersuchten Rankingsysteme, das eine direkte Beteiligung der betreffenden Institutionen bei der Datenerhebung vorsieht. Die Methodik des QS Sustainability Ranking beschreibt, dass QS generell alle Institutionen ermutigt, Daten für die QS Rankings bereitzustellen (Quacquarelli Symonds, n.d.-g). Zur Datenübermittlung stellt QS eine spezielle Plattform bereit, die Methodik bietet jedoch keine genaue Auflistung, welche Daten erfragt werden (Quacquarelli Symonds, n.d.-g). Sollten Institutionen, die für die Aufnahme in das QS Sustainability Ranking qualifiziert sind, keine Daten liefern, so bewertet QS diese Institutionen auf Grundlage von proprietären und öffentlich verfügbaren Daten oder zuvor von der jeweiligen Einrichtung bereitgestellten Daten. Ein gänzliches opt-out aus dem Ranking von institutioneller Seite ist demnach nicht vorgesehen. QS argumentiert dies damit, dass die Inklusion aller qualifizierenden Einrichtungen die Zuverlässigkeit der Rankings erhöht (Quacquarelli Symonds, n.d.-c). Allerdings bietet QS keine Angaben dazu, wie viele der gerankten Einrichtungen tatsächlich die Möglichkeit zur Datenlieferung wahrnehmen.
Insgesamt zeigt sich, dass die Möglichkeit für Einrichtungen, sich an der sie betreffenden Datenerhebung der Rankinganbieter zu beteiligen, nur begrenzt gegeben ist. Das QS Sustainability Ranking ist das einzige Rankingsystem, das direkt Daten von den betreffenden Institutionen erhebt, wobei nicht ganz klar ist, welche spezifischen Daten von den Einrichtungen abgefragt werden. Die anderen Rankingsysteme verwenden ausschließlich Daten aus externen Quellen, die nicht direkt von den Institutionen erhoben werden. Die Verwendung von offenen Datenquellen, wie im Leiden Ranking Open Edition oder dem COKI OA Dashboard, kann jedoch den Einrichtungen eine Möglichkeit bieten, die Qualität der sie betreffenden Daten zu verbessern. Qualitativ hochwertige Quelldaten sowie transparente Methodiken für die Erstellung von Rankings können ferner dazu beitragen das Vertrauen in Verlässlichkeit und Aussagekraft der Rankingsysteme zu verbessern.
Limitationen
Die vorliegende Analyse unterliegt mehreren methodischen Einschränkungen, die bei der Interpretation der Ergebnisse zu berücksichtigen sind.
Die Untersuchung institutioneller Überschneidungen zwischen den fünf Rankingsystemen wurde aufgrund unvollständiger ROR-ID-Zuordnungen für das SCImago Institutions Ranking und das QS Sustainability Ranking auf deutsche Einrichtungen beschränkt. Die berichteten Überschneidungsanteile lassen sich daher nicht ohne Weiteres auf die globale Ebene übertragen.
Die Untersuchung disziplinärer Unterschiede beschränkt sich auf die beiden Versionen des Leiden Ranking, da nur diese eine disziplinäre Zuordnung in ihren Daten ausweisen. Aussagen zu disziplinären Verzerrungen der übrigen drei Rankingsysteme sind auf dieser Grundlage nicht möglich. Die Analyse der Rangverschiebungen zwischen dem traditionellen Leiden Ranking und dem Leiden Ranking Open Edition bezieht sich ausschließlich auf die über ROR-IDs zugeordnete Teilmenge gemeinsamer Institutionen. Für Deutschland waren 15 der 73 im Leiden Ranking Open Edition enthaltenen Institutionen im traditionellen Leiden Ranking nicht vertreten und somit von der Analyse ausgeschlossen. Zudem waren die absoluten Median- und Perzentilwerte zwischen der deutschen (N = 53–58) und der globalen Stichprobe (N = 1.207–1.586) aufgrund der stark unterschiedlichen Stichprobengrößen nicht direkt vergleichbar. Entsprechende Vergleiche wurden daher auf qualitative Beobachtungen innerhalb der jeweiligen Ebene beschränkt.
Sämtliche in dieser Analyse berichteten Beobachtungen stellen Momentaufnahmen der jeweils zugrunde liegenden Datenversionen dar. Gleiches gilt für die verwendete Literatur zu den bibliographischen Datenquellen. Die Studien bilden den jeweils zum Erhebungszeitpunkt der einzelnen Analysen vorliegenden Stand von Web of Science, Scopus, Crossref und OpenAlex ab und die Studienergebnisse lassen sich aufgrund der dynamischen Weiterentwicklung der Datenquellen nicht ohne Weiteres auf den aktuellen Stand übertragen.
Zusammenfassung
Die vergleichende Analyse der fünf Rankingsysteme mit Fokus auf die Open-Access-Dimension zeigt, dass die verwendeten OA-Indikatoren trotz eines gemeinsamen Erkenntnisinteresses — der Messung von Open-Access-Aktivitäten wissenschaftlicher Einrichtungen — nur eingeschränkt miteinander vergleichbar sind. Die wesentlichen Ursachen für diese eingeschränkte Vergleichbarkeit liegen insbesondere in folgenden Bereichen:
- In der Wahl der bibliographischen Datenquelle (Web of Science, Scopus, OpenAlex, Crossref), die sowohl die Abdeckung von Publikationen als auch deren disziplinäre und geografische Verteilung bestimmt.
- In der Wahl der OA-Datenquelle (Unpaywall vs. OpenAlex), die die verfügbaren OA-Statuskategorien und deren Klassifikationslogik festlegt.
- In den berücksichtigten Dokumenttypen, die den Nenner aller relativen OA-Indikatoren definieren.
- In der Konstruktion der Indikatoren selbst, die von differenzierten Einzelindikatoren bis hin zu stark aggregierten zusammengesetzten Indikatoren reicht.
- In empirisch feststellbaren Unterschieden zwischen den Rankings selbst: Die untersuchten Systeme unterscheiden sich deutlich in der Anzahl und Überschneidung der abgebildeten Institutionen (insbesondere zeigt das COKI OA Dashboard eine deutlich breitere Coverage als die anderen vier Rankings) sowie in der geografischen Repräsentation einzelner Länder (siehe Tab. 1). Am Beispiel der beiden Versionen des Leiden Ranking ließ sich zudem feststellen, dass sich die Rangposition einzelner Institutionen je nach genutzter Datenquelle spürbar verschieben kann und dass das Ausmaß dieser Verschiebung zwischen den Feldern sowie zwischen Deutschland und der globalen Ebene variiert.
In der Konsequenz ist sowohl ein direkter Vergleich von Rankingergebnissen einzelner Institutionen zwischen den fünf Systemen als auch ein Vergleich ihrer jeweiligen OA-Aktivitäten über mehrere Rankingsysteme hinweg nur eingeschränkt sinnvoll. Weder die zugrunde liegenden Publikationsmengen noch die berechneten OA-Anteile beziehen sich auf vergleichbare Grundgesamtheiten. Hinzu kommt, dass Institutionen, die in einem Ranking nicht erfasst sind, dieses grundsätzlich nicht für die eigene Positionierung heranziehen können, während für Institutionen, die in mehreren Rankings vertreten sind, die jeweiligen Ergebnisse nicht unmittelbar gegenübergestellt werden können.
Für Nutzende, die Rankings für das OA-Monitoring oder eine strategische Entscheidungsfindung heranziehen möchten, ergeben sich daraus konkrete Implikationen. Rankings, die auf offenen Datenquellen basieren — insbesondere das Leiden Ranking Open Edition und das COKI OA Dashboard — bieten eine höhere Transparenz und Nachvollziehbarkeit sowie die Möglichkeit, Datenqualitätsprobleme an die zuständigen Stellen zu melden. Dies bietet Vorteile gegenüber Rankingsystemen, die sich auf proprietäre Datenquellen stützen. Transparenz allein löst jedoch nicht das grundsätzliche Vergleichbarkeitsproblem zwischen den Rankingsystemen. Rankings mit zusammengesetzten Indikatoren wie das SCImago Institutions Ranking und das QS Sustainability Ranking sind darüber hinaus für ein differenziertes OA-Monitoring der eigenen Einrichtung grundsätzlich nicht geeignet, da die OA-Indikatoren jeweils nur einen sehr geringen Anteil an der Gesamtwertung ausmachen und keine disaggregierten OA-Werte ausgewiesen werden.
Datenverfügbarkeit
Diese Studie stützt sich auf Sekundärdaten aus fünf institutionellen Rankingsystemen sowie aus dem Research Organization Registry (ROR). Die verwendeten Daten werden in der begleitenden Datendokumentation im Detail beschrieben (Dörner, 2026). Die Daten der CWTS Leiden Rankings (traditionelle Edition und Open Edition), des COKI Open Access Dashboard sowie des ROR-Datensatzes sind öffentlich unter offenen Lizenzen verfügbar und werden in der Datendokumentation mit versionierten, persistenten DOIs zitiert. Diese Daten werden im Rahmen des der Analyse zugrunde liegenden Datensatzes nicht zusätzlich veröffentlicht, da dies gegenüber den bestehenden, versionierten Quellen keinen Mehrwert bietet.
Die Daten des SCImago Institutions Ranking und des QS Sustainability Ranking werden aus folgenden Gründen nicht veröffentlicht: (1) Die Nutzungsbedingungen für die Daten des SCImago Institutions Ranking sind nicht hinreichend spezifiziert, um zu bestimmen, ob eine Weiterverbreitung zulässig ist, und (2) der Zugang zu den Daten des QS Sustainability Ranking erfordert eine Registrierung beim Datenanbieter, dessen Nutzungsbedingungen ebenfalls keine eindeutige Erlaubnis zur Weiterverbreitung enthalten.
Um die Reproduzierbarkeit trotz dieser Einschränkungen zu gewährleisten, wurde eine Datenveröffentlichung bestehend aus einer Datendokumentation, die alle Datenquellen, Abgleichs- und Harmonisierungsverfahren sowie die Bestandteile der Datenveröffentlichung im Detail beschreibt und dem vollständigen Computational Notebook (Quarto/R-Quellcode) zur Durchführung der Analyse sowie einer gerenderten HTML-Version des Notebooks einschließlich aller während der Ausführung erzeugten Berechnungen, Tabellen, UpSet-Plots und Choroplethenkarten, unter CC0 auf Zenodo hinterlegt: Dörner (2026) Dörner, S. (2026). Dataset for: Open Access in Institutional Rankings [Dataset]. Zenodo. https://doi.org/10.5281/zenodo.23892205
Direkte Links und Zugangsbedingungen für jeden der fünf ursprünglichen Ranking-Datensätze sowie für den ROR-Datensatz, einschließlich der jeweiligen DOIs, sind in der Datendokumentation angegeben.
KI-Nutzungserklärung
Bei der Erstellung dieses Dokuments wurde Claude (Anthropic, Modell Claude Sonnet 5.5) zur Unterstützung bei der Textgenerierung (Entwurfsvorschläge), der Codegenerierung und der Code-Optimierung eingesetzt. Der Einsatz erfolgte, um den Schreib- und Entwicklungsprozess zu beschleunigen und die Qualität des Codes zu steigern. Die KI diente dabei ausschließlich als unterstützendes Werkzeug. Nach der Nutzung dieses Werkzeugs wurde der Inhalt von der Autorin geprüft und bei Bedarf überarbeitet. Die Autorin hat alle von der KI generierten Inhalte auf ihre Richtigkeit überprüft, validiert und verifiziert.
Referenzen
Footnotes
Informationen zur jeweiligen Datenverfügbarkeit inklusive eines Links zum Download der verwendeten Version der Daten – sofern vorhanden – sind für alle Rankings in dem jeweiligen Kasten mit den Ranking Details erfasst.↩︎
Quacquarelli Symonds (2024) berichtet, dass 1.744 Institutionen in der Version 2025 geranked wurden. Die Daten zeigen hier jedoch eine Abweichung um eine Einrichtung.↩︎
Die bereitgestellten Daten zeigen eine Abweichung um eine Institution zu der von SCImago auf der Rankingwebsite berichteten Anzahl an gerankten Institutionen (SCImago Research Group, n.d.-b). Die bereitgestellte csv-Datei enthält zwar 9.756 Zeilen, jedoch handelt es sich bei der ersten Zeile lediglich um eine Kopfzeile.↩︎
Beispielsweise wird im SCImago Institutions Ranking das Deutsche Krebsforschungszentrum in der Landessprache angesetzt, während in ROR die englische Namensvariante German Cancer Research Center als Hauptansetzung verwendet wird.↩︎
Durch Klick auf die Abbildungen werden diese vergrößert dargestellt.↩︎
Formal definiert Moed (2016) die preference mit: \(P= \bigg(\dfrac{n[i, j]}{\sum_i n[i, j]}\bigg)\bigg(\dfrac{\sum_i\sum_jn[i, j]}{\sum_jn[i, j]}\bigg)\), wobei \(n[i, j]\) die Anzahl an Institutionen aus Land \(i\) im Rankingsystem \(j\), \(\sum_in[i, j]\) die Summe aller \(n[i, j]\) über alle \(i\) (Länder), \(\sum_jn[i, j]\) die Summe aller \(n[i, j]\) über alle \(j\) (Rankingsysteme), und \(\sum_i\sum_jn[i, j]\) die Summe aller \(n[i, j]\) über alle \(i\) (Länder) und alle \(j\) (Rankingsysteme) angibt.↩︎







