H-Index: Leitfaden durch den Zoo der Publikationsindizes

Ich halte am 26. November an der DUK ein Weiterbildungs-Seminar zu Thema Wie manage ich meinen Publikationsindex?. Dieser Beitrag ist der zweite Schritt der Vorbereitung dazu. (Der erste Schritt war eine Kritik am Journal Impact Factor.) Nachfolgend stelle ich die Vor- und Nachteile des H-Indexes zusammen und zeige, wie komplexe bibliometrische Auswertungen mit unterschiedlichen Maßzahlen vorgenommen werden können.

Ich habe mich in letzter Zeit recht intensiv mit den Publikationsindizes beschäftigt. Insbesondere ist mir deutlich geworden, warum der berühmte Impact-Faktor von Zeitschriften (Journal Impact Factor, JIF) als Maß für Publikationsleistungen ungeeignet ist und schärfstens abzulehnen ist, weil er nicht das misst, was er vorgibt. Es gibt inzwischen ja auch bereits eine gegenüber dem JIF kritische Protestbewegung (San Francisco Declaration on Research Assessment, DORA), der man/frau sich anschließen kann. Leider meinen viele Universitäten/Fakultäten immer noch, dass der JIF ein geeignetes Maß darstellt und zwingen ForscherInnen ihn zu berücksichtigen, weil sonst Karriere-Nachteile zu befürchten sind.

H-Index: Viele Vorteile …

publications

In ForscherInnen-Kreisen etabliert sich zunehmend der Hirsch-Index (Hirsch 2005) oder h-Index. Hier zählt nicht, ob der Artikel in einer bestimmten Zeitschrift erscheint, sondern wie oft er tatsächlich zitiert wird. Ein H-Index von 6 beispielsweise sagt, dass 6 Publikationen mindestens 6x zitiert worden sind, ein H-Index von 7 dementsprechend dass 7 Publikationen mindestens 7x zitiert worden sind.

Für einen hohen H-Index müssen also nicht nur möglichst viele Schriften publiziert worden sein, sondern möglichst viele davon auch noch möglichst häufig zitiert werden. Jetzt einmal davon abgesehen, dass Forschungsleistungen sich nicht nur in Publikationen darstellen, misst der H-Index tatsächlich den Impact durch Zitationen und nicht wie der Journal Impact Factor (JIF) über den Umweg der Zitationen eines gesamten Journals. Auch die firmeninternen Festlegungen von Reuters oder Elsevier, die nur bestimmte Journale (US-Bias) und bestimmte Bedingungen von Zitationen akzeptieren (nur  gelistetes Journale), sind beim H-Index kein Thema. Google Scholar, der die größte Datenbasis aufweist, zählt alle Zitationen, die im Internet (nach einem gewissen Algorithmus) als wissenschaftliche Publikationen eingeschätzt werden.

Der H-Index ist auch relativ robust, d.h. er lässt sich nicht leicht manipulieren. Beispielsweise habe ich bei meinen H-Index von 23 mehrere Artikel mit einer Anzahl von Zitationen, die knapp dahinter folgen: 22, 21, 20, 20, 20. Selbst wenn ich mich bloß um 1 auf 24 verbessern möchte und alle meine MitarbeiterInnen auffordere, denjenigen Artikel der bereits 22x zitierten wurde, fließ weiter zu zitieren, dann muss aber auch der jetzige Artikel, der jetzt gerade 23 aufweist, nochmals zitiert werden, damit alle 24 Artikel diese 24 Zitationen aufweisen. Will ich auch noch die anderen Publikationen (21, 20, 20, 20) in meinem H-Index hieven (= 28), dann müssen weitere 31 Zitate (21+7, 3x8 um von 20 auf 28 zu kommen) "organisiert" werden. Dazu kommt aber noch, dass auch die bisherigen H-Index-Publikationen, die unter 28 liegen, "angehoben" werden müssen, was weitere 13 Zitierungen notwendig macht. ♦Update: Stimmt zwar noch im Prinzip, inzwischen (12.6.2014) ist jedoch mein H-Index auch ohne diese Tricks auf 24 angewachsen.♦

Diese Robustheit ist ein großer Vorteil, weil der H-Index daher nicht so leicht manipuliert werden kann. Im Gegensatz zum JIF, wo eine Universität z.B. allen MitarbeiterInnen sagt, dass möglichst Artikel eines bestimmten Journals bevorzugt zu zitieren. Alle Zitierungen auf Beiträge von Artikel, die in den letzten 5 Jahren erschienen sind, schrauben dann den JIF dieses Journals in die Höhe, was sich besonders bei Journalen mit wenigen Artikel pro Heft und Jahr auswirkt.

… aber auch Nachteile – die jedoch korrigiert werden können

Auch der H-Index hat einige Nachteile, die sich aber einerseits in Grenzen halten und andererseits aber durch davon abgeleitete weitere Maße zum Teil auch korrigiert werden können:

1. Publikationen mit sehr vielen Zitationen werden benachteiligt

Positive "Ausreißer", also Publikationen mit sehr vielen Zitaten, werden "abgeschnitten" und für den H-Index nicht berücksichtigt. Wenn beispielsweise 40 Artikel publiziert wurden und ein besonders kontroversieller Artikel davon über 2.000 Zitationen hat, so nützt das dem H-Index nicht, der alleine schon aus seiner Definition heraus, niemals höher als die Anzahl der bereits publizierten Artikel (im Beispiel 40) sein kann. Das ist natürlich ein wesentlicher Nachteil für Buchpublikationen – die weit mehr Aufwand bedeuten, dafür aber auch im allgemeinen eine weit höhere Anzahl von Zitationen bekommen – und forciert kurze Artikel. Beide Schieflagen (keine Bücher und kurze Artikel) begünstigen die Naturwissenschaften, wo Beiträge von 2-6 Seiten die Regel sind und benachteiligt die Geisteswissenschaften wo Bücher ein wesentlicher Bestandteil wissenschaftlicher Forschungsleistungen sind aber auch der durchschnittliche Artikel mit 12-15 Seiten länger ausfällt, und selbst Beiträge mit 20 Seiten oder darüber keine Einzelfälle darstellen.

Es gibt drei Möglichkeiten diese Schieflagen zu korrigieren:

  1. Rangliste der Publikationen nach ihrer Zitierhäufigkeit erstellen: Das sollte eigentlich immer gemacht werden. Damit wird nicht nur klar, ob es außerdem noch einen "long tail" von vielen weiteren Beiträge gibt, die es gerade noch nicht für den H-Index geschafft haben, sondern ob es auch (einen oder mehrere) Publikationen gibt, die extrem hohe Zitierhäufigkeit haben.
  2. G-Index: Hier werden ebenfalls in absteigender Reihenfolge sortiert. Der G-Index (Egghe 2006) ergibt sich dann aus jener Anzahl von Publikationen, die zum Quadrat genommen gerade noch kleiner ist als die Summe aller Zitationen, die jene Artikel zusammen genommen ergeben. Das klingt jetzt kompliziert, aber mit einem Beispiel wird es deutlich: In meinem H-Index haben die obersten 46 Publikationen insgesamt 2190 Zitationen. 462 = 2116 liegt also noch innerhalb der Grenze. 47 Publikationen von mir haben aber nur wenig mehr Zitationen (2199), 472 ist aber 2209 als höher als die Anzahl aller Zitationen dieser 47 Artikel. Fazit: Mein G-Index = 46. Der G-Index gibt den Publikationen mit hohen Referenzierungen ein größeres Gewicht. (Eine gut verständliche Übersicht der Mechanik von h- und g-Index gibt Rousseau 2006.)
  3. E-Index: Dieser Index (Zhang 2009) ist ebenfalls ein Maß für den "Überschuss" an Zitierungen. Dabei werden alle Zitationen, die zum H-Index gehören zusammengezählt und davon, dann das Quadrat des H-Index abgezogen. Aus diesem Restbetrag wird dann die Quadratwurzel gezogen.  Beispielsweise ergibt mein H-Index von 23 zum Quadrat 529, die von all meinen Zitationen der im H-Index-Bereich angesiedelten Publikationen abgezogen wird (Meine 23 H-Index-Publikationen haben in Summe = 1876 Zitierungen). Der Restbetrag ist dann 1.876-529 = 1.347. Der E-Index ist davon dann die Quadratwurzel = 36,7.
  4. i10-Index: Dieses Maß wird von Google Scholar verwendet und zeigt an, wie viele Publikationen mit ihrem Zitationen über einen H-Index über 10 liegen. Dieses Maß kann dazu benutzt werden, um eine gewissen Breite – sozusagen die Mitte – des Long Tails darzustellen.

Je höher der G- oder E-Index ist, desto mehr Zitate werden in jenen Publikationen versammelt, die zum H-Index zählen.

2. Jüngere WissenschaftlerInnen werden benachteiligt

publications_right

Die oben erwähnte Robustheit des H-Indexes hat zur Folge, dass er einige Jahre braucht, bis er "hoch startet": Während beim JIF bereits gezählt wird, wenn ein Artikel in einem gelisteten Journal erschienen ist, so werden beim H-Index die publizierten Zitate gezählt. Dadurch braucht der H-Index mehr Zeit: Zuerst muss (m)ein Artikel erschienen sein, dann muss er erst gelesen werden um überhaupt zitiert werden zu können und dann muss diese (neue) Publikation selbst erst noch publiziert werden.  Aus diesem Grunde ist besonders bei jungen WissenschaftlerInnen, die noch weniger als 10 Jahre publizieren, der H-Index kein gutes Maß.

Der H-Index baut sich in der gesamten Publikationsspanne auf. Auch Zitate nach dem Tode des Autors/der Autorin erhöhen weiter die Anzahl der Zitationen und damit den H-Index. Ältere WissenschaftlerInnen sind daher generell bevorzugt. Wiederum aber gibt es hier verschiedene Korrekturmöglichkeiten:

  1. M-Quotient: Eine einfache Möglichkeit ist es, den H-Index durch die Anzahl der Publikationsjahre zu dividieren. Das führt allerdings bei ganz jungen ForscherInnen (mit relativ geringem H-Index) zu sehr instabilen Zahlen, weil selbst eine kleine Steigerung im H-Index, sich dann (infolge der wenigen Jahre, durch die dividiert wird) groß auswirkt. Außerdem ist die erste Publikation vielleicht nicht gerade jene, die im jeweiligen Forschungsfeld dann wichtig ist, bzw. überhaupt publiziert wurde, wo noch nicht systematisch und langfristig publiziert worden ist. Außerdem benachteiligt der M-Quotient gegenüber Teilzeit-ForscherInnen oder Karriereunterbrechungen.
  2. Zeitgenössischer H-Index: Der H-Index kann nur steigen oder stagnieren, nie aber sinken. Dadurch erfasst er aber nicht, wenn WissenschaftlerInnen nach einer bombastischen Karriere unproduktiv oder weniger produktiv werden. Damit sind junge gegenüber älteren WissenschaftlerInnen, die infolge anderer Aufgaben (z.B. DekanInnen, RektorInnen) weniger forschen im Nachteil. Auch ein Vergleich der augenblicklicher Produktivität, der z.B. für Berufungsverhandlungen wichtig ist, wird vom normalen H-Index nicht angezeigt. Die Lösung ist eine besteht in einer altersabhängigen Gewichtung, wo älteren Publikationen weniger Gewicht zugeschrieben wird. Die frei verfügbare Software PoP (Publish or Perish) verwendet den gamma=4 und delta=1, (vgl. Sidiropoulos, Katsaros und Manolopoulos 2006) dh. dass Publikationen im aktuellen Jahr 4x, ein Artikel jedoch, der 6 Jahre zurück, nur 4/6 zählt. Je nach dem Wert der gewählten Gewichtung (gamma) und der jährlichen Korrektur (delta) können hier verschiedene Variationen gewählt werden.
  3. Altersgewichtung: Zum Unterschied vom zeitgenössischen H-Index, wo nachträglich die Anzahl aller Artikel nach dem Alter gewichtet werden, berechnet die Altersgewichtung die Artikel des H-Index in Abhängigkeit vom Altersgewicht der Publikationen. Die Software PoP adaptiert dazu den AR-Index (Bihui Jin 2007) und kennt (Harzing 2011:29p): AWCR (Age-Weighted Citation Rate), AWCRpA (AWCR per Author, dh. korrigiert bei der Anzahl der Ko-AutorInnen) und AW-Index (Age-Weight). Wenn die Zitationsrate über alle Jahre konstant bleibt, dann sind sich H- und AW-Index sehr ähnlich.
  4. Letzten 5 Jahre: Google Scholar stellt in einer eigenen Rubrik die Ergebnisse der letzten 5 Jahre zusammen. Auch daraus kann im Vergleich ein Schluss gezogen werden, wie produktiv die letzten Jahre im Verhältnis zu den Vorjahren waren.

3. Geistes- und Sozialwissenschaften werden benachteiligt

papers

Auch beim H-Index werden Geisteswissenschaften benachteiligt. Allerdings weit nicht so stark, wie beim JIF, weil alle Zitate in allen Publikationsorganen und vor allem in allen Sprachen zählen. Mit dem H-Index haben also auch deutsch publizierende Nestroy- oder Grillparzer- ForscherInnen einen Nachweis. (Diese Beispiele sind nicht aus der Luft gegriffen: Bei einer Veranstaltung zur Verlautbarung der Förderung von Open Access Zeitschriften des österreichischen Fonds zur Förderung der wissenschaftlichen Forschung (FWF) wurde auf Anfragen obiger Forschungsgruppen darauf bestanden, dass nur englisch-sprachige Zeitschriften gefördert werden.)

Ganz generell gilt: Wegen des stark unterschiedlichen Publikationsverhalten in den verschiedenen Disziplinen, sind Vergleichsanalysen mit dem H-Index nur innerhalb derselben wissenschaftlichen Community erlaubt! So variiert die durchschnittliche Anzahl der Zitationen pro Paper und auch die durchschnittliche Anzahl von Paper, die Wissenschaftlicher einer Disziplin publizieren enorm. Generell ist der H-Index daher in den Naturwissenschaften (Artikel mit wenig Seiten, vielen KoautorInnen und vielen Referenzen) höher als in den Sozial- und Geisteswissenschaften. "Enorm" ist keine Untertreibung: Eine Studie zeigte, dass im Verhältnis zu Mathematik (genormt als 1) die Anzahl der Zitationen weit größer waren: Technik 5x, Biologie 8x, Erdwissenschaften 9x, Sozial- und Verhaltenswissenschaften 13x, Chemie 15x, Physik 19x, Biomedizin und Klinische Medizin je 78! (Podlubny 2005, Podlubny und Kassayova 2006)

Mögliche Abhilfe:

  1. Normalisierung: Igor Podlubny zeigte, dass diese unterschiedlichen Zitiermuster über die Jahre recht stabil sind und daher diese Faktoren auch als Normalisierungswerte genommen werden können. Beispielsweise entsprechen danach 2,82 Zitate aus Biomedizin oder Klinischer Medizin einem einzigen Zitat aus den Sozial- und Verhaltenswissenschaften (78:13). Oder anders ausgedrückt: Ein Sozial- und Verhaltenswissenschaftler mit 2.000 Zitierungen hat einen höheren Impact in seiner Disziplin als es ein Biomediziner mit 5.000 Zitierungen in seiner Community hat. Leider fehlen in den Berechnungen die Geisteswissenschaften völlig und sind die untersuchten Bereiche zum Teil zu breit gewählt. Dem Mathematiker Podlubny ging es vor allem darum zu zeigen, wie seine eigene Disziplin bei einem einfachen Zählen von Zitaten benachteiligt ist. Hier sind noch weitere Forschungen notwendig – prinzipiell aber könnte sich auch hier ein entsprechender Korrekturfaktor heraus kristallisieren. Bis dahin gilt: Es sind nur Vergleichen von AutorInnen, die in der gleichen wissenschaftlichen Community publizieren, zulässig.
  2. Individueller H-Index: Ein weiterer wichtiger Faktor, der die Geistes- und Sozialwissenschaften bei einem direkten Vergleich benachteiligt ist die Anzahl der Ko-AutorInnen: So tendieren nicht nur NaturwissenschaftlerInnen dazu mit einer höheren Anzahl von AutorInnen zu publizieren, auch regional gibt es (stabile) Unterschiede. So publizieren NordamerikanerInnen generell mit mehr Ko-AutorInnen als dies in Europa der Fall ist (Harzing 2011:11). Die PoP-Software verwendet verschiedene Varianten, je nachdem wie stark jemand "bestraft" wird, wenn er mit Ko-AutorInnen schreibt (ebd.).

Wie manage ich meinen Publikationsindex?

publication-statitics

Die hier versammelten Infos sind nicht leicht verdaulich. Neben dem Wissen, was genau die verschiedenen Indizes bedeuten, ist es auch notwendig einen holistische Sichtweise zu bewahren, damit man/frau nicht vor lauter Bäumen dann den Wald nicht sieht. Dazu kommt auch noch, dass Fertigkeiten im Umgang mit verschiedener Software notwendig ist, um eine entsprechende aussagekräftige Analyse zu machen.

Aus diesem Grunde habe ich mich entschieden ein Seminar für wissenschaftliche MitarbeiterInnen an meiner Universität anzubieten. Ich werde dabei nicht nur in einem Workshop erläutern, wie die Software benutzt und eine Analyse des Publikationsverhaltens und Zitationsoutputs angestellt wird, sondern auch wie die eigene Publikationsstrategie in ihren Ergebnissen effektiv verwaltet sowie entsprechend vorteilhaft begründet und positiv dargestellt werden kann.

Das Weiterbildungs-Seminar findet am 26. November – nach meiner Rückkehr aus den USA – an der DUK statt. Meine dreiwöchige USA-Reise ist auch der Grund, warum ich jetzt bereits die dafür notwendige Vorbereitung begonnen habe.

Zur Seminaranmeldung.

Von Peter Baumgartner

Seit mehr als 30 Jahren treiben mich die Themen eLearning/Blended Learning und (Hochschul)-Didaktik um. Als Universitätsprofessor hat sich dieses Interesse in 13 Bücher, knapp über 200 Artikel und 20 betreuten Dissertationen niedergeschlagen. Jetzt in der Pension beschäftige ich mich zunehmend auch mit Open Science und Data Science Education.

4 Antworten auf „H-Index: Leitfaden durch den Zoo der Publikationsindizes“

Alles in Allem bleibt es aber natürlich dabei: möglichst viel publizieren … am methematischen Repertoir die Vielfalt der Indizes weiter zu diversifizieren mangelt es sicher nicht. Bei diesen quantitativen Zahlenspielereien bleibt leider (zu) viel unbeachtet … war das Zitat an der zitierenden Stellen fachinhaltlich notwendig … wurde nur ein Name genannt oder eine relevante Stelle wörtlich zitiert … … aber kritische Stimmen gab es schon immer – sehen wir nach Vorne: was ist von Entwicklungen wie beispielsweise bei ‚researchgate‘ und dem RG Score zu halten, wo nicht nur Publikationen sondern auch konkrete Beteiligung an und Interaktion mit einer Community in den Wert mit einfließen?
Letztlich muss sich die Gemeindschaft auch fragen, ob die dargestellten Zahlenspielereien mit dem fortschreitenden Medien- und Kommunikations-Wandel Schritt halten und ob die Form des Informations-/Wissen-Output in den tradierten Wegen den heutigen Bedürfnissen an Verteilung und Zugänglichkeit genügen: tragen ReTweets zu deinem Index bei – wird die inspirierende Wirkung dieses Blogs gewürdigt – muss sich eine relevante Projektmitarbeit in einer Autorenschaft von mehr als 10 Personen ausdrücken – kann ich einem wertvollen Geist nur durch Zitation für mein Forwärtskommen danken?
Anstelle numerischem Auf-der-Stelle-Treten wünsche ich mir Motivation zu weniger formalisiertem Austausch.

Ich stimmte Ihnen in Ihrer Kritik bzw. Betrachtungsweise völlig zu! Die Fixierung auf Zitierungen als wesentliches Maß der Forschungsleistung ist selbst kritisch unter die Lupe zu nehmen.

In obigen Artikel habe ich jedoch diese „größeren“ Zusammenhänge vorerst ausgeblendet. Es war eine Vorbereitung auf das kommende Seminar (Workshop), wo ich (neben einer kurzen Einführung) praktische „Hands-On“ Ratschläge für die Arbeit mit „Google Scholar“ und im Umgang mit der „Publish or Perish“-Software gebe. Das Thema der Messung von Forschungsleistungen habe ich noch gar nicht grundlegend aufgerissen: Es hat neben den bibliometrischen Maßen noch viele weitere Dimensionen, die ich bisher noch nicht in ihren Konsequenzen durchdacht und beschrieben habe.

Das ist also alles erstmal „Work-in-Progress“: Ich plane in den nächsten Monaten weitere „Gedankensplitter“ zum Thema und möchte dann dazu ein umfassenderes Paper schreiben. Ihre Beitrag ist aber sehr wichtig für meine Motivation und zeigt mir, dass ich mit diesen Überlegungen nicht alleine stehe 😉

Moin,
bei all diesen Scores die es mittlerweile gibt, vermisse ich ein bischen ein Ranking hinsichtlich der Autorenreiehnfolge. Ich habe Bekannte die fünfmal soviel Publikationen haben wie ich und damit tolle Research Gate Scores oder H-Index – aber sie haben nur die Hälfte an Erstautorschaften – sollte man dass nicht als entscheidendes Kriterium mitaufnehmen! Wer hat mehr geleistet jemand mit 10 Erstautorschaften oder der sich bei 50 Publikationen mit hat drauf schreiben lassen können?
LG aus dem UKE in Hamburg
Rolf Burghardt

Entschuldigen Sie bitte, dass ich erst so späte Ihren Beitrag freigeschaltet habe. Ich wollte zuerst über eine gute Antwort nachdenken und habe dann über neu herein trudelnde Aufgaben und Deadlines ganz vergessen mich inhaltlich mit Ihrem Kommentar auseinander zu setzen. Ich hole dies nun endlich nach, obwohl ich – trotz langer Wartezeit – wohl keine zufriedenstellende Antwort für Sie habe:

  • Ich selbst weiß über keinen Index, der auf die Reihenfolge der AutorInnen abzielt. Ich bin mir allerdings auch nicht sicher, ob dies ein gutes Maß darstellt, weil nur in einigen Ländern und in einigen Wissenschaftsdisziplinen die Haupt-AutorInnen zu Beginn stehen. Häufig hat die Hierarchie (der Professor/die Professorin) oder aber die alphabetisch vorne liegenden Autor/innen Vorrang in der Reihenfolge.
  • Es gibt aber die Möglichkeit die Anzahl der Autor/innen zu berücksichtigen. Es gibt dafür eigene Indizes: Den „Individual h-index“ und den „Multi-authored h-index“ die beide – in unterschiedlicher Weise – die Anzahl der Autor/innen berücksichtigen.Siehe auch Siehe auch Publikations-Metriken
  • Der wichtigste Punkt aber ist, dass keinesfalls nur bloß eine Zahl (aus welchem Index auch immer) ohne entsprechende Kontextualisierung (was hat die Person sonst noch gemacht, in welchem Abschnitt Ihrer Karriere steht sie, in welchem Feld arbeitet sie, etc.) zum Vergleich herangezogen werden.

Vielleicht haben Sie da ja wirklich einen wichtigen Punkt getroffen und und es sollte dazu auch ein eigener Index entwickelt werden? Es müsste mal untersucht werden, welche Auswirkungen die Reihenfolge tatsächlich hat. Das müsste allerdings wahrscheinlich durch eine (retrospektive) Befragung der Autor/innen erfolgen, was allerdings ein recht intensives Verfahren ist und auch nicht garantiert, dass die tatsächliche Hauptautor/innenschaft in allen Fällen korrekt eruiert werden kann.

Schreiben Sie einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert