H-Index: Leitfaden durch den Zoo der Publikationsindizes

Ich habe mich in letzter Zeit recht intensiv mit den Publikationsindizes beschäftigt. Insbesondere ist mir deutlich geworden, warum der berühmte Impact-Faktor von Zeitschriften (Journal Impact Factor, JIF) als Maß für Publikationsleistungen ungeeignet ist und schärfstens abzulehnen ist, weil er nicht das misst, was er vorgibt. Es gibt inzwischen ja auch bereits eine gegenüber dem JIF kritische Protestbewegung (San Francisco Declaration on Research Assessment, DORA), der man/frau sich anschließen kann. Leider meinen viele Universitäten/Fakultäten immer noch, dass der JIF ein geeignetes Maß darstellt und zwingen ForscherInnen ihn zu berücksichtigen, weil sonst Karriere-Nachteile zu befürchten sind.

H-Index: Viele Vorteile …

In ForscherInnen-Kreisen etabliert sich zunehmend der Hirsch-Index (Hirsch 2005) oder h-Index. Hier zählt nicht, ob der Artikel in einer bestimmten Zeitschrift erscheint, sondern wie oft er tatsächlich zitiert wird. Ein H-Index von 6 beispielsweise sagt, dass 6 Publikationen mindestens 6x zitiert worden sind, ein H-Index von 7 dementsprechend dass 7 Publikationen mindestens 7x zitiert worden sind.

Für einen hohen H-Index müssen also nicht nur möglichst viele Schriften publiziert worden sein, sondern möglichst viele davon auch noch möglichst häufig zitiert werden. Jetzt einmal davon abgesehen, dass Forschungsleistungen sich nicht nur in Publikationen darstellen, misst der H-Index tatsächlich den Impact durch Zitationen und nicht wie der Journal Impact Factor (JIF) über den Umweg der Zitationen eines gesamten Journals. Auch die firmeninternen Festlegungen von Reuters oder Elsevier, die nur bestimmte Journale (US-Bias) und bestimmte Bedingungen von Zitationen akzeptieren (nur  gelistetes Journale), sind beim H-Index kein Thema. Google Scholar, der die größte Datenbasis aufweist, zählt alle Zitationen, die im Internet (nach einem gewissen Algorithmus) als wissenschaftliche Publikationen eingeschätzt werden.

Der H-Index ist auch relativ robust, d.h. er lässt sich nicht leicht manipulieren. Beispielsweise habe ich bei meinen H-Index von 23 mehrere Artikel mit einer Anzahl von Zitationen, die knapp dahinter folgen: 22, 21, 20, 20, 20. Selbst wenn ich mich bloß um 1 auf 24 verbessern möchte und alle meine MitarbeiterInnen auffordere, denjenigen Artikel der bereits 22x zitierten wurde, fließ weiter zu zitieren, dann muss aber auch der jetzige Artikel, der jetzt gerade 23 aufweist, nochmals zitiert werden, damit alle 24 Artikel diese 24 Zitationen aufweisen. Will ich auch noch die anderen Publikationen (21, 20, 20, 20) in meinem H-Index hieven (= 28), dann müssen weitere 31 Zitate (21+7, 3x8 um von 20 auf 28 zu kommen) "organisiert" werden. Dazu kommt aber noch, dass auch die bisherigen H-Index-Publikationen, die unter 28 liegen, "angehoben" werden müssen, was weitere 13 Zitierungen notwendig macht. ♦Update: Stimmt zwar noch im Prinzip, inzwischen (12.6.2014) ist jedoch mein H-Index auch ohne diese Tricks auf 24 angewachsen.♦

Diese Robustheit ist ein großer Vorteil, weil der H-Index daher nicht so leicht manipuliert werden kann. Im Gegensatz zum JIF, wo eine Universität z.B. allen MitarbeiterInnen sagt, dass möglichst Artikel eines bestimmten Journals bevorzugt zu zitieren. Alle Zitierungen auf Beiträge von Artikel, die in den letzten 5 Jahren erschienen sind, schrauben dann den JIF dieses Journals in die Höhe, was sich besonders bei Journalen mit wenigen Artikel pro Heft und Jahr auswirkt.

… aber auch Nachteile – die jedoch korrigiert werden können

Auch der H-Index hat einige Nachteile, die sich aber einerseits in Grenzen halten und andererseits aber durch davon abgeleitete weitere Maße zum Teil auch korrigiert werden können:

1. Publikationen mit sehr vielen Zitationen werden benachteiligt

Positive "Ausreißer", also Publikationen mit sehr vielen Zitaten, werden "abgeschnitten" und für den H-Index nicht berücksichtigt. Wenn beispielsweise 40 Artikel publiziert wurden und ein besonders kontroversieller Artikel davon über 2.000 Zitationen hat, so nützt das dem H-Index nicht, der alleine schon aus seiner Definition heraus, niemals höher als die Anzahl der bereits publizierten Artikel (im Beispiel 40) sein kann. Das ist natürlich ein wesentlicher Nachteil für Buchpublikationen – die weit mehr Aufwand bedeuten, dafür aber auch im allgemeinen eine weit höhere Anzahl von Zitationen bekommen – und forciert kurze Artikel. Beide Schieflagen (keine Bücher und kurze Artikel) begünstigen die Naturwissenschaften, wo Beiträge von 2-6 Seiten die Regel sind und benachteiligt die Geisteswissenschaften wo Bücher ein wesentlicher Bestandteil wissenschaftlicher Forschungsleistungen sind aber auch der durchschnittliche Artikel mit 12-15 Seiten länger ausfällt, und selbst Beiträge mit 20 Seiten oder darüber keine Einzelfälle darstellen.

Es gibt drei Möglichkeiten diese Schieflagen zu korrigieren:

1. Rangliste der Publikationen nach ihrer Zitierhäufigkeit erstellen: Das sollte eigentlich immer gemacht werden. Damit wird nicht nur klar, ob es außerdem noch einen "long tail" von vielen weiteren Beiträge gibt, die es gerade noch nicht für den H-Index geschafft haben, sondern ob es auch (einen oder mehrere) Publikationen gibt, die extrem hohe Zitierhäufigkeit haben.
2. G-Index: Hier werden ebenfalls in absteigender Reihenfolge sortiert. Der G-Index (Egghe 2006) ergibt sich dann aus jener Anzahl von Publikationen, die zum Quadrat genommen gerade noch kleiner ist als die Summe aller Zitationen, die jene Artikel zusammen genommen ergeben. Das klingt jetzt kompliziert, aber mit einem Beispiel wird es deutlich: In meinem H-Index haben die obersten 46 Publikationen insgesamt 2190 Zitationen. 46² = 2116 liegt also noch innerhalb der Grenze. 47 Publikationen von mir haben aber nur wenig mehr Zitationen (2199), 47² ist aber 2209 als höher als die Anzahl aller Zitationen dieser 47 Artikel. Fazit: Mein G-Index = 46. Der G-Index gibt den Publikationen mit hohen Referenzierungen ein größeres Gewicht. (Eine gut verständliche Übersicht der Mechanik von h- und g-Index gibt Rousseau 2006.)
3. E-Index: Dieser Index (Zhang 2009) ist ebenfalls ein Maß für den "Überschuss" an Zitierungen. Dabei werden alle Zitationen, die zum H-Index gehören zusammengezählt und davon, dann das Quadrat des H-Index abgezogen. Aus diesem Restbetrag wird dann die Quadratwurzel gezogen.  Beispielsweise ergibt mein H-Index von 23 zum Quadrat 529, die von all meinen Zitationen der im H-Index-Bereich angesiedelten Publikationen abgezogen wird (Meine 23 H-Index-Publikationen haben in Summe = 1876 Zitierungen). Der Restbetrag ist dann 1.876-529 = 1.347. Der E-Index ist davon dann die Quadratwurzel = 36,7.
4. i10-Index: Dieses Maß wird von Google Scholar verwendet und zeigt an, wie viele Publikationen mit ihrem Zitationen über einen H-Index über 10 liegen. Dieses Maß kann dazu benutzt werden, um eine gewissen Breite – sozusagen die Mitte – des Long Tails darzustellen.

Je höher der G- oder E-Index ist, desto mehr Zitate werden in jenen Publikationen versammelt, die zum H-Index zählen.

2. Jüngere WissenschaftlerInnen werden benachteiligt

Die oben erwähnte Robustheit des H-Indexes hat zur Folge, dass er einige Jahre braucht, bis er "hoch startet": Während beim JIF bereits gezählt wird, wenn ein Artikel in einem gelisteten Journal erschienen ist, so werden beim H-Index die publizierten Zitate gezählt. Dadurch braucht der H-Index mehr Zeit: Zuerst muss (m)ein Artikel erschienen sein, dann muss er erst gelesen werden um überhaupt zitiert werden zu können und dann muss diese (neue) Publikation selbst erst noch publiziert werden.  Aus diesem Grunde ist besonders bei jungen WissenschaftlerInnen, die noch weniger als 10 Jahre publizieren, der H-Index kein gutes Maß.

Der H-Index baut sich in der gesamten Publikationsspanne auf. Auch Zitate nach dem Tode des Autors/der Autorin erhöhen weiter die Anzahl der Zitationen und damit den H-Index. Ältere WissenschaftlerInnen sind daher generell bevorzugt. Wiederum aber gibt es hier verschiedene Korrekturmöglichkeiten:

1. M-Quotient: Eine einfache Möglichkeit ist es, den H-Index durch die Anzahl der Publikationsjahre zu dividieren. Das führt allerdings bei ganz jungen ForscherInnen (mit relativ geringem H-Index) zu sehr instabilen Zahlen, weil selbst eine kleine Steigerung im H-Index, sich dann (infolge der wenigen Jahre, durch die dividiert wird) groß auswirkt. Außerdem ist die erste Publikation vielleicht nicht gerade jene, die im jeweiligen Forschungsfeld dann wichtig ist, bzw. überhaupt publiziert wurde, wo noch nicht systematisch und langfristig publiziert worden ist. Außerdem benachteiligt der M-Quotient gegenüber Teilzeit-ForscherInnen oder Karriereunterbrechungen.
2. Zeitgenössischer H-Index: Der H-Index kann nur steigen oder stagnieren, nie aber sinken. Dadurch erfasst er aber nicht, wenn WissenschaftlerInnen nach einer bombastischen Karriere unproduktiv oder weniger produktiv werden. Damit sind junge gegenüber älteren WissenschaftlerInnen, die infolge anderer Aufgaben (z.B. DekanInnen, RektorInnen) weniger forschen im Nachteil. Auch ein Vergleich der augenblicklicher Produktivität, der z.B. für Berufungsverhandlungen wichtig ist, wird vom normalen H-Index nicht angezeigt. Die Lösung ist eine besteht in einer altersabhängigen Gewichtung, wo älteren Publikationen weniger Gewicht zugeschrieben wird. Die frei verfügbare Software PoP (Publish or Perish) verwendet den gamma=4 und delta=1, (vgl. Sidiropoulos, Katsaros und Manolopoulos 2006) dh. dass Publikationen im aktuellen Jahr 4x, ein Artikel jedoch, der 6 Jahre zurück, nur 4/6 zählt. Je nach dem Wert der gewählten Gewichtung (gamma) und der jährlichen Korrektur (delta) können hier verschiedene Variationen gewählt werden.
3. Altersgewichtung: Zum Unterschied vom zeitgenössischen H-Index, wo nachträglich die Anzahl aller Artikel nach dem Alter gewichtet werden, berechnet die Altersgewichtung die Artikel des H-Index in Abhängigkeit vom Altersgewicht der Publikationen. Die Software PoP adaptiert dazu den AR-Index (Bihui Jin 2007) und kennt (Harzing 2011:29p): AWCR (Age-Weighted Citation Rate), AWCRpA (AWCR per Author, dh. korrigiert bei der Anzahl der Ko-AutorInnen) und AW-Index (Age-Weight). Wenn die Zitationsrate über alle Jahre konstant bleibt, dann sind sich H- und AW-Index sehr ähnlich.
4. Letzten 5 Jahre: Google Scholar stellt in einer eigenen Rubrik die Ergebnisse der letzten 5 Jahre zusammen. Auch daraus kann im Vergleich ein Schluss gezogen werden, wie produktiv die letzten Jahre im Verhältnis zu den Vorjahren waren.

3. Geistes- und Sozialwissenschaften werden benachteiligt

Auch beim H-Index werden Geisteswissenschaften benachteiligt. Allerdings weit nicht so stark, wie beim JIF, weil alle Zitate in allen Publikationsorganen und vor allem in allen Sprachen zählen. Mit dem H-Index haben also auch deutsch publizierende Nestroy- oder Grillparzer- ForscherInnen einen Nachweis. (Diese Beispiele sind nicht aus der Luft gegriffen: Bei einer Veranstaltung zur Verlautbarung der Förderung von Open Access Zeitschriften des österreichischen Fonds zur Förderung der wissenschaftlichen Forschung (FWF) wurde auf Anfragen obiger Forschungsgruppen darauf bestanden, dass nur englisch-sprachige Zeitschriften gefördert werden.)

Ganz generell gilt: Wegen des stark unterschiedlichen Publikationsverhalten in den verschiedenen Disziplinen, sind Vergleichsanalysen mit dem H-Index nur innerhalb derselben wissenschaftlichen Community erlaubt! So variiert die durchschnittliche Anzahl der Zitationen pro Paper und auch die durchschnittliche Anzahl von Paper, die Wissenschaftlicher einer Disziplin publizieren enorm. Generell ist der H-Index daher in den Naturwissenschaften (Artikel mit wenig Seiten, vielen KoautorInnen und vielen Referenzen) höher als in den Sozial- und Geisteswissenschaften. "Enorm" ist keine Untertreibung: Eine Studie zeigte, dass im Verhältnis zu Mathematik (genormt als 1) die Anzahl der Zitationen weit größer waren: Technik 5x, Biologie 8x, Erdwissenschaften 9x, Sozial- und Verhaltenswissenschaften 13x, Chemie 15x, Physik 19x, Biomedizin und Klinische Medizin je 78! (Podlubny 2005, Podlubny und Kassayova 2006)

Mögliche Abhilfe:

1. Normalisierung: Igor Podlubny zeigte, dass diese unterschiedlichen Zitiermuster über die Jahre recht stabil sind und daher diese Faktoren auch als Normalisierungswerte genommen werden können. Beispielsweise entsprechen danach 2,82 Zitate aus Biomedizin oder Klinischer Medizin einem einzigen Zitat aus den Sozial- und Verhaltenswissenschaften (78:13). Oder anders ausgedrückt: Ein Sozial- und Verhaltenswissenschaftler mit 2.000 Zitierungen hat einen höheren Impact in seiner Disziplin als es ein Biomediziner mit 5.000 Zitierungen in seiner Community hat. Leider fehlen in den Berechnungen die Geisteswissenschaften völlig und sind die untersuchten Bereiche zum Teil zu breit gewählt. Dem Mathematiker Podlubny ging es vor allem darum zu zeigen, wie seine eigene Disziplin bei einem einfachen Zählen von Zitaten benachteiligt ist. Hier sind noch weitere Forschungen notwendig – prinzipiell aber könnte sich auch hier ein entsprechender Korrekturfaktor heraus kristallisieren. Bis dahin gilt: Es sind nur Vergleichen von AutorInnen, die in der gleichen wissenschaftlichen Community publizieren, zulässig.
2. Individueller H-Index: Ein weiterer wichtiger Faktor, der die Geistes- und Sozialwissenschaften bei einem direkten Vergleich benachteiligt ist die Anzahl der Ko-AutorInnen: So tendieren nicht nur NaturwissenschaftlerInnen dazu mit einer höheren Anzahl von AutorInnen zu publizieren, auch regional gibt es (stabile) Unterschiede. So publizieren NordamerikanerInnen generell mit mehr Ko-AutorInnen als dies in Europa der Fall ist (Harzing 2011:11). Die PoP-Software verwendet verschiedene Varianten, je nachdem wie stark jemand "bestraft" wird, wenn er mit Ko-AutorInnen schreibt (ebd.).

Wie manage ich meinen Publikationsindex?

Die hier versammelten Infos sind nicht leicht verdaulich. Neben dem Wissen, was genau die verschiedenen Indizes bedeuten, ist es auch notwendig einen holistische Sichtweise zu bewahren, damit man/frau nicht vor lauter Bäumen dann den Wald nicht sieht. Dazu kommt auch noch, dass Fertigkeiten im Umgang mit verschiedener Software notwendig ist, um eine entsprechende aussagekräftige Analyse zu machen.

Aus diesem Grunde habe ich mich entschieden ein Seminar für wissenschaftliche MitarbeiterInnen an meiner Universität anzubieten. Ich werde dabei nicht nur in einem Workshop erläutern, wie die Software benutzt und eine Analyse des Publikationsverhaltens und Zitationsoutputs angestellt wird, sondern auch wie die eigene Publikationsstrategie in ihren Ergebnissen effektiv verwaltet sowie entsprechend vorteilhaft begründet und positiv dargestellt werden kann.

Das Weiterbildungs-Seminar findet am 26. November – nach meiner Rückkehr aus den USA – an der DUK statt. Meine dreiwöchige USA-Reise ist auch der Grund, warum ich jetzt bereits die dafür notwendige Vorbereitung begonnen habe.

Zur Seminaranmeldung.