Kritik am Journal Impact Factor (JIF)

Endlich gibt es eine Protestbewegung gegen den Journal Impact Factor (JIF)! Initiiert von der American Society for Cell Biology (ASCB) haben sich ForscherInnen, Verlage und andere Stakeholder Dezember 2012 in San Francisco getroffen und eine Deklaration zur Evaluierung von Forschung ausgearbeitet.

Ich habe erst in letzter Zeit begonnen – insbesondere seit meiner Gastprofessur in Schweden – mich verstärkt mit Publikationsindizes als Maßstab für die Evaluation von Forschungsoutput zu beschäftigen. Beim Einlesen in die betreffende Literatur zu diesem Thema hat mir das Buch von Anne-Wil Harzing, das auch online erhältlich ist, sehr geholfen ¹. Das Buch ist nicht nur als eine Einführung zum Thema Zitationsindex zu empfehlen, sondern zeigt auch in verschiedenen Fallstudien, wie die frei erhältliche Publish or Perish-Software für Recherchen aller Art (z.B. um die für ein bestimmtes Thema wichtige Literatur zu finden) eingesetzt werden kann.

Anne-Wil Harzing favorisiert in ihren Beiträgen zu Recht den h-Index und die davon abgeleiteten Maße und kritisiert gleichzeitig dabei immer auch den Journal Impact Factor (JIF). Obwohl ich gegenüber den verschiedenen bibliometrischen Masszahlen schon immer recht skeptisch war, wurde ich doch über die Anzahl und das Ausmass an allseits bekannten systematischen Fehlern beim Impact Factor überrascht.

Auflistung der Mängel des Journal Impact Factors (JIF)

Anbei eine Mängelliste, die über die in der Deklaration erwähnten Kritikpunkte hinausgeht:

1. JIF hat schiefe Verteilung: Der JIF ist ein Maß mit einer extrem schiefen Verteilung. Einige wenige Artikel erzeugen die meisten Zitationen, viele andere Artikel werden  kaum oder gar nicht zitiert. Die bloße Aufnahme eines Artikels in eine Zeitschrift mit einem hohen Impact Factor stellt daher selbst noch keinen Maßstab für den Einfluss dieses betreffenden Artikels dar – wie viele akademische Institutionen (Hochschulen, Dissertationskomitees und Forschungsgesellschaften) glauben. Wenn beispielsweise für eine kumulativen Dissertation verlangt wird, dass vier Artikel zu schreiben sind, von denen einer in einem A und zwei in B-Journalen bereits publiziert werden müssen, dann ist das wegen der oben erwähnter Kritik eine falsche Gleichsetzung von JIF und der realen wissenschaftlichen Bedeutung bzw. des tatsächlichen Einflusses, den die Dissertation auf das jeweilige wissenschaftliche Gebiet hat bzw. haben wird.
2. US-Bias: Der JIF hat eine extreme USA-Schlagseite. Wissenschaftliche Journale aus Europa sind stark unterrepräsentiert. Es werden außerdem nur die gelisteten Journale in die Berechnung der Zitation – die dem JIF zugrunde liegt – einbezogen, wodurch diese Schlagseite noch weiter verstärkt wird.
3. Englisch-Bias: Da Englisch sich immer stärker als Lingua Franca der Wissenschaften herauskristallisiert, haben englisch-sprachige Publikationen höhere Chancen zitiert zu werden.  Abgesehen davon, dass dies Entwicklung im Sinne kultureller Vielfalt bedenklich ist, kann eine höhere Zitationschance auf Grundlage einer höheren Grundgesamt nicht mit einer höheren Qualität gleichgesetzt werden.
4. Naturwissenschaften-Bias: Der JIF berechnet sich aus Zitationen der letzten 2 bzw. neuerdings 5 Jahre. Die Formel lautet: Zahl der Zitate im Bezugsjahr auf die Artikel der vergangenen 2 bzw. 5 Jahre dividiert durch die Zahl der vom Journal publizierten Artikel der vergangenen 2 bzw. 5 Jahre.
   1. In den Sozial- und Geisteswissenschaften braucht aber das Sammeln von Zitationen viel länger Zeit, weil die Reviewprozesse länger dauern, Beiträge länger sind (10-15 Seiten pro Artikel gegenüber 4-6 in den Naturwissenschaften), die Ergebnisse vielschichtiger/komplexer und vor allem in den Geisteswissenschaften weniger häufig empirische Daten – die häufiger referenziert werden – berichtet werden.
   2. Außerdem gibt es in den Sozial- und Geisteswissenschaften andere Zitiergewohnheiten. In den Naturwissenschaften wird im allgemeinen häufiger pro Artikel zitiert und erscheinen auch mehr (kürzere) Artikel mit durchschnittlich mehr AutorInnen pro Publikation.
   3. Weiters werden Bücher, die besonders in Sozial- und Geisteswissenschaften eine große Rolle spielen, nicht berücksichtigt.
      
      [Die unter diesem Punkt angeführte Kritiken gelten auch für andere bibliometrische Maße, wie z.B. den H-Index. Zwar werden dabei Bücher mitgerechnet, aber nur gleichrangig mit Artikel. Damit bleibt eine sehr hohe Anzahl von Zitationen, wie es bei Büchern häufig der Fall ist, – also Zahlen, die weit über den aktuellen H-Index der betreffenden Person liegen – für die Berechnung des H-Index unberücksichtigt. Es "zahlt" sich danach also nicht aus, ein Buch zu schreiben, das z.B. 2.500 Mal zitiert wird, sondern es ist danach weit sinnvoller 50 kleine Artikel zu schreiben, die jeweils 50 Mal zitiert werden. Wenn sonst keine anderen Publikationen vorliegen, dann bleibt im Fall des Buches der h-index auf 1, während er bei den Artikel die gigantische Zahl von 50 erreicht!]
5. JIF ist relativ leicht manipulierbar: Da der JIF aus der Anzahl der Zitate der jeweiligen Zeitschrift dividiert durch die Anzahl der Artikel gebildet wird, können Forschungsgemeinschaften, die sich untereinander absprechen, dass sie nur bestimmte Journale zitieren, den JIF dieser Journale in die Höhe treiben. Besonders bei Journalen mit wenigen Artikel pro Jahr kann ein einziger hochzitierter Artikel den JIF kräftig nach oben treiben.
6. Andere Forschungsleistungen bleiben unberücksichtigt: Der JIF ist ein Maß, dass sich ausschließlich auf Publikationen von Artikel bezieht. Was mit anderen Forschungsleistungen, die immer wichtiger werden? Patente, Beiträge in Weblogs, Foren usw.
7. Mangelnde Reproduzierbarkeit: Die JIF Datensets sind nicht transparent und öffentlich zugänglich. Sie werden von Firmen mit kommerziellen Interessen verwaltet (Thomson Reuters und Elsevier). Dementsprechend können die Zahlen nicht nachvollzogen und/oder für die Bedürfnisse der eigenen Organisation adaptiert werden.

 DORA unterzeichnen und propagieren

Ich glaube, dass die oben erwähnten Kritikpunkte handfeste Gründe darstellen, sich der Deklaration als Unterzeichner anzuschließen. Das haben – neben den 155 Einzelmitgliedern und 82 Organisationen, die bei der Gründung unterzeichnet haben – bereits weitere 8.100 Einzelpersonen und 310 Organisationen gemacht. Viel wichtiger aber noch ist, dass wir in allen entsprechenden Gremien uns dafür einsetzen, dass der Mythos des JIF, als seriöser Maßstab für Forschungsleistungen zu dienen, entlarvt wird.

Das war übrigens ursprünglich bei der Entwicklung des JIF auch gar nicht geplant.  Der multinationale Konzern Thomson Reuters hat den JIF ursprünglich eingeführt, um Bibliothekare beim Ankauf von Journalen zu unterstützen

²

. Und auch das bessere SciVerse-Scopus gehört dem Verlagsgiganten Elsevier und verfolgt wirtschaftliche und nicht akademische Interessen.

1. Harzing, Anne-Wil. 2010. The Publish or perish book: your guide to effective and responsible citation analysis. Melbourne: Tarma Software Research Pty Ltd.
2. Im Übrigen ist Thomson Reuters auch schon mit seiner Klage gegen Zotero der Wissenschaftsgemeinde unangenehm aufgefallen. Siehe dazu meine früheren Weblog-Einträge zu Thomson Reuters (Endnote) klagt auf 100 Millionen Dollar und Zotero sieht der Klage gelassen entgegen.