Wie manage ich meinen Publikationsindex?

Am 14.6. 2014 habe ich an der TU Dresden im Rahmen des Junges Forum Medien und Hochschulentwicklung 2014 (JFMH2014) einen interaktiven Workshop zur Bedeutung und dem praktischen Umgang mit Publikationsindizes geleitet.  Mein Ziel war es die Unterschiede zwischen Journal Impact Factor (JIF) und Hirsch-Index (H-Index) kritisch zu beleuchten um dann praktische Maßnahmen zu diskutieren, wie der eigene H-Index – aber auch der von anderen WissenschaftlerInnen bestimmt und im Rahmen der Umstände der jeweiligen ForscherInnen-Karriere interpretiert werden kann. Um es gleich vorweg zu nehmen: Mir hat die Veranstaltung extremen Spaß gemacht und ich bin nach der Veranstaltung ganz aufgekratzt wieder nach Krems zurück gekehrt – Allerdings nicht ohne in meiner Euphorie noch allerlei Versprechen und Vorsätze den Workshop-TeilnehmerInnen in Dresden zu hinterlassen. In der Zwischenzeit ist allerdings wieder der ganz normale Wahnsinn (Tagesstress) eingekehrt, der zudem noch in den nächsten 4 Wochen (Mitte Juni bis Mitte Juli) wieder einer seiner periodischen Extremwerte erreicht. Ich muss daher mal wieder kleinere Brötchen backen:

Lesson Learned

Eine Zusammenfassung einiger inhaltlicher Ergebnisse des Workshops ist bei Andrea Lißner und Anja Lorenz  nachzulesen.

Statt einer ausführlichen Zusammenfassung der markanten Ergebnisse aus den Workshop muss ich mich hier aus zeitlichen Gründen auf das didaktische Design des Workshops beschränken.Das macht aber auch Sinn, weil ausführliche Blog-Einträge von Andrea Lißner und Anja Lorenz  Workshop-Inhalte sowie Erfahrungen aus der Sicht von Teilnehmerinnen extrem gut zusammenfassen.

Natur- und Wirtschaftswissenschaften präferieren immer noch den Journal Impact Factor (JIF), wo hingegen in den Kultur- und Geisteswissenschaften Publikationsindizes noch eine geringe Bedeutung haben. Der H-Index ist noch relativ wenig verbreitet und wird – fälschlicherweise – als nicht zuverlässig angesehen

Beide Artikel sind nicht nur inhaltlich interessant, sondern auch sehr unterhaltsam und witzig geschrieben. Sie liefern "Innen"-Ansichten und geben so einen weit besseren Einblick im Umgang mit den Publikationsindizes und dazugehörigen Werkzeugen, den auftauchende Schwierigkeiten und den individuell verfolgen Strategien als ich das von einer Außen-Perspektive machen hätte können. Sie sind außerdem eine wertvolle Quelle für die weitere Untersuchen für die oben angefahren Unterschiede in der Publikationskultur. – Aus den Berichten der einzelnen Gruppen, die sich gegenseitig über ihre Erfahrung mit der jeweilige Situation in den verschiedenen Fachgebieten informierten, geht hervor, dass die Situation sehr unterschiedlich ist. Besonders in Psychologie und Wirtschaftswissenschaften sind die Publikationsindexes stark vertreten, in der Pädagogik hingegen haben sie noch kaum Bedeutung (siehe dazu auch den entsprechenden Teil im Bericht von Andrea Lißner)

Vier Zielgruppen mit unterschiedlichen Interessen

Unterschiedliche Zielgruppen (allgemein Interessierte, ForscherInnen am Beginn oder in der Mitte der Karriere, Hochschulleitungen)  machen ein differenziertes Vorgehen bei Seminaren und Tutorials notwendig

Das Schreiben weiterer Tutorials, die den praktische Umgang mit den Indizes und den dafür geeigneten Werkzeugen, muss ich ebenfalls verschieben. Dafür sind aber nicht alleine zeitliche, sondern auch inhaltliche Gründe maßgebend. Mir ist nämlich noch nicht gar nicht recht ganz klar, wie ich die vielen verschiedenen Möglichkeiten in entsprechend anschauliche Tutorials so zerlegen kann, dass ein entsprechend didaktisch aufgebauter Kurs mit einzelnen Tutorials entsteht.Ein wesentlicher Grund für diese Unklarheiten ist nicht nur die inhaltliche Komplexität, sondern auch die inzwischen gemachte Erfahrung, dass es mehrere Zielgruppen für diese Tutorials gibt.

Das war auch eine Schwierigkeit, die im Dresdner-Workshop auftauchte. Es gab TeilnehmerInnen, die noch keine Publikationen hatten und daher im weiteren Umgang mit dem eigenen Google Scholar Profil wenig Interesse hatten. Umgekehrt konnte ich jene TeilnehmerInnen, die bereits eine Liste von Publikationen hatten, nicht bei deren Bereinigung (Zusammenfassung Löschung falscher Einträge) unterstützen. Das war aber glücklicherweise beim konkreten Workshop im Rahmen der JFMH – auf Grund des professionellen Hintergrund der TeilnehmerInnen, die ja alle medien-affin waren –  kein großes Problem. Was aber dann doch völlig fehlte, war eine Hilfe bei der Interpretation der Indexes und Diskussion der möglichen weiteren Publikationsstrategien. Ich glaube daher, dass es wichtig ist, in Zukunft vier Zielgruppen für Seminare zu unterscheiden:

1. Interessierte, die die Logik von Publikationsindizes verstehen wollen: Für diese Personengruppe machen folgende Inhalte Sinn:
   1. Die Erklärung  der Unterschiede der wichtigsten Indizes,
   2. Eine Erläuterung, wie ein Google Scholar Profil zu interpretieren ist
   3. Den Umgang mit dem Analysewerkzeug Publish or Persisch demonstrieren
2. ForscherInnen, die ihren eigene Publikationsindizes managen wollen: Hier haben andere Inhalte Priorität:
   1. Analyse des eigenen Karriereverlaufs und Karriereumfeldes im Kontext der eigenen Stellenbeschreibung und Zukunftspläne innerhalb der jeweiligen Organisation und Fachdisziplin
   2. Erstellung des eigenen Google Scholar Profils, Analyse der Ergebnisse und Wahl einer Publikationsstrategie für die Zukunft
   3. Hinweise, wie die Sichtbarkeit eigener Publikationen erhöht und damit die Wahrscheinlichkeit von Zitierungen erhöht werden
3. Hochschulleitungen, die Personalentscheidungen treffen müssen wie z.b. Berufungskommissionen, Tenure-Track Komitees etc.)
   1. Erstellung des Publikationsindexes von BewerberInnen
   2. Analyse des Publikationsindexes von BewerberInnen im Kontext fremder Karriereverläufe (Alter, Geschlecht, Fachdisziplin)
   3. Analyse des Publikationsindexes von BewerberInnen im Kontext der jeweiligen Stellenbeschreibung  und den Entwicklungsplänen der jeweiligen Hochschule bzw. Hochschuleinrichtung
4. FeldforscherInnen, die empirisches Datenmaterial benötigen. Hier geht es darum valide Daten zu produzieren und (vergleichend) zu interpretieren:
   1. Erstellung von Indexes unterschiedlicher Gruppierungen (ForscherInnen, Zeitschriften, Organisationen, Fachdisziplinen etc.)
   2. Analyse der Indizes im gewichteten Vergleich mit Kontrast/Kontrollgruppen
   3. Aufbereitung und Präsentation des Datenmaterials für Publikationen

Sowohl Titel, als auch Ausschreibung und das inhaltliche wie didaktische Design des Workshops muss daher differenziert d.h. der jeweiligen Zielgruppe angepasst werden.

Seminartitel und Ausschreibungstext so wählen, dass Menschen, die quantitativen Maßzahlen skeptisch gegenüberstehen, nicht von vornherein abgeschreckt werden

Noch ein weiteres Problem, das mit Titel und Ausschreibung des Workshops in Zusammenhang steht, hat sich während des Workshops gezeigt: Viele Menschen stehen einer unreflektierten Wertschätzung von Indizes – so wie ich – sehr kritisch gegenüber. Dieser kritisch-reflektierte Blick müsste sich aber deutlicher im Titel und Ausschreibungstextes des Seminars niederschlagen.

Ich glaube nämlich, dass einige Leute genau aus dieser kritischen Sichtweise am Workshop nicht teilgenommen haben. Damit habe ich aber gerade meine Intention – nämlich einer kritisch-reflektierten differenzierte Sichtweise zum Sinn und Unsinn bibliometrischer Daten zum Durchbruch zu verhelfen – geschadet. – Paradox war es jedoch, dass niemand zur Internet-Petition über DORA eingegangen ist oder diese Initiative mit unterschrieben hat. Das hätte eigentlich zu der imWorkshop vorherrschenden kritischen Haltung zur Publikationsindizes passen müssen.

Die ursprünglich geplante Zusammenfassung der markanten Ergebnisse aus den Workshop muss ich aus zeitlichen Gründen auf das didaktische Design des Workshops beschränken (siehe nächsten Abschnitt).

Das Seminardesign

Zum Unterschied meiner ursprünglichen Planung habe ich den Workshop nur mit ein paar einleitenden Worten begonnen und kein – wie angekündigt – 70 minütiges Referat gehalten. Statt dessen habe ich Gruppen zu 4-5 Personen bilden lassen, die über ihre eigenen Erfahrungen – ausgehend von 3 Leitfragen, die ich gestellt habe – diskutiert haben

Aktivierung des Vorwissens und der Erfahrungen

1. Wo stehe ich in meiner ForscherInnen-Karriere? Hier ging es um eine grobe Einschätzung:
   1. Nicht relevant für mich, weil ich keine ForscherInnen-Stelle inne habe,
   2. ForscherInnen-Karriere angestrebt, aber noch nicht begonnen,
   3. Stehe erst ganz am Beginn einer (möglichen) ForscherInnen-Karriere,
   4. Ich bin schon mitten drin, habe schon eine entsprechende Stelle bzw. Position inne
2. Welche Bedeutungen haben für mich Publikationen? Das ist eigentlich eine Annäherung an eine Schlussfolgerung, die sich aus den nächsten beiden Fragen ergibt.
3. Welche Bedeutung haben Publikationen in meiner Organisation (Institut, Fakultät, Universität, Betrieb). Und für Fortgeschrittene: Welche Publikationsindizes finden Verwendung?
4. Welche Bedeutung haben Publikationen in meiner Fachdisziplin? Und für Fortgeschrittene: Welche Publikationsindizes finden Verwendung?

Eine inhaltliche Analyse der Unterschiede in den einzelnen individuellen Karriereverläufen, den jeweiligen Organisationseinheiten (Instituten, Fakultäten, Universitäten) und Fachdisziplinen muss ich auf unbestimmte Zeit verschieben, weil ich mehr Datenmaterial brauche um repräsentative Aussagen machen zu können. – Hier wäre vielleicht auch eine entsprechende kleine empirische Erhebung angesagt   💡 Ich glaube, dass es eine gute Wahl war, den eigentlichen Vortrag in zwei Teile zu gliedern und die hauptsächlichen Inhalte erst nach der Gruppenarbeit vorzutragen. Ich habe eine Zeit von 15 Minuten vorgegeben, wahrscheinlich war das etwas zu knapp und sollte eher ein größerer Zeitslot (20-25 Minuten) eingeplant werden.

 Erstellung des eigenen Google Scholar Profils

Ich war ein wenig nervös, wie der praktische Teil – angesichts des doch recht engen Zeitrahmens – verlaufen wird. Aber es ging extrem gut. Dafür waren mehrere Faktoren verantwortlich:

1. Alle TeilnehmerInnen hatten schon im Vorfeld – wie von mir erbeten – einen Google Account erstellt.
2. Soweit mir bekannt hatten alle TeilnehmerInnen eine offizielle Adresse einer Hochschule. Das ist deshalb wichtig, weil Google Scholar – zumindest bei meinem eigenen Test vor 2 Jahren – keine freie E-Mailadressen von Internetdiensten akzeptiert
3. Das von mir im Vorfeld erstellte Tutorial zur Erstellung eines Google Scholar Profils erwies sich mit seinen Bildschirmfotos (Screenshots) als extrem hilfreich.
4. Besonders geholfen hat natürlich, der spezielle professionellen Ausrichtung der TeilnehmerInnen, die alle im Umgang mit dem Internet erfahren waren.

Dieser erste Teil wurde in nicht ganz 2 Stunden erfolgreich abgeschlossen. Deshalb gab es noch vor der Pause das Erfolgserlebnis: Das eigene Zitationsprofil zu sehen! Wie oft bin ich schon zitiert worden? Welche Artikel wurden zitiert und welche nicht? Ich glaube, dass dieses Aha-Erlebnis wichtig für den Erfolg des Seminar war, zumindest merkte ich nach der Pause ganz deutlich eine verstärkte positive Stimmung.

Wie indiziert Google Scholar?

Nach der Pause haben wir gemeinsam das Zitationsprofil schrittweise analysiert. Der Umgang mit den eigenen Zitationen hat natürlich auch eine emotionale Komponenten:

• Welche Artikel wurden zitiert, welche nicht? Warum nicht?
• Wieso scheinen manche Artikel nicht auf? (z.b. weil sie nicht im Internet verfügbar sind und Google Scholar sie daher nicht indizieren kann.)
• Wieso wird mir ein Artikel zugewiesen, der nicht von mir ist? (Weil jemand einen ähnlichen Namen hat, der falsch indiziert wurde bzw. ein Artikel mit einem ähnlichen Titel wie einer meiner Publikationen, fälschlicherweise mir zugewiesen wurde.)
• Wieso ist der Titel des Artikels nicht korrekt? (z.B. weil er aus einem Dokument stammt, wo die Kapitelnummer oder sonst eine falsche Information in der Titelzeile steht.)

Es wichtig zu verstehen, dass Google Scholar alle Dateien im Netz als Zitationen von wissenschaftlichen Artikel indiziert, wenn sie drei Bedingungen erfüllen:

1. Dateien müssen im Netz vorhanden und frei indizierter sein. D.h. Ihre Webseite muss Suchmaschinen erlauben bzw. für Suchmaschinen frei zugänglich sein. Beispielsweise können Dateien im Medienrepositorium mancher Contentmanagement Systemen nicht gefunden werden.
2. Spezielle Formatierung am Beginn der Datei: Die erste Seite muss mit den Vor- und Zunamen (eine eigene Zeile), die vom Titel (in einer größeren Schrift und eigener Zeile) gefolgt wird, beginnen. Neuerlich wird auch der Name in einer eigenen Zeile unmittelbar nach dem Titel von Google Scholar erkannt. – Achtung: Keine speziellen Zeitschriften-Layouts oder Logoi zu Beginn verwenden!
3. Spezielle Formatierung am Ende der Datei: Eine der hinteren Seiten muss eine Überschrift "Literatur", "Referenzen", "Bibliography", "Literature" etc. haben und von einem Literaturverzeichnis gefolgt werden.

Werden diese drei Bedingungen erfüllt, dass bewertet Google Scholar die Datei als wissenschaftlichen Artikel und nimmt sie in ihrem Datenbestand auf. Gleichzeitig werden die in der Literatur angegeben Daten mit dem bereits bestehenden Datensätzen verglichen und – soweit vorhanden – dann als ein (weiteres) Zitat gezählt.

Wenn etwas zitiert wird, das nicht als indizierte Datei vorhanden ist, dann erkennt man das in Google Scholar daran, dass die Literaturangabe kein Link ist, d.h. schwarz angezeigt wird und mit dem Beisatz "[Citation]" versehen wird. Kann die Datei direkt herunter geladen werden, dann wird rechts die URL des jeweiligen Websites inklusive dem Format der Datei angegeben. Wird auf eine Website verwiesen, wo eine Registrierung notwendig ist, oder die Datei nur erwähnt wird, dann wird zwar ein Link (blau) präsentiert, es fehlen aber URL und Name des Dateiformats.