Open Peer Review

Mit der ersten Nummer unserer Open Access Zeitschrift iTel-Journal (Interdisziplinäre Zeitschrift für Technologie und Lernen) haben wir mit einem neuen Begutachtungsverfahren ein gewagtes Experiment unternommen: Offene Evaluierung (Open Evaluation oder auch Open Peer Review).

Open Peer Review
Open Peer Review

Mit der ersten Nummer unserer Open Access Zeitschrift iTel-Journal.org (Interdisziplinäre Zeitschrift für Technologie und Lernen) haben wir mit einem neuen Begutachtungsverfahren ein gewagtes Experiment unternommen: Open Peer Review (auch Offene Evaluation oder Open Evaluation).

Während beim traditionellen Double Blind Review-Verfahren sowohl die eingereichten Artikel, die AutorInnen als auch die BegutachterInnen samt deren Stellungnahmen während des gesamten Bewertungsverfahren anonym bleiben, wird bei der Offenen Evaluierung die oben genannte Kette – oder sinnvolle Teile davon – öffentlich gemacht.

Open Peer Review bei iTeL

Open Peer Review bei iTeL
Open Peer Review bei iTeL

Bei der ersten Nummer von iTeL hat es in den folgenden Bereichen Offenheit gegeben:

  • bei den eingereichten Artikeln
  • bei den AutorInnen
  • bei den Gutachten
  • und teilweise (weil optional) auch bei den GutachterInnen.

Es ist aus – so denke ich – noch zu früh um eine umfassende Evaluierung zu Vor- und Nachteilen des Verfahrens zu versuchen. Aber eines kann ich schon jetzt sagen: Open Peer Review verhindert seichte und flüchtige Bewertungen, weil die Gutachten öffentlich diskutiert werden. Bereits die Gutachten selbst haben bereits höhere Qualität, weil die Gutachterinnen wissen, dass ihre Stellungnahmen veröffentlicht werden.

Was herausgekommen ist, kann sich sogar schon bei der ersten Nummer von iTeL sehen lassen. Detaillierte, gewissenhafte und differenzierte Stellungnahmen (siehe Open Evaluation Artikelübersicht)

Ehre wem Ehre gebührt

Initiatorin und Treiberin dieses innovativen Experiment war und ist vor allem Gabi Reinmann (Vizepräsidentin für Lehre & Didaktik und Inhaberin des Lehrstuhls für Hochschuldidaktik an der Zeppelin Universität), die von uns allen sowohl in der Konzeption als auch dann bei der praktischen Durchführung wohl die meiste Arbeit hinein gesteckt hat.

Martin Ebner hat mit seinem Team dann die sich daraus resultierenden Anpassungen mit Open Journal System  (OJS) umgesetzt.

Ohne Andrea Ghoneim, die den neuen – noch etwas holprigen Prozess – steuerte, auf die Fristen achtete und freundlich urgierte aber vor allem als geduldiges und unermüdliches Bindeglied zwischen AutorInnen, GutachterInnen, HeftherausgeberInnen und der Technik wirkte, wäre wohl Vieles schief gegangen.

Und nicht zuletzt muss hier natürlich auch den AutorInnen und GutachterInnen gedankt werden, die sich auf diesen öffentlichen Feldversuch eingelassen haben.

Andere Open Peer Review (OPR) Initiativen

iTeL-Journal.org ist nicht erste oder gar einzige Initiative, die versucht, Mängel im traditionellen Blind Reviews zu überwinden. Schon im Februar 2006 fragt Alison McCook: Is Peer Review broken?

Verschiedene renommierte Zeitschriften/Verlage haben bereits dieses Verfahren in den unterschiedlichsten Ausprägungen implementiert:

Pre-Publication Open Peer Review

Post-Publication Open Peer Review

  • Philica – The „Journal of Everything“ – geht einen radikal anderen Weg: Alle Artikel werden sofort veröffentlicht und sind frei verfügbar. Öffentlich zugängliche Reviews erfolgen nach der Veröffentlichung, ohne Begrenzung in Zeit und Anzahl. Jeder kann einen Review schreiben. Diese Stellungnahmen sind anonym.
  • Open Peer Commentary ist eine Variante von OPR: Hier werden ExpterInnen nach der Veröffentlichung gebeten fachliche Kommentare abzugeben, worauf die AutorInnen dann antworten können bzw. sollen.

Ein Experte, der viel zu der hier kurz dargestellten Problematik geschrieben hat, ist Stevan Harnad, der den Kanadischen Lehrstuhl für Cognitive Science an der Université du Québec à Montréal & Southampton innehat.

Von Peter Baumgartner

Seit mehr als 30 Jahren treiben mich die Themen eLearning/Blended Learning und (Hochschul)-Didaktik um. Als Universitätsprofessor hat sich dieses Interesse in 13 Bücher, knapp über 200 Artikel und 20 betreuten Dissertationen niedergeschlagen. Jetzt in der Pension beschäftige ich mich mit Open Science und Data Science Education.

2 Antworten auf „Open Peer Review“

Ich sehe ebenfalls viel Potential in Open-Review-Verfahren. Der Grund für Blind Reviews ist ja vor allem, dass die Gutachter dem Artikel neutral gegenüber stehen sollen. Aber es erlaubt, wie oben bereits genannt, das Risiko, dass Artikel nur oberflächlich gelesen und bewertet werden. Zudem ist es nicht einfach, tatsächlich „blind“ Reviews zu ermöglichen: Durch Projektnamen, -kontexte oder schlichtweg Nachfragen beim befreundeten Autoren, ob man denn da seinen Artikel vor sich hat, lässt sich ein Durchwinken oder gezieltes, unsachliches Ablehnen viel besser maskieren. Dagegen muss ein „Durchwinken“ beim offenen Review auch gut begründet sein. Nicht jeder vermeintliche Top-Autor schreibt immer nur gute Artikel. Ich stand auch bereits mehrfach vor der Entscheidung, ob man jetzt die Kritik, die man hat, zurückhalten soll, weil man den Autor kennt oder bspw. Herausgeber des Sammelbands ist und seinen Beitrag nur homöopathisch überarbeitet hat. Mir war es dann lieber, dass ich zu meinem Review stehen kann, falls hier eine „Lücke“ im blind entsteht und ich glaube, genau davon profitiert Open Peer Review.

Die größte Schwäche sehe ich darin: „Stellt Euch vor, es ist Open Peer Review und keiner sieht hin.“ Klar kann jeder die Reviews sehen, aber wer tut das? Aber Blind Reviews werden auch nicht gelesen — noch nicht einmal veröffentlicht. So kann ich wenigstens, wenn ich einen Beitrag gelesen habe und ihn nicht gut finde, schauen, ob ich da die einzige bin, die so denkt, oder ob es nicht auch negative Reviews gegeben hat. Damit stehen wiederum die Herausgeber der Zeitschrift unter Druck, die Reviews ernst zu nehmen: Auch wenn der Top-Autor vielleicht höhere Leserzahlen bringt, will man ihn trotz schlechter Reviews veröffentlichen? Was sagt das über die Eignung des Herausgebers aus?

Eine spannende Entwicklung, die es zu beobachten gilt.

Schreiben Sie einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Captcha loading...