Mit der ersten Nummer unserer Open Access Zeitschrift iTel-Journal.org (Interdisziplinäre Zeitschrift für Technologie und Lernen) haben wir mit einem neuen Begutachtungsverfahren ein gewagtes Experiment unternommen: Open Peer Review (auch Offene Evaluation oder Open Evaluation).
Während beim traditionellen Double Blind Review-Verfahren sowohl die eingereichten Artikel, die AutorInnen als auch die BegutachterInnen samt deren Stellungnahmen während des gesamten Bewertungsverfahren anonym bleiben, wird bei der Offenen Evaluierung die oben genannte Kette – oder sinnvolle Teile davon – öffentlich gemacht.
Open Peer Review bei iTeL
Bei der ersten Nummer von iTeL hat es in den folgenden Bereichen Offenheit gegeben:
- bei den eingereichten Artikeln
- bei den AutorInnen
- bei den Gutachten
- und teilweise (weil optional) auch bei den GutachterInnen.
Es ist aus – so denke ich – noch zu früh um eine umfassende Evaluierung zu Vor- und Nachteilen des Verfahrens zu versuchen. Aber eines kann ich schon jetzt sagen: Open Peer Review verhindert seichte und flüchtige Bewertungen, weil die Gutachten öffentlich diskutiert werden. Bereits die Gutachten selbst haben bereits höhere Qualität, weil die Gutachterinnen wissen, dass ihre Stellungnahmen veröffentlicht werden.
Was herausgekommen ist, kann sich sogar schon bei der ersten Nummer von iTeL sehen lassen. Detaillierte, gewissenhafte und differenzierte Stellungnahmen (siehe Open Evaluation Artikelübersicht)
Ehre wem Ehre gebührt
Initiatorin und Treiberin dieses innovativen Experiment war und ist vor allem Gabi Reinmann (Vizepräsidentin für Lehre & Didaktik und Inhaberin des Lehrstuhls für Hochschuldidaktik an der Zeppelin Universität), die von uns allen sowohl in der Konzeption als auch dann bei der praktischen Durchführung wohl die meiste Arbeit hinein gesteckt hat.
Martin Ebner hat mit seinem Team dann die sich daraus resultierenden Anpassungen mit Open Journal System (OJS) umgesetzt.
Ohne Andrea Ghoneim, die den neuen – noch etwas holprigen Prozess – steuerte, auf die Fristen achtete und freundlich urgierte aber vor allem als geduldiges und unermüdliches Bindeglied zwischen AutorInnen, GutachterInnen, HeftherausgeberInnen und der Technik wirkte, wäre wohl Vieles schief gegangen.
Und nicht zuletzt muss hier natürlich auch den AutorInnen und GutachterInnen gedankt werden, die sich auf diesen öffentlichen Feldversuch eingelassen haben.
Andere Open Peer Review (OPR) Initiativen
iTeL-Journal.org ist nicht erste oder gar einzige Initiative, die versucht, Mängel im traditionellen Blind Reviews zu überwinden. Schon im Februar 2006 fragt Alison McCook: Is Peer Review broken?
Verschiedene renommierte Zeitschriften/Verlage haben bereits dieses Verfahren in den unterschiedlichsten Ausprägungen implementiert:
Pre-Publication Open Peer Review
- BioMed Central ist ein Open Access Sammelplatz für eine ganze Reihe von Journalen aus den Bereichen Biologie und Medizin (siehe Liste der Zeitschriften).
- Atmospheric Chemistry and Physics (siehe auch den Nature-Artikel dazu) ist ein besonders bekanntes und erfolgreiches Beispiel für OPR.
Post-Publication Open Peer Review
- Philica – The "Journal of Everything" – geht einen radikal anderen Weg: Alle Artikel werden sofort veröffentlicht und sind frei verfügbar. Öffentlich zugängliche Reviews erfolgen nach der Veröffentlichung, ohne Begrenzung in Zeit und Anzahl. Jeder kann einen Review schreiben. Diese Stellungnahmen sind anonym.
- Open Peer Commentary ist eine Variante von OPR: Hier werden ExpterInnen nach der Veröffentlichung gebeten fachliche Kommentare abzugeben, worauf die AutorInnen dann antworten können bzw. sollen.
Ein Experte, der viel zu der hier kurz dargestellten Problematik geschrieben hat, ist Stevan Harnad, der den Kanadischen Lehrstuhl für Cognitive Science an der Université du Québec à Montréal & Southampton innehat.
2 Antworten auf „Open Peer Review“
[…] Peter Baumgartner schreibt von der ersten Nummer der Open Access Zeitschrift iTel-Journal.org (Interdisziplinäre Zeitschrift für Technologie und Lernen) und dem Open Peer Review-Verfahren, das bei der Auswahl der Artikel angewendet wurde. [via Gedankensplitter] […]
Ich sehe ebenfalls viel Potential in Open-Review-Verfahren. Der Grund für Blind Reviews ist ja vor allem, dass die Gutachter dem Artikel neutral gegenüber stehen sollen. Aber es erlaubt, wie oben bereits genannt, das Risiko, dass Artikel nur oberflächlich gelesen und bewertet werden. Zudem ist es nicht einfach, tatsächlich „blind“ Reviews zu ermöglichen: Durch Projektnamen, -kontexte oder schlichtweg Nachfragen beim befreundeten Autoren, ob man denn da seinen Artikel vor sich hat, lässt sich ein Durchwinken oder gezieltes, unsachliches Ablehnen viel besser maskieren. Dagegen muss ein „Durchwinken“ beim offenen Review auch gut begründet sein. Nicht jeder vermeintliche Top-Autor schreibt immer nur gute Artikel. Ich stand auch bereits mehrfach vor der Entscheidung, ob man jetzt die Kritik, die man hat, zurückhalten soll, weil man den Autor kennt oder bspw. Herausgeber des Sammelbands ist und seinen Beitrag nur homöopathisch überarbeitet hat. Mir war es dann lieber, dass ich zu meinem Review stehen kann, falls hier eine „Lücke“ im blind entsteht und ich glaube, genau davon profitiert Open Peer Review.
Die größte Schwäche sehe ich darin: „Stellt Euch vor, es ist Open Peer Review und keiner sieht hin.“ Klar kann jeder die Reviews sehen, aber wer tut das? Aber Blind Reviews werden auch nicht gelesen — noch nicht einmal veröffentlicht. So kann ich wenigstens, wenn ich einen Beitrag gelesen habe und ihn nicht gut finde, schauen, ob ich da die einzige bin, die so denkt, oder ob es nicht auch negative Reviews gegeben hat. Damit stehen wiederum die Herausgeber der Zeitschrift unter Druck, die Reviews ernst zu nehmen: Auch wenn der Top-Autor vielleicht höhere Leserzahlen bringt, will man ihn trotz schlechter Reviews veröffentlichen? Was sagt das über die Eignung des Herausgebers aus?
Eine spannende Entwicklung, die es zu beobachten gilt.