Double Blind Review auf dem Prüfstand: Ein Fallbeispiel

Im Rahmen eines Double Blind Reviews wurde ein Artikel von mir, den ich gemeinsam mit Ingrid Bergner für die GMW-Tagung geschrieben habe, nur mittelmäßig bewertet. Es handelt sich um einen Artikel zum sogenannten Muster-Ansatz von Christopher Alexander, den ich demnächst auf diesen Seiten veröffentlichen werde. Über (didaktische Entwurfs-)Muster habe ich bis zum heutigen Tage in meinem Weblog unter dem Schlagwort "Pattern" schon 26 Artikel geschrieben. Es gibt insgesamt 69 Beiträge in denen das Wort "Pattern" vorkommt. Es handelt sich also um ein Thema, das mir sehr am Herzen liegt.

Ich schreibe diese Vorbemerkung um vorwarnend deutlich zu machen, dass ich zu diesem Thema eine gewisse Verbundenheit und damit eine emotionale Färbung meiner nachfolgenden Argumente nicht ausschließen kann. Um es offen heraus zu sagen: Ich habe mich über die Gutachten und die von den Gutachterinnen selbst eingestandene Unkenntnis zum Thema sehr geärgert. Schon 2010 wurde ein Artikel für die GMW-Tagung, den ich gemeinsam mit Reinhard Bauer geschrieben habe, abgelehnt: "Handlungsmuster und Ganzheitlichkeit – Implikationen des Muster-Ansatzes von Christopher Alexander für die Didaktik." Damals habe ich beschlossen das "Double Blind Review"-Spiel zu akzeptieren, vor allem auch deswegen, weil Interventionen wegen der Ablehnung einen anrüchigen Charakter gehabt hätte. Jetzt schätze ich die Situation aber anders ein:

Der Artikel ist im Begutachtungsprozess durch und ich "kämpfe" nicht mehr um das Recht der Veröffentlichung. Gleichzeitig möchte ich betonen, dass es mir nicht um die relativ schlechte Bewertung geht. (Der Best Paper Award war und ist nicht mein primäres Anliegen.  😕 )  Auf Grundlage der kürzlich fertiggestellten und von mir betreuten Dissertation von Reinhard Bauer (sie wird nach erfolgreicher Defensio etwa Ende Juni über das Archiv der Alpen-Adria Universität Klagenfurt frei zugänglich sein), möchte ich hier auch explizit erwähnen, dass ich glaube, dass mein Beitrag durchaus Schwächen hat.

Daher: Nicht Rechtfertigung ist das Ziel dieses Beitrags, sondern  die fehlende Argumentation und sachliche Inkompetenz, die sich in den Gutachten zu dem "Pattern"-Artikel zeigt. Darin offenbart sich aus meiner Sicht aber nicht individuelle fachliche Mängel von GutachterInnen, sondern eine große strukturelle Schwäche des Double Blind Review-Verfahren gegenüber neueren Ansätzen des Open Peer Reviews. Das ist der Grund warum ich gestern einen Beitrag zu Open Peer Review geschrieben habe. Das war gewissermaßen ein "Nebenprodukt" der Recherchen zu diesem Artikel, um den es mir eigentlich geht.

Nicht auskennen aber trotzdem bewerten

Alle drei Gutachten beginnen ihr kritisches Feedback damit, dass sie sich zur angeschnittenen Thematik nicht auskennen:

Ich muss vorweg anmerken, dass ich weder mit der Theorie von Christoph Alexander, noch mit den Diskussionen in der Didaktik vertraut bin. (1. Satz im Gutachten 1)

Vorab möchte ich darauf hinweisen, dass mir die von Alexander entwickelten architektonischen Gestaltungsprinzipien und das Konzept der räumlich definierten "Lebenseigenschaften" nicht vertraut waren. (1. Satz im Gutachten 2)

Ich muss zugeben, dass das Thema für mich gänzlich neu ist und ich mich bisher noch nicht mit Christopher Alexander auseinandersetzen durfte. (1. Satz im Gutachten 3)

Alle GutachterInnen "outen" sich als fachlich für das Thema nicht zuständig. Sie haben nun ein Problem: Wie sollen sie den Beitrag bewerten, wenn sie sich – zugegebenermaßen – nicht mit der fachlichen Diskussion auskennen? Was tun? Diese Frage hat zwei Seiten: Einerseits die Seite der VeranstalterInnen andererseits die Seite der angefragten GutachterInnen:

• Problem der VeranstalterInnen: Eine Lösung wäre es, dass der Review seitens der – für dieses Sachgebiet fachlich nicht zuständigen – GutachterInnen abgelehnt wird. Das stürzt aber wiederum die VeranstalterInnen von Konferenzen in ein Dilemma. Schließlich müssen sie den Double Blind Review-Prozess unter einem (engen) Zeithorizont organisieren. Und wie können einschlägige FachexpertInnen rasch aufgetrieben werden und dann zu einem Gutachten motiviert werden?
• Problem der GutachterInnen: Eine andere (arbeitsaufwändige) Methode wäre es, dass sich die abgefragten GutachterInnen mit entsprechenden eigenen Recherchen für das zu schreibende Gutachten fachlich fit machen. Auch das stößt nicht nur aus Zeitgründen, sondern auch aus motivationalen Aspekten auf Widerstand: Warum soll ich mich als Gutachter zu einem Thema schlau machen, das nicht meinen eigene Forschungsanliegen entspricht?

Diese oben zitierte Selbsteinschätzung hat die Gutachterinnen daher nicht davon abgehalten, ein sehr detailliertes Urteil zu jeden der nachfolgenden Kriterien abzugeben:

• inhaltlicher Qualität
• Bedeutung
• Originalität
• Thematische Relevanz
• Darstellung
• Empfehlung

Der Beitrag wurde dann insgesamt mit der Gesamtnote von 5.1, 6.2 und 5.2 (von 10 möglichen Punkten) beurteilt. Wahrscheinlich "gerade noch" durchgekommen, worauf auch die Anforderung von drei Gutachten hindeutet.

Strategie A: Tentative allgemeine Aussagen zur Plausibilität

Der vorgestellte Zugang von Alexander scheint durchaus Potential für pädagogische und didaktische Fragen zu haben. (2. Satz im Gutachten 1)

Der Ansatz, diese Prinzipien auf die Didaktik zu übertragen, erschien mir zunächst ungewöhnlich (die Darstellung der einschlägigen Forschungsdiskussion macht aber deutlich, dass es sich um einen schon länger und von verschiedener Seite
verfolgten Ansatz handelt). (2. Satz im Gutachten 2)

Das macht es natürlich schwierig eine Beurteilung abzugeben und ich möchte mich daher auf die Struktur, den Aufbau, den Erkenntnisgewinn reduzieren. (2. Satz im Gutachten 3)

Alle drei Gutachten haben daher eine Reformulierung ihrer Aufgaben vorgenommen: Nicht mehr die fachliche Begutachtung steht im Vordergrund sondern die Plausibilität der Argumentation. Damit wird aber das gesamte Verfahren des Peer Reviews ad absurdum geführt: Es sind nämlich keine "Peers" mehr , – d.h. Personen aus derselben Wissenschaftscommunity –, sondern (relativ) fachfremde Personen, die den Artikel begutachten.

Zwar stammten die GutachterInnen wahrscheinlich – grob gesehen – aus dem pädagogisch-sozial-, geisteswissenschaftlichen Bereich. Diese breite Zuordnung ist jedoch für ein differenzierte fachliches Gutachten auf Peer-Ebene zu wenig. Wir haben inzwischen nicht nur eine große Auffächerung in Disziplinen, sondern reale Problemstellungen kümmern sich darum oft wenig. Praxisprobleme schneiden nicht nur innerhalb des Faches (der Disziplin) einzelne Segmente heraus indem sie sich auf spezielle Themen spezialisieren, sondern es gibt immer mehr inter- und/oder transdisziplinäre Forschungsfragen, die den traditionellen Fachkanon überhaupt nicht mehr angemessen sind. Fach- oder Disziplinzugehörigkeit ist zuwenig; das Peer-Konzept muss in dieser Hinsicht daher neu überdacht und wahrscheinlich enger d.h. konkreter gefasst werden.

Strategie B: Sich in Formulierungsdetails verstricken

Gutachten 2, das unseren Artikel noch am Besten bewertete, hat zumindest den Beitrag sehr genau und gewissenhaft gelesen. Als Ergebnis sind jedoch etwas seltsame Formulierungsvorschläge gekommen:

Mehrfach bin ich über Formulierungen, Wortdopplungen etc. gestolpert ("verweist [...] mit Verweis", S. 3.(Tatsächlich wurde hier auf einen Flüchtigkeitsfehler aufmerksam gemacht – Danke!)

"Es wird vermutet, dass [...] dieses Problem löst [...]." S. 3 - vielleicht eher:"Es wird davon ausgegangen". …  "von
Alexander nachgelieferten", S. 4 - hier scheint "nachträglich entwickelten" gemeint zu sein. "diese Generalisierung ist nachgelagert", S. 6 - hier scheint "nachrangig" gemeint zu sein.). (Diese Vorschläge hingegen verstehe ich nicht: Es werden Bedeutungsverschiebungen vorgeschlagen, die wir gerade nicht ausdrücken wollten.)

Nun sind solche stilistische Anmerkungen durchaus wertvoll – wenn sie eine Diskussion über die unterschiedlichen Bedeutungsschattierungen zulassen würden. Genau das ist aber beim Double Blind Review nicht der Fall:

"Nachträglich entwickelt" bedeutet, dass es erst nachträglich ausgearbeitet wurde, während "nachgeliefert" bedeutet, dass es zwar schon klar war, aber noch nicht schriftlich festgehalten wurde. Mit "nachgelagert" haben wir nicht gemeint, dass die Generalisierung einen niedrigerer Rang einnimmt bzw. eine geringere Priorität aufweist, sondern ganz im Gegenteil, dass sie ein unverbundenes "Add-on" darstellt, das nicht in die Theorie integriert wurde.

Belastete Wörter: Was darf man sagen und was nicht?

Ein für mich überraschender Hinweis aber ist die folgende Kritik im zweiten Gutachten:

Der unsägliche Begriff "Sonderbehandlung" (S. 4) - eine NS-Tarnbezeichnung für die Ermordung von Menschen - zeugt von einer historisch zu wenig reflektierten Diktion.

Um diese Anmerkung entsprechend würdigen zu können, ist es notwendig den gesamten betreffenden Satz im Kontext zu zitieren:

Wird beispielweise das Kategorialmodell nach Baumgartner verwendet (2011, 101), dann wird ein LernerInnen-zentrierter Ansatz gewählt, der technologische Unterstützung in die allgemeine Didaktik integriert und daher keine Sonderbehandlung für E-Learning benötigt.

Tatsächlich ist das Wort "Sonderbehandlung" eine Nazi Wortschöpfung und hat als Tarnbezeichnung eine braune Vergangenheit. Wie Die Welt kritisch feststellt drückt sich darin eine ideologische Aufladung der Alltagssprache aus. Es ist daher durchaus nachvollziehbar, dass dieser schillernde Begriff mit Vorsicht zu verwenden ist. Allerdings gibt es dazu auch andere Meinungen:

Belastete oder schuldige Wörter gibt es nicht. Wichtig ist, in welchem Zusammenhang und mit welcher Geisteshaltung Wörter benutzt werden“, meint die Privatdozentin Dr. Heidrun Kämper (53), Expertin für Sprachgeschichte des 20. Jahrhunderts am Institut für Deutsche Sprache in Mannheim. (zitiert von Helmut Bögner in Bild.de)

Double Blind Reviews: Häufig nur formale Pflichtübung

Das anonyme Gutachten verweist also darauf, dass das Wort "Sonderbehandlung" insgesamt aus unserem Wortschatz zu streichen ist, weil es in einem bestimmten historischen Kontext Nazi-Jargon dargestellt hat. Ich muss zugeben, dass ich überhaupt nicht auf eine solche Verknüpfung gedacht habe, die – ehrlich gesagt – mir im Zusammenhang meines Artikels auch höchst seltsam vorkommt. So erwähnt beispielsweise der Duden ausdrücklich diese Doppelbedeutung, die nationalsozialistisch verhüllende Tarnbezeichnung und die "besondere [jemanden bevorzugende] Behandlung".

Aber sei es drum: Immerhin habe ich etwas gelernt und freue mich, dass dieser Gutachter/diese Gutachterin zumindest sich ein wenig Mühe beim Review gemacht hat. Wenn ich auch etwas gelernt habe, so doch nicht zum eigentlichen Thema, dem Muster-Ansatz. Welchen tatsächlichen Beitrag leisten Double Blind Reviews für die Qualitätssicherung in der Wissenschaft? Sie sind wahrscheinlich bestenfalls "Torhüter", die verhindern, dass inhaltlicher Schrott die Autoritätsweihe von Wissenschaft bekommt. Ich glaube jedoch nicht, dass sie die fachlichen Weiterentwicklung der jeweiligen Themen innerhalb einer Wissenschaftsdisziplin effizient unterstützen können.

Selbst dann, wenn die Gutachten inhaltlich sehr kompetent und detailliert sind, ist der Wirkungsradius beim Double Blind Review auf die GutachterInnen und AutorInnen eingeschränkt. Der Lerneffekt ist daher – gesamtgesellschaftlich gesehen – relativ gering. Viel Aufwand für wenig Ergebnis.

Noch ein anderes Argument gegen den Double Blind Review: Es gibt während des Begutachtungsprozesses eine Symmetrie: Beide Seiten (AutorInnen und GutachterInnen) sind anonym. Wird der Artikel aber – wie es bei uns nun der Fall ist – zugelassen, dann wissen die GutachterInnen wer den Artikel geschrieben hat – wenn sie sich überhaupt dafür interessieren, was ich nicht immer als gegeben annehme). Die AutorInnen hingegen tappen weiterhin im Dunkeln.

Zusammenfassung: Nachteile des Double Blind Verfahren

Damit ich den GutachterInnen gerecht werde, muss ich betonen, dass es durchaus einige wichtige Hinweise gegeben hat. Es handelt sich aber eher um indirekte Hinweise nach dem Motto: "Ok, diese Argumentation ist fachfremden Personen nicht verständlich, da muss ich weiter ausholen bzw. differenzierter darauf eingehen."

Um LeserInnen einen gerechten Vergleich zu ermöglichen, werde ich die kritisierte und die überarbeitete Fassung, sowie die vollständigen anonymen Gutachten auf diesen Seiten veröffentlichen. In diesem Artikel habe ich mich vorerst nur auf formale Probleme des Verfahrens beschränkt.

Zusammenfassend lassen sich aus diesem Fallbeispiel folgende Kritikpunkte am Double Blind Review-Verfahren – wie es für Konferenzen üblich ist – anführen:

• Es besteht ein Zeitdruck, der verhindert, dass eine ausführliche inhaltliche Auseinandersetzung stattfinden kann. Statt dessen beschränkt sich das Verfahren im Wesentlich auf "angenommen-abgelehnt".
• GutachterInnen, die den Artikeln zugewiesen, aber sich fachlich nicht auskennen, werden aus Zeitgründen angehalten, trotzdem zu bewerten.  Neue – fachlich kompetente – GutachterInnen zu suchen, kostet Zeit und ist selbst dann nicht immer unbedingt erfolgreich.
• Double Blind Review bei Kongressen ist in mehrfacher Hinsicht asymmetrisch: einerseits besteht keine (zeitliche) Möglichkeit der AutorInnen für eine (Gegen-) Stellungnahme bzw. Verteidigung, andererseits bleiben die GutachterInnen auch nach der Veröffentlichung (= positive Bewertung des Beitrags) im Dunkeln. Es ist also auch nachträglich kein inhaltlicher Diskurs möglich.

Fairerweise möchte ich einschränkend betonen, dass die hier angeführten Punkte sich vor allem auf zeitliche Enge vor Konferenztagungsbänden bezieht. Die Alternative jedoch – ein doppelt verdeckter Diskurs zwischen GutachterInnen und AutorInnen – kosten jedoch extrem viel Zeit und ist – bezogen auf die gesamte Scientific Community – nicht effizient, weil nur wenige Personen einbezogen sind und damit eine Lernchance haben.

Fazit: Double Blind Review-Verfahren sind wenig effizient, weil aus zeitlichen Gründen häufig nur oberflächliches Feedback gegeben wird, sich GutachterInnen manchmal fachlich nicht zuständig fühlen aber aus zeitlichen Gründen doch zu einer Bewertung angehalten werden und weil (im besten Fall) nur wenig Personen viel Aufwand betreiben und daher die Lernchance für die Scientific Community und damit für die Weiterentwicklung der Wissenschaften eingeschränkt wird.

Aufruf sich an Open Peer Reviews zu beteiligen

Es ist daher dringend notwendig, dass wir nach Alternativen suchen, sie experimentell umsetzen und anschließend durch formative Evaluierung ständig verbessern. Beteiligen Sie sich daher verstärkt an Open Peer Reviews und helfen Sie wissenschaftlich stimmige Alternativen zu entwickeln. Ein Versuchsfeld – insbesondere wenn Sie diese Seiten (regelmäßig) lesen – ist die Interdisziplinäre Zeitschrift für Technologie und Lernen (iTeL-Journal.org). Machen Sie mit und helfen Sie uns das Verfahren zu verbessern!