Double Blind Review auf dem Prüfstand: Ein Fallbeispiel

Der Beitrag analysiert an einem konkreten persönlichen Fallbeispiel einige Schwierigkeiten und Probleme von Double Blind Review-Verfahren für Conference-Proceedings.. Das Verfahren ist wenig effizient, weil aus zeitlichen Gründen häufig nur oberflächliches Feedback gegeben wird, sich GutachterInnen manchmal fachlich nicht zuständig fühlen aber aus zeitlichen Gründen doch zu einer Bewertung angehalten werden und weil (im besten Fall) nur wenig Personen viel Aufwand betreiben und daher die Lernchance für die Scientific Community und damit für die Weiterentwicklung der Wissenschaften eingeschränkt wird. Der Beitrag schließt mit einem Aufruf an Experimenten zu Open Peer Review-Verfahren sich zu beteiligen und mitzuhelfen die Qualitätssicherung in der Wissenschaft zu verbessern.

Double Blind Review auf dem Prüfstand
Double Blind Review auf dem Prüfstand

Im Rahmen eines Double Blind Reviews wurde ein Artikel von mir, den ich gemeinsam mit Ingrid Bergner für die GMW-Tagung geschrieben habe, nur mittelmäßig bewertet. Es handelt sich um einen Artikel zum sogenannten Muster-Ansatz von Christopher Alexander, den ich demnächst auf diesen Seiten veröffentlichen werde. Über (didaktische Entwurfs-)Muster habe ich bis zum heutigen Tage in meinem Weblog unter dem Schlagwort "Pattern" schon 26 Artikel geschrieben. Es gibt insgesamt 69 Beiträge in denen das Wort "Pattern" vorkommt. Es handelt sich also um ein Thema, das mir sehr am Herzen liegt.

Ich schreibe diese Vorbemerkung um vorwarnend deutlich zu machen, dass ich zu diesem Thema eine gewisse Verbundenheit und damit eine emotionale Färbung meiner nachfolgenden Argumente nicht ausschließen kann. Um es offen heraus zu sagen: Ich habe mich über die Gutachten und die von den Gutachterinnen selbst eingestandene Unkenntnis zum Thema sehr geärgert. Schon 2010 wurde ein Artikel für die GMW-Tagung, den ich gemeinsam mit Reinhard Bauer geschrieben habe, abgelehnt: "Handlungsmuster und Ganzheitlichkeit – Implikationen des Muster-Ansatzes von Christopher Alexander für die Didaktik." Damals habe ich beschlossen das "Double Blind Review"-Spiel zu akzeptieren, vor allem auch deswegen, weil Interventionen wegen der Ablehnung einen anrüchigen Charakter gehabt hätte. Jetzt schätze ich die Situation aber anders ein:

Der Artikel ist im Begutachtungsprozess durch und ich "kämpfe" nicht mehr um das Recht der Veröffentlichung. Gleichzeitig möchte ich betonen, dass es mir nicht um die relativ schlechte Bewertung geht. (Der Best Paper Award war und ist nicht mein primäres Anliegen.  😕 )  Auf Grundlage der kürzlich fertiggestellten und von mir betreuten Dissertation von Reinhard Bauer (sie wird nach erfolgreicher Defensio etwa Ende Juni über das Archiv der Alpen-Adria Universität Klagenfurt frei zugänglich sein), möchte ich hier auch explizit erwähnen, dass ich glaube, dass mein Beitrag durchaus Schwächen hat.

Daher: Nicht Rechtfertigung ist das Ziel dieses Beitrags, sondern  die fehlende Argumentation und sachliche Inkompetenz, die sich in den Gutachten zu dem "Pattern"-Artikel zeigt. Darin offenbart sich aus meiner Sicht aber nicht individuelle fachliche Mängel von GutachterInnen, sondern eine große strukturelle Schwäche des Double Blind Review-Verfahren gegenüber neueren Ansätzen des Open Peer Reviews. Das ist der Grund warum ich gestern einen Beitrag zu Open Peer Review geschrieben habe. Das war gewissermaßen ein "Nebenprodukt" der Recherchen zu diesem Artikel, um den es mir eigentlich geht.

Nicht auskennen aber trotzdem bewerten

Alle drei Gutachten beginnen ihr kritisches Feedback damit, dass sie sich zur angeschnittenen Thematik nicht auskennen:

Ich muss vorweg anmerken, dass ich weder mit der Theorie von Christoph Alexander, noch mit den Diskussionen in der Didaktik vertraut bin. (1. Satz im Gutachten 1)

Vorab möchte ich darauf hinweisen, dass mir die von Alexander entwickelten architektonischen Gestaltungsprinzipien und das Konzept der räumlich definierten "Lebenseigenschaften" nicht vertraut waren. (1. Satz im Gutachten 2)

Ich muss zugeben, dass das Thema für mich gänzlich neu ist und ich mich bisher noch nicht mit Christopher Alexander auseinandersetzen durfte. (1. Satz im Gutachten 3)

Alle GutachterInnen "outen" sich als fachlich für das Thema nicht zuständig. Sie haben nun ein Problem: Wie sollen sie den Beitrag bewerten, wenn sie sich – zugegebenermaßen – nicht mit der fachlichen Diskussion auskennen? Was tun? Diese Frage hat zwei Seiten: Einerseits die Seite der VeranstalterInnen andererseits die Seite der angefragten GutachterInnen:

  • Problem der VeranstalterInnen: Eine Lösung wäre es, dass der Review seitens der – für dieses Sachgebiet fachlich nicht zuständigen – GutachterInnen abgelehnt wird. Das stürzt aber wiederum die VeranstalterInnen von Konferenzen in ein Dilemma. Schließlich müssen sie den Double Blind Review-Prozess unter einem (engen) Zeithorizont organisieren. Und wie können einschlägige FachexpertInnen rasch aufgetrieben werden und dann zu einem Gutachten motiviert werden?
  • Problem der GutachterInnen: Eine andere (arbeitsaufwändige) Methode wäre es, dass sich die abgefragten GutachterInnen mit entsprechenden eigenen Recherchen für das zu schreibende Gutachten fachlich fit machen. Auch das stößt nicht nur aus Zeitgründen, sondern auch aus motivationalen Aspekten auf Widerstand: Warum soll ich mich als Gutachter zu einem Thema schlau machen, das nicht meinen eigene Forschungsanliegen entspricht?

Diese oben zitierte Selbsteinschätzung hat die Gutachterinnen daher nicht davon abgehalten, ein sehr detailliertes Urteil zu jeden der nachfolgenden Kriterien abzugeben:

  • inhaltlicher Qualität
  • Bedeutung
  • Originalität
  • Thematische Relevanz
  • Darstellung
  • Empfehlung

Der Beitrag wurde dann insgesamt mit der Gesamtnote von 5.1, 6.2 und 5.2 (von 10 möglichen Punkten) beurteilt. Wahrscheinlich "gerade noch" durchgekommen, worauf auch die Anforderung von drei Gutachten hindeutet.

Strategie A: Tentative allgemeine Aussagen zur Plausibilität

Der vorgestellte Zugang von Alexander scheint durchaus Potential für pädagogische und didaktische Fragen zu haben. (2. Satz im Gutachten 1)

Der Ansatz, diese Prinzipien auf die Didaktik zu übertragen, erschien mir zunächst ungewöhnlich (die Darstellung der einschlägigen Forschungsdiskussion macht aber deutlich, dass es sich um einen schon länger und von verschiedener Seite
verfolgten Ansatz handelt). (2. Satz im Gutachten 2)

Das macht es natürlich schwierig eine Beurteilung abzugeben und ich möchte mich daher auf die Struktur, den Aufbau, den Erkenntnisgewinn reduzieren. (2. Satz im Gutachten 3)

Alle drei Gutachten haben daher eine Reformulierung ihrer Aufgaben vorgenommen: Nicht mehr die fachliche Begutachtung steht im Vordergrund sondern die Plausibilität der Argumentation. Damit wird aber das gesamte Verfahren des Peer Reviews ad absurdum geführt: Es sind nämlich keine "Peers" mehr , – d.h. Personen aus derselben Wissenschaftscommunity –, sondern (relativ) fachfremde Personen, die den Artikel begutachten.

Zwar stammten die GutachterInnen wahrscheinlich – grob gesehen – aus dem pädagogisch-sozial-, geisteswissenschaftlichen Bereich. Diese breite Zuordnung ist jedoch für ein differenzierte fachliches Gutachten auf Peer-Ebene zu wenig. Wir haben inzwischen nicht nur eine große Auffächerung in Disziplinen, sondern reale Problemstellungen kümmern sich darum oft wenig. Praxisprobleme schneiden nicht nur innerhalb des Faches (der Disziplin) einzelne Segmente heraus indem sie sich auf spezielle Themen spezialisieren, sondern es gibt immer mehr inter- und/oder transdisziplinäre Forschungsfragen, die den traditionellen Fachkanon überhaupt nicht mehr angemessen sind. Fach- oder Disziplinzugehörigkeit ist zuwenig; das Peer-Konzept muss in dieser Hinsicht daher neu überdacht und wahrscheinlich enger d.h. konkreter gefasst werden.

Strategie B: Sich in Formulierungsdetails verstricken

Gutachten 2, das unseren Artikel noch am Besten bewertete, hat zumindest den Beitrag sehr genau und gewissenhaft gelesen. Als Ergebnis sind jedoch etwas seltsame Formulierungsvorschläge gekommen:

Mehrfach bin ich über Formulierungen, Wortdopplungen etc. gestolpert ("verweist [...] mit Verweis", S. 3.(Tatsächlich wurde hier auf einen Flüchtigkeitsfehler aufmerksam gemacht – Danke!)

"Es wird vermutet, dass [...] dieses Problem löst [...]." S. 3 - vielleicht eher:"Es wird davon ausgegangen". …  "von
Alexander nachgelieferten", S. 4 - hier scheint "nachträglich entwickelten"
 gemeint zu sein. "diese Generalisierung ist nachgelagert", S. 6 - hier scheint "nachrangig" gemeint zu sein.). (Diese Vorschläge hingegen verstehe ich nicht: Es werden Bedeutungsverschiebungen vorgeschlagen, die wir gerade nicht ausdrücken wollten.)

Nun sind solche stilistische Anmerkungen durchaus wertvoll – wenn sie eine Diskussion über die unterschiedlichen Bedeutungsschattierungen zulassen würden. Genau das ist aber beim Double Blind Review nicht der Fall:

"Nachträglich entwickelt" bedeutet, dass es erst nachträglich ausgearbeitet wurde, während "nachgeliefert" bedeutet, dass es zwar schon klar war, aber noch nicht schriftlich festgehalten wurde. Mit "nachgelagert" haben wir nicht gemeint, dass die Generalisierung einen niedrigerer Rang einnimmt bzw. eine geringere Priorität aufweist, sondern ganz im Gegenteil, dass sie ein unverbundenes "Add-on" darstellt, das nicht in die Theorie integriert wurde.

Belastete Wörter: Was darf man sagen und was nicht?

Ein für mich überraschender Hinweis aber ist die folgende Kritik im zweiten Gutachten:

Der unsägliche Begriff "Sonderbehandlung" (S. 4) - eine NS-Tarnbezeichnung für die Ermordung von Menschen - zeugt von einer historisch zu wenig reflektierten Diktion.

Um diese Anmerkung entsprechend würdigen zu können, ist es notwendig den gesamten betreffenden Satz im Kontext zu zitieren:

Wird beispielweise das Kategorialmodell nach Baumgartner verwendet (2011, 101), dann wird ein LernerInnen-zentrierter Ansatz gewählt, der technologische Unterstützung in die allgemeine Didaktik integriert und daher keine Sonderbehandlung für E-Learning benötigt.

Tatsächlich ist das Wort "Sonderbehandlung" eine Nazi Wortschöpfung und hat als Tarnbezeichnung eine braune Vergangenheit. Wie Die Welt kritisch feststellt drückt sich darin eine ideologische Aufladung der Alltagssprache aus. Es ist daher durchaus nachvollziehbar, dass dieser schillernde Begriff mit Vorsicht zu verwenden ist. Allerdings gibt es dazu auch andere Meinungen:

Belastete oder schuldige Wörter gibt es nicht. Wichtig ist, in welchem Zusammenhang und mit welcher Geisteshaltung Wörter benutzt werden“, meint die Privatdozentin Dr. Heidrun Kämper (53), Expertin für Sprachgeschichte des 20. Jahrhunderts am Institut für Deutsche Sprache in Mannheim. (zitiert von Helmut Bögner in Bild.de)

Double Blind Reviews: Häufig nur formale Pflichtübung

angenommen-abgelehnt
Double Blind Review: Angenommen oder abgelehnt, selten differenziertes Feedback

Das anonyme Gutachten verweist also darauf, dass das Wort "Sonderbehandlung" insgesamt aus unserem Wortschatz zu streichen ist, weil es in einem bestimmten historischen Kontext Nazi-Jargon dargestellt hat. Ich muss zugeben, dass ich überhaupt nicht auf eine solche Verknüpfung gedacht habe, die – ehrlich gesagt – mir im Zusammenhang meines Artikels auch höchst seltsam vorkommt. So erwähnt beispielsweise der Duden ausdrücklich diese Doppelbedeutung, die nationalsozialistisch verhüllende Tarnbezeichnung und die "besondere [jemanden bevorzugende] Behandlung".

Aber sei es drum: Immerhin habe ich etwas gelernt und freue mich, dass dieser Gutachter/diese Gutachterin zumindest sich ein wenig Mühe beim Review gemacht hat. Wenn ich auch etwas gelernt habe, so doch nicht zum eigentlichen Thema, dem Muster-Ansatz. Welchen tatsächlichen Beitrag leisten Double Blind Reviews für die Qualitätssicherung in der Wissenschaft? Sie sind wahrscheinlich bestenfalls "Torhüter", die verhindern, dass inhaltlicher Schrott die Autoritätsweihe von Wissenschaft bekommt. Ich glaube jedoch nicht, dass sie die fachlichen Weiterentwicklung der jeweiligen Themen innerhalb einer Wissenschaftsdisziplin effizient unterstützen können.

Selbst dann, wenn die Gutachten inhaltlich sehr kompetent und detailliert sind, ist der Wirkungsradius beim Double Blind Review auf die GutachterInnen und AutorInnen eingeschränkt. Der Lerneffekt ist daher – gesamtgesellschaftlich gesehen – relativ gering. Viel Aufwand für wenig Ergebnis.

GutachterInnen: "Die im Dunkeln sieht man nicht" (Brecht: Dreigroschenoper)
GutachterInnen: "Die im Dunkeln sieht man nicht" (Brecht: Dreigroschenoper)

Noch ein anderes Argument gegen den Double Blind Review: Es gibt während des Begutachtungsprozesses eine Symmetrie: Beide Seiten (AutorInnen und GutachterInnen) sind anonym. Wird der Artikel aber – wie es bei uns nun der Fall ist – zugelassen, dann wissen die GutachterInnen wer den Artikel geschrieben hat – wenn sie sich überhaupt dafür interessieren, was ich nicht immer als gegeben annehme). Die AutorInnen hingegen tappen weiterhin im Dunkeln.

Zusammenfassung: Nachteile des Double Blind Verfahren

Open Peer Review
Alternative zu Double Blind Review ist Open Peer Review

Damit ich den GutachterInnen gerecht werde, muss ich betonen, dass es durchaus einige wichtige Hinweise gegeben hat. Es handelt sich aber eher um indirekte Hinweise nach dem Motto: "Ok, diese Argumentation ist fachfremden Personen nicht verständlich, da muss ich weiter ausholen bzw. differenzierter darauf eingehen."

Um LeserInnen einen gerechten Vergleich zu ermöglichen, werde ich die kritisierte und die überarbeitete Fassung, sowie die vollständigen anonymen Gutachten auf diesen Seiten veröffentlichen. In diesem Artikel habe ich mich vorerst nur auf formale Probleme des Verfahrens beschränkt.

Zusammenfassend lassen sich aus diesem Fallbeispiel folgende Kritikpunkte am Double Blind Review-Verfahren – wie es für Konferenzen üblich ist – anführen:

  • Es besteht ein Zeitdruck, der verhindert, dass eine ausführliche inhaltliche Auseinandersetzung stattfinden kann. Statt dessen beschränkt sich das Verfahren im Wesentlich auf "angenommen-abgelehnt".
  • GutachterInnen, die den Artikeln zugewiesen, aber sich fachlich nicht auskennen, werden aus Zeitgründen angehalten, trotzdem zu bewerten.  Neue – fachlich kompetente – GutachterInnen zu suchen, kostet Zeit und ist selbst dann nicht immer unbedingt erfolgreich.
  • Double Blind Review bei Kongressen ist in mehrfacher Hinsicht asymmetrisch: einerseits besteht keine (zeitliche) Möglichkeit der AutorInnen für eine (Gegen-) Stellungnahme bzw. Verteidigung, andererseits bleiben die GutachterInnen auch nach der Veröffentlichung (= positive Bewertung des Beitrags) im Dunkeln. Es ist also auch nachträglich kein inhaltlicher Diskurs möglich.

Fairerweise möchte ich einschränkend betonen, dass die hier angeführten Punkte sich vor allem auf zeitliche Enge vor Konferenztagungsbänden bezieht. Die Alternative jedoch – ein doppelt verdeckter Diskurs zwischen GutachterInnen und AutorInnen – kosten jedoch extrem viel Zeit und ist – bezogen auf die gesamte Scientific Community – nicht effizient, weil nur wenige Personen einbezogen sind und damit eine Lernchance haben.

Fazit: Double Blind Review-Verfahren sind wenig effizient, weil aus zeitlichen Gründen häufig nur oberflächliches Feedback gegeben wird, sich GutachterInnen manchmal fachlich nicht zuständig fühlen aber aus zeitlichen Gründen doch zu einer Bewertung angehalten werden und weil (im besten Fall) nur wenig Personen viel Aufwand betreiben und daher die Lernchance für die Scientific Community und damit für die Weiterentwicklung der Wissenschaften eingeschränkt wird.

Aufruf sich an Open Peer Reviews zu beteiligen

Open Peer Review bei iTeL
Open Peer Review bei iTeL

Es ist daher dringend notwendig, dass wir nach Alternativen suchen, sie experimentell umsetzen und anschließend durch formative Evaluierung ständig verbessern. Beteiligen Sie sich daher verstärkt an Open Peer Reviews und helfen Sie wissenschaftlich stimmige Alternativen zu entwickeln. Ein Versuchsfeld – insbesondere wenn Sie diese Seiten (regelmäßig) lesen – ist die Interdisziplinäre Zeitschrift für Technologie und Lernen (iTeL-Journal.org). Machen Sie mit und helfen Sie uns das Verfahren zu verbessern!

Von Peter Baumgartner

Seit mehr als 30 Jahren treiben mich die Themen eLearning/Blended Learning und (Hochschul)-Didaktik um. Als Universitätsprofessor hat sich dieses Interesse in 13 Bücher, knapp über 200 Artikel und 20 betreuten Dissertationen niedergeschlagen. Jetzt in der Pension beschäftige ich mich zunehmend auch mit Open Science und Data Science Education.

8 Antworten auf „Double Blind Review auf dem Prüfstand: Ein Fallbeispiel“

Lieber Herr Baumgartner,

besten Dank für diesen Beitrag. Ich war auch etwas „angefressen“ als ich die Gutachten unseres GMW Beitrags erhalten habe. Eine kleinere Unschönheit vorab war, dass zwei Gutachten auf Deutsch verfasst wurden. Der Artikel ist auf Englisch und es werden Ergebnisse eines internat. Projektes vorgestellt. Die Mitautoren können so nun zwei Gutachten nicht lesen. Stark irritiert hat mich aber folgende Punktverteilung: 2.5, 5.6, 6.8. Das ist ja durchaus eine beträchtliche Spanne (und auch von 5.6 nach 6.8 ist ein Weg würde man die 2.5 als Ausreißer betrachten). Gut, man müsste nun im Aufsatz ins Detail gehen und die Gutachten prüfen. Vielleicht will ich an der Stelle einen Aspekt aufzeigen der vielleicht zu einem unterliegendem Problem deutet welches oben noch nicht aufgegriffen wurde:

Der Artikel wurde als Kurzpaper für eine Praxissession eingereicht. Wir haben ein Tool konzipiert, programmiert und wollen Feedback einholen:

In an ongoing EU FP7 Era.NET RUS project,1 utilising a mixed-method approach (interviews/focus group (n=145) in four countries; online teaching style survey), we, among others, researched how instructors and students in higher education (HE) use social media (SoMe) for teaching, learning, and research. We revealed potential benefits of SoMe usage by instructors in HE classrooms. However, although many instructors are open-minded about applying SoMe in their teaching contexts, they often face difficulties when deciding how to integrate it in their instructional designs. Therefore, we are currently developing a SoMe toolkit that will (a) assess the instructor’s teaching scenario by asking four questions, (b) suggest the best matching SoMe class by utilising an algorithm based on pedagogical principles, and (c) provide guidelines for the instructor on how to integrate the suggested SoMe class in his or her teaching. The pedagogical framework of the toolkit will be presented in detail in this paper. At the conference, you will be able to test the toolkit’s functions, see the users’ data entry visualised in nearly real time, and give feedback and discuss.

In einem Gutachten findet sich nun:

In addition, I doubt the general applicability of methods and technologies in learning.

Im anderen:

Es wird ein Social Media-Toolkit vorgestellt, das Lehrenden Anregungen vermitteln soll, in welcher Weise sie soziale Medien in der Lehre einsetzen können. Das Toolkit soll zudem während der Pre-Conference erprobt werden können. Der Ansatz, Lehrenden auf der Grundlage eigener Angaben zur Lehrpraxis Empfehlungen zur Nutzung ausgewählter sozialer Medien zu geben, ist grundsätzlich sehr zu begrüßen.

Ein mögliches unterliegendes Problem auf das http://gabi-reinmann.de/?p=4609#more-4609 hier hingewiesen betrifft Probleme bei interdisziplinären Projekten. In unserem Fall frage ich mich ob es vielleicht eher ein Problem universitäre vs. angewandte Wissenschaft geht. Wir haben geforscht und auf der Basis (plus anderen Quellen) ein Tool konzipiert und entwickelt. Das deutsche Gutachten hat diese Perspektive wohl im Hinterkopf (Anwendung in der Lehre). Das andere Gutachten zielt v.a. auf die wissenschaftliche Begründung ab (und die ist bei einer Neuentwicklung nicht so leciht zu geben) .

Einen positiven Dreh bekommt die Sache aber dennoch: Das Gutachten mit der schlechtesten Note hat die meisten Verbesserungsvorschläge (und für die bin ich ausgesprochen dankbar und so ist ein Sinn des reviews erfüllt), die anderen leider sehr wenige. (Nebenbei, ich glaube drei Gutachten waren „default“ Herr Baumgartner).

Ein anderer Gedankensplitter der mir in den Sinn kam beim lesen dieses Posts und der Gedanken von Gaby Reinmann und der der Antworten dort: Unlängst war ich auf der Frühjahrstagung der spm (http://bit.ly/1hv2lI6). Gudela Grote stellt empirische Forschung vor (Folien siehe Link). In einem Nebensatz, soweit ich mich entsinne, sagte sie sinngemäß „Forscher sind nach unseren Untersuchungen v.a. ex(!)trinisch motiviert. Sie suchen nach Anerkennung“. Mal angenommen das stimmt so – wie gut kann jemand Anerkennung gewähren der selber v.a. nach dieser sucht? Zudem wenn sie/ er keine erwarten kann weil anonym?

Wenn nun jemand neugierig geworden ist um was für ein Tool es geht und den Feedbackprozess unterstützen will (wofür wir ausgesprochen dankbar wären!): http://socialmediaforeducation.org/site/group/name/de_03
Cookies müssen aktiviert sein.

Lieber Herr Rapp,

danke für diesen ausführlichen Kommentar. Sie schneiden da ja einige neue Problemkreise an, über die es sich lohnt, nachzudenken:

  • Grundlagenwissenschaft versus angewandte Wissenschaft
  • Fachwissenschaft versus Interdisziplinarität

Zum letzten Punkt habe ich übrigens auch schon etwas nachgedacht. Siehe meinen Artikel Fächerübergreifende Dissertationen begutachten.

Ich werde – wenn es sich zeitlich einrichten lässt – auf einige Aspekte Ihres Kommentars noch näher eingehen. In der Zwischenzeit gibt es vielleicht auch noch andere LeserInnen, die Ihre Erfahrungen berichten bzw. Kommentar anfügen wollen.

Einen Punkt habe ich vielleicht noch nicht so deutlich rausgeschält: Konzeption, Entwicklung, Programmierung, Testen von E-learning Tools etc. (das ist ja oft Softwareentwicklung nach Wasserfall oder agile) funktioniert oft nach anderen Vorgehensmodellen als typische (ok, soweit es die gibt) sozialwissenschaftliche Prozeduren. Es geht oft darum was Ingenieure normalerweise machen – Produkte und/ oder Prozess entwickeln. Man muss also dies zusammen mit den (Fach)inhalten und der (Medien-)Didaktik zusammenbringen für ein rundes Produkt. Ein Gutachter dann idealerweise in allen drei Bereichen einen guten Überblick haben. Dies „Auch waren mir die methodischen Angaben etwas zu techniklastig.“ aus einem der Gutachten mag ein Hinweis sein, dass es schwierig ist diese verschiedenen Aspekte/ Bereiche abzudecken, zusammenzubringen. Und da geht es ja nicht einmal um angewandte vs. Grundlagen Forschung sondern Design-/ Ingenieurvorgehen in der Produkt-/ Prozessentwicklung vs. Forschung (wobei wir ja eine Sequenz hatten – erst Forschung -> Anforderungen -> Entwicklung an die sich dann Begleitforschung anschließt).

Hallo Herr Baumgartner,

ich war bei der GMW auf der „anderen Seite“, d.h. als Gutachter tätig. Bei mir war eine thematische Nähe gegeben, so dass ich „reinen Gewissens“ meine Gutachten abgegeben habe. Ich kenne aber auch schon solche Fälle, wie Sie es erlebt haben, ich hatte einmal bei drei Gutachten sogar die volle Varianz (abgelehnt, mit Überarbeitung angenommen, direkt angenommen).

Ich denke, dass eine thematische Nähe von den VeranstalterInnen durchaus für die GutachterInnen eingefordert werden kann, d.h. „sicherstellen“, dass eine hinreichende Sachkompetenz vorliegt. Das könnte man doch automatisieren und wenn die Differenz (Beitrag – Gutachter) zu groß ist, dann lässt man sich andere Beiträge zuordnen (ich lehne mittlerweile auch Review-Anfragen bei Aufsätzen ab, bei denen ich keine thematische Nähe sehe). Mit der thematischen Ausrichtung von Konferenzen versucht man ja eine gewisse Kohärenz der Peers zu schaffen. Andererseits ist aber auch wichtig, Raum für „exotischere“ Beiträge zu schaffen, da sich sonst die Forschung nicht weiter entwickelt.

Schöne Grüße nach Krems,
Markus Deimann

Schreiben Sie einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert