Über eine Mailaussendung von Hans-Lorenz Reiff-Schoenfeld von der Firma TurnItIn bin ich auf eine neue Testauswertung der Gruppe um Debora Weber-Wulff an der Hochschule für Technik und Wirtschaft in Berlin (HTW Berlin) hingewiesen worden.
Diesmal war es jedoch kein Test zur Erkennung von Plagiaten, sondern es wurde geprüft ob die am Markt erhältlichen Softwaresysteme auch "Kollusionen" feststellen können (Siehe die Langfassung bzw. die Zusammenstellung der Ergebnisse in der Kurzfassung). Der Unterschied besteht darin, dass in dem einen Fall (Plagiat) Quellen aus dem Internet und in dem anderen Fall (Kollusion) die Arbeit der KommilitonInnen als Vorlage zum Abschreiben verwendet wird. Das englische "Collusion" kann mit "betrügerische Absprache" übersetzt werden.
Ich bekam diese Aussendung natürlich deshalb, weil Turnitin zwar nicht im Bereich der Code-Erkennung, dafür aber bei der viel wichtigeren und häufigeren Texterkennung die höchsten Werte, ja sogar die mögliche Höchstanzahl von Punkten erreicht hatte. Unabhängig davon bin ich natürlich erfreut, dass mich Herr Reiff-Schoenfeld in seinen Verteiler eingeschlossen hat. Einerseits weil wir auf der letzten GMW-Tagung einen Disput zu Plagiatssoftware hatten, andererseits weil meine Universität eine Arbeitsgruppe zu Plagiatssoftware eingerichtet hat und wir dabei sind, hier entsprechende Richtlinien zur Qualitätssicherung auszuarbeiten und zu verabschieden und jegliche Information aktuell gut brauchen können.
Wieso kann eine Kollusion unbemerkt bleiben?
So wichtig ein Kollusion-Testergebnis als Argument für die Marketingabteilung einer Software sein kann, verstand ich – ehrlich gesagt – anfangs nicht ganz die Bedeutung von "Abschreibe-Kartellen" im Textbereich. Es mag für Computerprogrammierung wichtig sein, zu erkennen, dass eine Programmlogik abgeschrieben wurde, obwohl dies durch Änderung der Variablennamen und/oder durch kleine Umstellungen zu verschleiern versucht wurde. Wenn ich jedoch Arbeiten von eine Gruppe von Studierenden erhalte, dann habe ich mir ursprünglich nur den Fall vorstellen können, dass eine Dozent, eine Dozentin nicht alle Arbeiten auch tatsächlich gelesen hat, oder nur ganz oberflächlich gelesen hat, so dass er/sie sich nicht mehr erinnern kann, was in einer kurz vorher gelesenen Arbeit gestanden hat. Oder aber das Lesen der Arbeiten über einen sehr langen Zeitraum aufgeteilt ist, sodass es bereits zu Erinnerungslücken kommt. Weil dies eigentlich nicht vorkommen dürfte, war mir der Kollusionstest daher zu Beginn intuitiv nicht ganz einsichtig.
Beim längeren Nachdenken habe ich aber dann verstanden, dass bei sehr großen Studierendenzahlen dies durchaus ein Problem darstellen kann. Vor allem dann, wenn so viele Arbeiten zu prüfen sind, dass ein Team von DozentInnen sich das Lesen der Arbeiten untereinander aufteilt. Dann kann es tatsächlich vorkommen, dass eine Kollusion nicht bemerkt wird, weil die betreffende Arbeit von zwei unterschiedlichen DozentInnen gelesen wird.
Kollusion versus Kollaboration
They note that this apparently happens more often in instructional settings in which there are many students. It can happen intentionally, for example if the students are convinced that the teacher does not actually read the papers that were submitted, or by accident, when students are not aware of the rules governing copying of text or programs, or for material that was co-generated. The difference between permitted collaboration and not permitted collusion is quite unclear, Barrett and Cox found. (zitiert nach Collusion Detection System Test Report 2012 unter Bezugnahme auf Barrett, R., & Cox, A.L. (2005). ‘At least they’re learning something’: the hazy line between collusion and collaboration. Journal of Assessment and Evaluation in Higher Education, 30 (2), 107-122.
Als eine andere Möglichkeit der Kollusion erwähnen Debora Weber-Wulff, Katrin Köhler und Christopher Möller mit Bezugnahme auf eine Studie von Barret und Cox (2005). Es handelt sich dabei um die Unklarheit in der Abgrenzung von erlaubter Zusammenarbeit und nicht erlaubter Verwendung von (gemeinsam erstellten) Material.
In der Tat lässt sich bei echten Kollaborationen nicht immer im Nachhinein eine klare inhaltliche Trennung und damit Zuschreibung auf die verschiedenen AkteurInnen vornehmen. Es muss allerdings hier gefragt werden, inwieweit solch eine nachträgliche Auftrennung sinnvoll ist. Es ist doch gerade der entstehende synergetische Mehrwert, der Kollaborationen sinnvoll macht. Nur beim (nicht gewünschten) additiven Aneinanderhängen getrennt ausgearbeiteter Bestandteile, lässt sich solch eine Trennung sinnvoll vornehmen.
Statt also eine echte Gruppenarbeit zu akzeptieren, sind Studierende durch die Prüfungsordnungen häufig gezwungen, die von Ihnen verantworteten Teile klar zu benennen und damit eine Auftrennung vorzunehmen. Erfahrende HochschullehrerInnen wissen jedoch, dass diese nachträgliche Benennung zwar die formalen Regelungen erfüllt, aber nicht unbedingt immer den tatsächlichen Verlauf der Gruppenarbeit widerspiegelt.
Kritische Schlussbemerkung
Dies bringt mich zur kritischen Anmerkung, dass technische Systeme in ihrer Nützlichkeit zur inhaltlichen Überprüfung weit überschätzt werden. Dies trifft sowohl für die Anwendung von Plagiatsoftware (darauf verweisen auch die AutorInnen der neuen Kollussionstudie) als auch für Kollusionssoftware zu.
Außerdem fehlen mir als Anwender bei all diesen Test zwei ganz wichtige Bereiche, die eigentlich ebenfalls bei solchen Prüfungen in Indikatoren operationalisiert und erfasst werden sollten:
- Mir fehlt eine Bewertung der BenutzerInnen-Oberfläche. Das ist für die tägliche Arbeit von uns (häufig technisch nicht versierten) ProfessorInnen sehr wichtig. Was nützt mir die prinzipiell tolle Erkennungsquote, wenn ich die Software falsche bediene oder ihre Ergebnisse nicht richtig interpretieren kann?
- Ein anderer Bereich, der mir in der Bewertung fehlt, stellen Funktionen dar, die die Einbindung in die administrativen Prozesse der jeweiligen Hochschule erleichtern helfen. Das betrifft nicht nur die Installation auf dem Server, Updates, Aktualisierung der Datenbank sondern ich meine auch die optimale Kopplung des Bewertungs- und Interpretationsprozess mit der internen Studienorganisation.
