Lernverhaltensanalyse in der Fernlehre – eine Fallstudie

Lernverhaltensanalyse in der Fernlehre – eine Fallstudie so lautete ein Referat (Learning Analytics – A Case Study), das Prof. Dr. Bernd Krämer gestern im Rahmen des ersten Moduls des neuen Lehrgangs eEducation 8 gehalten hat.

Bernd war als Informatikprofessor, der sich mit E-Learning beschäftigte, ein wichtiger Kollege während meine Zeit an der FernUniversität Hagen (2003-2006). Wir arbeiteten gemeinsam an einem großen – von der DFG geförderten – Projekt CampusContent, das sich zu Edu-Sharing.net ausgegründet und weiterentwickelt hat und wo wir auch heute noch gemeinsam im Vorstand tätig sind. Über die Jahre ist aus einer Arbeitsbeziehung und beruflichen Kooperation auch eine persönliche Freundschaftsbeziehung entstanden – wie sich das über die letzten 35 Jahre auch bei einigen anderen BerufskollegInnen entwickelt hat. (Das ist einer der schönen Aspekte im Beruf des Universitätsprofessors/ der Universitätsprofessorin.)

Die empirische Studie hat für einen Teil eines Programmierkurses an der FernUnversität, der traditionell immer noch mit einem Skriptum begleitet wird, eine interaktive Online-Umgebung entwickelt. Danach wurde der Verhalten der Studierenden mit einem recht umfangreichen Set an Methoden vergleichend (Skriptum und webbasierte Interaktion) untersucht.

Kritische Bewertung der Ergebnisse

Abgesehen davon, dass sich die Studie mit einigen methodischen Probleme konfrontiert sah, waren sowohl die Ergebnisse als auch deren notwendigerweise vage bleibenden Interpretationen enttäuschend:

1. Ergebnisse der Kompetenzanalyse

Es konnte kein Zusammenhang zwischen vermuteter Lernzeit ¹, der Häufigkeit der durchgeführten interaktiven Übungen und dem Ergebnis des Abschlusstests. Es gibt Studierende, die nicht interaktiv geübt hatten und gute Noten bekamen und solche, die viel geübt hatten aber die Abschlussprüfung nicht bestanden haben. (Ein großer Teil der Studierenden ist – wie häufig bei Kursen der FernUniversität – zur Prüfung nicht angetreten.)

Both groups of students improved their competences significantly during  the course, online students especially in the topic areas covered by the online variant of the course.

With regard to the final exam there is no significant difference
between online and offline students.

Es gibt sogar einige 4 Studierende (von 40, also immer 10%), wo sich das Ergebnis (Vergleich von Pre- und Post-Test) verschlechtert hat (Folie 33 bzw. 46: Studierende Nr. 19,20,28 und 40).

Auf ähnliche Ergebnisse kommt auch Rolf Schulmeister bei einer seiner differenzierten Auswertungen der Zeitlast-Studie, wo er einen Match mit Prüfungsergebnisse durchführen konnte. ² Rolf erklärt dies damit, dass die Meta-Lernkompetenzen bzw. die selbststeuernde Lernorganisation von Studierenden ein weit wichtigerer Faktor sind als die physikalisch gemessene Zeit, die mit Lernen verbracht wird.

2. Ergebnisse der Pfadanalyse

Die Analyse welche (Navigations-)Wege die Studierende durch das Material genommen haben) zeigt, dass zu Beginn des Kurses der vorgegebenen Struktur des Kursautors gefolgt wird, später dann aber etwas freier navigiert wird. – Auch nicht gerade der Ergebnis-Brüller einer recht aufwendigen empirischen Studie.

3. Analyse der Lernzufriedenheit

Angeblich hat sich auch bei der Studie gezeigt, dass Fernstudierende kein Interesse an Kooperation haben:

 The results of the ‘Learner Satisfaction Survey’ reveals that the online students appreciate the platform’s technology but are reluctant towards cooperation and cooperation supporting tools.

Ich bezweifle diese Schlussfolgerung: Einerseits ist es bei Fernstudierenden, die sich ja typischerweise nicht persönlich kennen, prinzipiell schwierig, kooperatives Verhalten zu organisieren. Andererseits haben Fernstudierende – die typischerweise sich ihre Lernzeit zusätzlich zu Beruf und Familie sorgfältig einteilen müssen – einen engen Zeithorizont. Es ist durchaus verständlich, dass sie ihre Studienzeiten optimieren. Wenn sie wissen, dass die Prüfung individuell erfolgt und die Kooperationsaufforderung während des Kurses auch keine Konsequenz hat, warum sollten sie dann so unvernünftig sein, und wertvolle Zeit für irgendwelche Kooperations"spiele" vergeuden. Das wäre doch nur verlorene "Liebesmüh".

Aussagen zu Präferenzen oder  Testergebnissen bezüglich Kooperation lassen sich nur dann treffen, wenn es Aufgaben und Prüfungen gibt, die so gestaltet sind, dass Kooperation auch Sinn macht (z.B. indem die Aufgabe nur gemeinschaftlich gelöst werden kann, oder aber auch eine kooperativ gestaltetes Produkt bei der Prüfung zulässig ist).

Insgesamt bestärkt mich auch diese Fallbeispiel wieder einmal in meiner generellen Skepsis der Relevanz und Validität der Ergebnisse bei empirischen vergleichenden Studien. Vergleiche dazu die von mir betreute Dissertation von Annabell Preussler: Wir evaluieren uns zu Tode. Möglichkeiten und Grenzen der Bewertung von Online-Lernen. Eine Meta-Evaluation.

Interessante Werkzeuge und Instrumente

Trotz – oder gerade – wegen dieser unbefriedigenden Ergebnisse, habe ich den Vortrag spannend gefunden. Das betrifft einerseits die Frage mit welchen Untersuchungsmethoden wir bessere Ergebnisse bekommen ("besser" im Sinne von valide und nicht etwa "bessere" Bestätigung unserer Vorurteile) und andererseits wurden eine ganze Reihe hoch interessanter Werkzeuge verwendet, die es – aus bildungstechnologischer Perspektive – noch näher zu untersuchen gilt.

Ich kann hier im Einzelnen (noch) nicht alle Werkzeuge und Instrumente einen kritischen Review unterziehen. Das gehört außerdem sowieso in gesonderte Beiträge geschrieben, weil diese Methoden ja völlig unabhängig von der hier konkret berichteten Fallstudie sind. Ich beschränke mich daher auf eine Auflistung und Verlinkung:

• Modellierung Kompetenzmessung (MoKoM Test): Webseite Uni Siegen, Webseite Uni Paderborn, (siehe auch das Didaktik der Informatik-Wiki), Fachportal Pädagogik
• ConQuest: Generalized Item Response Modelling Software
• Edu-Sharing: Network for digital media in Education.
• MAXQDA: Software for qualitative and mixed methods data analysis
• Auswertung großer Datenmengen: Statistical Analysis System (SAS), SAS-Software Wikipedia, Data Analysis using the SAS Language – Wikipedia
• Netzwerk Analyse: Gephi Data Laboratory, Gephi Tutorial am Beispiel von Literaturdaten, Gephy Plugins
• Messung der Benutzerfreundlichkeit: System Usability Scale (SUS)
• Technologische Akzeptanz: Technology Acceptance Model (Wikipedia engl. und Wikipedia dtsch.)

1. Die Zeit, die auf einer bestimmten Seite in der Online-Umgebung verbracht wird, ist ja nur ein indirekter und zudem problematischer Indikator, weil ja die Länge des Aufrufs einer Seite nicht bedeutet, dass sie in dieser Zeit auch gelesen bzw. damit gelernt wird. Die Studierenden können in dieser Zeit ja auch ihren Lernplatz verlassen, Kaffee trinken, telefonieren etc.
2. Ich muss mir die entsprechende Passage noch raussuchen und später die Referenz hier nachtragen.