Lernverhaltensanalyse in der Fernlehre – eine Fallstudie

Bernd Krämer Portrait

em. Prof. Dr. Bernd Krämer

Lernverhaltensanalyse in der Fernlehre – eine Fallstudie so lautete ein Referat (Learning Analytics – A Case Study), das Prof. Dr. Bernd Krämer gestern im Rahmen des ersten Moduls des neuen Lehrgangs eEducation 8 gehalten hat.

Bernd war als Informatikprofessor, der sich mit E-Learning beschäftigte, ein wichtiger Kollege während meine Zeit an der FernUniversität Hagen (2003-2006). Wir arbeiteten gemeinsam an einem großen – von der DFG geförderten – Projekt CampusContent, das sich zu Edu-Sharing.net ausgegründet und weiterentwickelt hat und wo wir auch heute noch gemeinsam im Vorstand tätig sind. Über die Jahre ist aus einer Arbeitsbeziehung und beruflichen Kooperation auch eine persönliche Freundschaftsbeziehung entstanden – wie sich das über die letzten 35 Jahre auch bei einigen anderen BerufskollegInnen entwickelt hat. (Das ist einer der schönen Aspekte im Beruf des Universitätsprofessors/ der Universitätsprofessorin.)

Die empirische Studie hat für einen Teil eines Programmierkurses an der FernUnversität, der traditionell immer noch mit einem Skriptum begleitet wird, eine interaktive Online-Umgebung entwickelt. Danach wurde der Verhalten der Studierenden mit einem recht umfangreichen Set an Methoden vergleichend (Skriptum und webbasierte Interaktion) untersucht.

Kritische Bewertung der Ergebnisse

Abgesehen davon, dass sich die Studie mit einigen methodischen Probleme konfrontiert sah, waren sowohl die Ergebnisse als auch deren notwendigerweise vage bleibenden Interpretationen enttäuschend:

1. Ergebnisse der Kompetenzanalyse

Vortrag-Kraemer-eE8

Prof. Dr. Bernd Krämer während seines Vortrags im Lehrgang eEducation 8 (30.5.2014)

Es konnte kein Zusammenhang zwischen vermuteter Lernzeit1, der Häufigkeit der durchgeführten interaktiven Übungen und dem Ergebnis des Abschlusstests. Es gibt Studierende, die nicht interaktiv geübt hatten und gute Noten bekamen und solche, die viel geübt hatten aber die Abschlussprüfung nicht bestanden haben. (Ein großer Teil der Studierenden ist – wie häufig bei Kursen der FernUniversität – zur Prüfung nicht angetreten.)

Both groups of students improved their competences significantly during  the course, online students especially in the topic areas covered by the online variant of the course.

With regard to the final exam there is no significant difference
between online and offline students.

Es gibt sogar einige 4 Studierende (von 40, also immer 10%), wo sich das Ergebnis (Vergleich von Pre- und Post-Test) verschlechtert hat (Folie 33 bzw. 46: Studierende Nr. 19,20,28 und 40).

Auf ähnliche Ergebnisse kommt auch Rolf Schulmeister bei einer seiner differenzierten Auswertungen der Zeitlast-Studie, wo er einen Match mit Prüfungsergebnisse durchführen konnte.2 Rolf erklärt dies damit, dass die Meta-Lernkompetenzen bzw. die selbststeuernde Lernorganisation von Studierenden ein weit wichtigerer Faktor sind als die physikalisch gemessene Zeit, die mit Lernen verbracht wird.

2. Ergebnisse der Pfadanalyse

Die Analyse welche (Navigations-)Wege die Studierende durch das Material genommen haben) zeigt, dass zu Beginn des Kurses der vorgegebenen Struktur des Kursautors gefolgt wird, später dann aber etwas freier navigiert wird. – Auch nicht gerade der Ergebnis-Brüller einer recht aufwendigen empirischen Studie.

3. Analyse der Lernzufriedenheit

Angeblich hat sich auch bei der Studie gezeigt, dass Fernstudierende kein Interesse an Kooperation haben:

 The results of the ‘Learner Satisfaction Survey’ reveals that the online students appreciate the platform’s technology but are reluctant towards cooperation and cooperation supporting tools.

Prof. Dr. Bernd Krämer auf seinem Verabschiedung (Farewll Symposium 2002 in Hagen), wo auch meine Frau und ich teilgenommen haben

Prof. Dr. Bernd Krämer auf seinem Verabschiedung (Farewll Symposium 2012 in Hagen)

Ich bezweifle diese Schlussfolgerung: Einerseits ist es bei Fernstudierenden, die sich ja typischerweise nicht persönlich kennen, prinzipiell schwierig, kooperatives Verhalten zu organisieren. Andererseits haben Fernstudierende – die typischerweise sich ihre Lernzeit zusätzlich zu Beruf und Familie sorgfältig einteilen müssen – einen engen Zeithorizont. Es ist durchaus verständlich, dass sie ihre Studienzeiten optimieren. Wenn sie wissen, dass die Prüfung individuell erfolgt und die Kooperationsaufforderung während des Kurses auch keine Konsequenz hat, warum sollten sie dann so unvernünftig sein, und wertvolle Zeit für irgendwelche Kooperations“spiele“ vergeuden. Das wäre doch nur verlorene „Liebesmüh“.

Aussagen zu Präferenzen oder  Testergebnissen bezüglich Kooperation lassen sich nur dann treffen, wenn es Aufgaben und Prüfungen gibt, die so gestaltet sind, dass Kooperation auch Sinn macht (z.B. indem die Aufgabe nur gemeinschaftlich gelöst werden kann, oder aber auch eine kooperativ gestaltetes Produkt bei der Prüfung zulässig ist).

Insgesamt bestärkt mich auch diese Fallbeispiel wieder einmal in meiner generellen Skepsis der Relevanz und Validität der Ergebnisse bei empirischen vergleichenden Studien. Vergleiche dazu die von mir betreute Dissertation von Annabell Preussler: Wir evaluieren uns zu Tode. Möglichkeiten und Grenzen der Bewertung von Online-Lernen. Eine Meta-Evaluation.

Interessante Werkzeuge und Instrumente

Bildungstechnologische Werkzeuge kritisch evaluieren und verwenden lernen

Bildungstechnologische Werkzeuge kritisch evaluieren und verwenden lernen

Trotz – oder gerade – wegen dieser unbefriedigenden Ergebnisse, habe ich den Vortrag spannend gefunden. Das betrifft einerseits die Frage mit welchen Untersuchungsmethoden wir bessere Ergebnisse bekommen („besser“ im Sinne von valide und nicht etwa „bessere“ Bestätigung unserer Vorurteile) und andererseits wurden eine ganze Reihe hoch interessanter Werkzeuge verwendet, die es – aus bildungstechnologischer Perspektive – noch näher zu untersuchen gilt.

Ich kann hier im Einzelnen (noch) nicht alle Werkzeuge und Instrumente einen kritischen Review unterziehen. Das gehört außerdem sowieso in gesonderte Beiträge geschrieben, weil diese Methoden ja völlig unabhängig von der hier konkret berichteten Fallstudie sind. Ich beschränke mich daher auf eine Auflistung und Verlinkung:

Anhang

Vortrags Folien Bernd Krämer, DUK am 30.5.2014 (englisch und zT. deutsch)
Titel: Learning Analytics – A Case Study (137 clicks)
Beschriftung: Vortrags Folien Bernd Krämer, DUK am 30.5.2014 (englisch und zT. deutsch)
Dateiname: kraemer-bernd-vortrag-duk.pdf
Dateigröße: 16 MB

  1. Die Zeit, die auf einer bestimmten Seite in der Online-Umgebung verbracht wird, ist ja nur ein indirekter und zudem problematischer Indikator, weil ja die Länge des Aufrufs einer Seite nicht bedeutet, dass sie in dieser Zeit auch gelesen bzw. damit gelernt wird. Die Studierenden können in dieser Zeit ja auch ihren Lernplatz verlassen, Kaffee trinken, telefonieren etc. []
  2. Ich muss mir die entsprechende Passage noch raussuchen und später die Referenz hier nachtragen. []

Flattr this!

Verschlagwortet mit . Bookmark the permalink.

Ein Kommentar zu Lernverhaltensanalyse in der Fernlehre – eine Fallstudie

  1. Pingback: Lernverhaltensanalyse in der Fernlehre – ...

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Time limit is exhausted. Please reload CAPTCHA.