Preussler Annabell

Wir evaluieren uns zu Tode: Möglichkeiten und Grenzen der Bewertung von Online-Lernen. Eine Meta-Evaluation. (Dissertation: FernUniversität in Hagen, 2008)

---

Vorstellung

Ich bin seit September 2008 wissenschaftliche Mitarbeiterin am Lehrstuhl für Mediendidaktik und Wissensmanagement an der Universität Duisburg-Essen.
Von 2004-2008 war ich an der FernUniversität in Hagen im Lehrgebiet Bildungstechnologie beschäftigt, wo ich auch promovierte. Zuvor war ich am Institut für Schulentwicklungsforschung der Universität Dortmund tätig.
Meinen Studienabschluss in Pädagogik habe ich im Jahr 2002 ebenfalls an der Universität Dortmund gemacht.

Meine aktuellen Forschungsschwerpunkte:
Lernerfolgs- und Kompetenzmessung beim E-Learning, Informelles Lernen, subjektive Theorien, Lernen in sozialen Netzwerken.

Weiterführende Angaben zu Lebenslauf, Publikationen u.ä. sind auf meiner Webseite unter annabellpreussler.de zu finden.

---

Zusammenfassung

E-Learning ist derzeit uneingeschränkt up to date. Der Frage, worin dessen Vorteile liegen, wird oftmals mit wissenschaftlichen Studien begegnet: Wird durch E-Learning tatsächlich ein höherer Lernerfolg erzielt als mit traditionellem Lernen? Wie ist dieser messbar? Um in der Praxis zu untersuchen, ob ein E-Learning-Setting oder eine Präsenzveranstaltung besser zum Lernen geeignet ist, werden in der Regel Vergleichsuntersuchungen durchgeführt. In der Dissertation wird also die Problematik der Vergleichbarkeit von Lernerfolg durch verschiedene Instruktionsmethoden betrachtet.

In der Dissertation geht es darum, die Schwierigkeiten dieser Art von Bewertung aufzuzeigen. Diese äußern sich einerseits darin, dass der Lernerfolg bei der Messung der Qualität eines Lernsettings als ein Indikator dient, jedoch  selbst ebenfalls ein Konstrukt darstellt. Da auf diese Weise zwei Konstrukte miteinander in Verbindung gebracht werden, die nicht verallgemeinerbar sind, ist weder eine klare Definition von Lernerfolg problemlos möglich, noch dessen empirische Erfassung. Um beispielhaft einige dieser Konstruktdimensionen aufzuzeigen, wird das Modell der lernrelevanten Kontexte und Komponenten nach Sigmar-Olaf Tergan (2004) herangezogen, in welchem zwischen Lernenden und Lernszenarien unterschieden wird. Darüber hinaus werden koginitive und prozedurale Lernprozesse differenziert und es werden die Kontexte und Komponenten der Lernszenarien herausgestellt. Dieses Modell zeigt vor allem, dass eine vollständige Auflistung aller Faktoren erfolgreichen Lernens nicht realisierbarist. Der Lernerfolg wird demnach also nicht durch einzelne Komponenten ermöglicht, sondern nur durch das komplexe Gesamtgefüge der Konstruktdimensionen. Es ist daher auch kaum möglich, einzelne Teilbereiche isoliert zu betrachten.

In der Praxis wird Lernerfolg fast durchgängig als Behaltensleistung definiert. Andere Aspekte dieses Konstrukts – wie Lernprozess oder Kompetenz – finden meist keine Beachtung. Daraus ergeben sich indifferente Sichtweisen, was eine Vergleichbarkeit von Forschungsergebnissen unmöglich macht. Festgehalten werden kann jedoch der Anspruch, dass der Lernerfolg den Anforderungen des Lernangebotes entsprechen muss. Dies impliziert, dass bei der Bewertung der Lernleistung auch immer eine Vorstellung über die Lernziele erforderlich ist.

Um zu prüfen, ob diese Überlegungen in der Forschung berücksichtigt werden, wurde eine Meta-Evaluation durchgeführt. Ziel war es, bestehende Vergleichsstudien in Form eines Reviews im Hinblick auf diese Problematik zu analysieren und zu bewerten. Das Forschungsinteresse ging der Vermutung nach, dass Lernerfolg nicht eindeutig operationalisierbar ist und unspezifische Vergleiche von Online- versus Präsenzlernen nicht uneingeschränkt sinnvoll anwendbar sind. Darüber hinaus sollten die Dimensionen des Konstrukts Lernerfolg identifiziert werden, bei denen ein Vergleich möglich ist. Nach der Auswahl und Festlegung relevanter Kriterien wurden 11 Primärstudien analysiert und bewertet.

Die Ergebnisse zeigten, dass in keiner dieser Studien sichere Aussagen über den Lernerfolg in dem einen oder anderen Lernsetting getroffen werden konnten. Die meisten Online-Lernsettings waren vor allem an Zielen der niedrigen Prozessdimensionen ausgerichtet,  während beispielsweise Gruppen­aktivitäten im Klassenraum mit höheren Prozessen erfasst wurden. Damit zeigt sich erneut die Schwierigkeit, die einzelnen Evaluanden in ihrer Gesamtheit zu erfassen. Zusammengefasst kann angenommen werden, dass die Aufmerksamkeit der Evaluation in den meisten Fällen eher auf die Methodik sowie auf formale Aspekte gerichtet war, jedoch die Frage nach den Lernzielen und der bestmöglichen Operationalisierung von Lernerfolg vernachlässigt wurde. Ebenso sind methodische Schwierigkeiten offenkundig geworden: Da der Lernerfolg in den meisten Fällen durch das Testverfahren definiert wird, wird in Vergleichsstuden oftmal die gleiche Prüfung für alle Testgruppen durchgeführt. Allerdings kann dies nicht nicht alle Funktionen und Eigenschaften der einzelnen EvaluandInnen berücksichtigen, da diese unterschiedliche Methodiken, Ziele und Lernformen voraussetzen.

Ein Lösungsversuch liegt in der Betrachtung der Lernziele. Betrachtet man die kognitiven Prozessdimensionen innerhalb der Taxonomie nach Lorin W. Anderson & David R. Krathwohl (2001), so scheint ein sinnvoller Vergleich von Untersuchungs- und Kontrollgruppe dann möglich zu sein, wenn sich deren Lernziele auf der gleichen Ebene befinden. In der Praxis wird jedoch gerade die Entsprechung von intendierten Lernzielen und Prüfungsform oftmals nicht erreicht. Auch bedürfen unterschiedliche Lernziele unterschiedlicher Prüfungsformen, da nicht jeder Test für jeden kognitiven Prozess geeignet ist. Um die EvaluandInnen also miteinander vergleichen zu können, müssen in beiden Untersuchungsgruppen die gleichen Lernziele formuliert werden. Dabei muss das Prüfungsdesign den intendierten Lernzielen entsprechen. Zusätzlich müssen auch die Lernsettings auf dieser Ebene vergleichbar sein.