Am 20./21. März 2007 in Leuven (Belgien) hatten wir unser 2. Konsortialmeeting für das MELT Projekt (Metadata Ecology for Learning and Teaching). Nach 6 Monaten (von insgesamt 27 Monaten) wurden die Zwischenergebnisse der verschiedenen Arbeitspakete präsentiert. Birgit Zens und ich stellten seitens der Donau-Universität Krems unser Konzept für die Evaluierung vor.
Wie aus dem Bild ersichtlich, ist MELT ein Projekt mit einer sehr vielen Partnern. Der Grund für dieses großes Konsortium liegt darin, dass im Arbeitspaket 5 sehr viele europäische Organisationen ihren Content mit Metadaten zur Verfügung stellen. Im Projekt geht es darum, diesen Content durch verschiedene Methoden mit weiteren Metadaten anzureichern und so eine bessere Qualität und höheren Nutzungsgrad der Materialien zu erreichen. Die Anreicherung durch Metadaten soll erfolgen durch
- halbautomatisch Routinen
- Indizierung von Domainexperten (LehrerInnen des jeweiligen Faches)
- gemeinschaftliches Indizieren (Social Tagging) im Sinne des Aufbaus einer Folksonomy
Unsere Aufgabe (Arbeitspaket 7) ist es, Maßzahlen und Techniken zu entwickeln wie der Erfolg der Anreicherung durch Metadaten sowie der relative Erfolg der unterschiedlichen Methoden zur Anreicherung gemessen werden kann. In diesem Projekt ist also das Evaluationspaket zentral und nicht bloß eine "Pflicht"Übung zur internen (Projektpartner = formative Evaluation) und externen Rückmeldung (EU Kommission = summative Evaluation). (Siehe auch: Unterschiede zwischen formative und sunmativer Evaluierung)
Eine besondere Schwierigkeit in diesem Projekt ist es, dass die Erwartungen an die Evaluierung extrem hoch sind und sich während des Projektlauf auch ständig sich weiter erhöhnen. Wir mussten diesmal ernsthaft eine Bremse ziehen, sonst wäre unser Arbeitspaket sowohl den Zeit- als auch Kostenrahmen völlig gesprengt.
Insgesamt gesehen ist das Projekt hoch interessant. Derzeit hat niemand genaue Zahlen zur Hand welche Vorteile "social tagging" hat, wieviel TailnehmerInnen und Tags für eine ordentlich arbeitende Folksonomy notwendig sind etc.