Learning-Management-Systeme im Blickfeld

Möglichkeiten der Evaluation zwischen Numerischer und Qualitativer Summierung und Gewichtung

Ein bekanntes Gefühl: Man steht im Kaufhaus und hat zwei ähnliche Produkte zur Auswahl, beide übertreffen sich in ihrer vorteilhaften Beschreibung - was nur bedingt zu einer schnellen Entscheidung beiträgt. Gerade in der Welt der Learning-Management-Systeme (LMS) ist es schwierig, dasjenige auszuwählen, welches für eine Universität oder für ein Unternehmen am besten geeignet ist. Um diese Entscheidung zu erleichtern, gibt es Werkzeuge und Methoden, die es dem Verbraucher ermöglichen, die Vor- und Nachteile eines LMS selbst zu bewerten. Die Numerische Gewichtung und Summierung (NGS) bewertet das LMS anhand von Leistungspunkten und führt zu einem schnellen Ergebnis. Dagegen gibt die Qualitative Gewichtung und Summierung (QGS) einen qualitativen Vergleich von LMS.

Was ist eigentlich Qualität?

Beim Kauf eines Geldbeutels oder einer Handtasche ist es einfach: Man blickt auf Material und Nähte des Stücks und vermag dabei recht schnell darüber zu urteilen, ob und wie lange einem das Produkt Freude bereiten wird. Ein Blick auf den Preis hilft zusätzlich bei der Entscheidung, ob der Kauf gerechtfertigt ist. Doch wie verhält es sich bei Produkten, deren Qualität nicht so augenscheinlich festzustellen ist? Produkte, bei denen nicht nach der Kosten-Nutzen-Gegenüberstellung verfahren werden kann, da ihr Nutzen kaum bis gar nicht zu messen ist?

Eine Universität, die sich mit einem Learning Management System (LMS) ausrüsten will, steht vor der Frage, wie sie die vorteilhafteste Open-Source-Software für sich aussucht. Meist entsteht aus Erfahrung eine zuverlässige Bewertung. Wirtschaftlich ist diese Methode allerdings nicht gerade. Für die Universität ist es viel zu aufwändig, das LMS ein Jahr lang zu testen, um danach feststellen zu müssen, dass es den Ansprüchen nicht genügt. Die Verwirrung seitens Studenten und Dozenten ist dann groß, die Motivation, ein anderes System auszuprobieren, gleich null.

Das Zauberwort, mit dem diesem Dilemma vorgebeugt werden soll, heißt Evaluation, wörtlich übersetzt „Bewertung“. In Bereichen, deren Nutzen nicht mit ökonomischer Effizienz gemessen werden kann, wie z.B. Bildung und Erziehung, legt man den Fokus auf die Prozesse zwischen In- und Output. Um valide Ergebnisse zu erzielen, wurde das Augenmerk im Laufe der Zeit auf die Methoden und Instrumente gelegt. Solche Methoden können eine Dokumentanalyse, eine Befragung, eine Beobachtung, ein Test oder eine empirische Untersuchung sein. Eine profunde Evaluation hilft nicht nur herauszufinden, welche Vorteile welches LMS bieten, sondern trägt auch zur Qualitätssicherung und –kontrolle bei und regt außerdem dazu an, die Qualität weiter zu entwickeln.

Wie bewerte ich ein Produkt?

Kommen wir zurück zu unserem anfänglichen Problem: eine Universität hat sich entschieden, ein LMS einzuführen. Nun stellt sich die Frage, welches LMS am ehesten für die spezifischen Bedürfnisse geeignet ist. Dabei gilt es, die Qualität der Funktionen der in Frage kommenden LMS zu bewerten. Ein Kriterienkatalog, der einer Prüf- oder Checkliste ähnelt, verspricht Abhilfe: Alle Produkte werden dabei an der gleichen Skala, also an den gleichen Kriterien, gemessen und damit vergleichbar gemacht. Auf diesem Weg kann ein aufwändiger Feldtest umgangen und das Produkt unabhängig vom Einsatzgebiet getestet werden. Lediglich eine fachkundige Person, eine Kopie des Programms oder wahlweise ein Test-Account in dem System sowie die dazu passende Hardware sind nötig, um die Bewertung durchzuführen. Die Daten lassen sich damit rasch und kostengünstig auswerten. Da jedes Produkt die gleiche schrittweise Abarbeitung der Kriterienliste durchmacht, werden die betrachteten LMS objektiv bewertet und die Ergebnisse miteinander vergleichbar.

Problematisch an diesem Verfahren ist allerdings, dass nie jeder Punkt, der bei der Untersuchung wichtig sein könnte, berücksichtigt werden kann. Ansonsten würde die Kriterienliste unendlich lang, die Bewertung liefe Gefahr, unübersichtlich zu werden. Der Vorwurf der Unvollständigkeit ist so nicht von der Hand zu weisen. Bei diesem Problem ist zu berücksichtigen, dass durch die Ausreifung der Methoden eine regelrechte Flut an Daten entsteht. Um diese einzudämmen, muss man sich auf die Interessen der Beteiligten konzentrieren.

Ebenfalls umstritten sind der Detaillierungsgrad und die Gewichtung der einzelnen Kriterien der Checkliste. Denn je nachdem wie die Kriterien gegliedert und gewichtet werden, sind sie später ausschlaggebend für die Wahl des LMS. Trotz aller Einwände erfreuen sich Kriterienkataloge derzeit großer Beliebtheit und werden generell bei jeder Produktuntersuchung verwendet.

Eine Möglichkeit der Produktevaluation – Die Numerische Gewichtung und Summierung

Ein zur Zeit dominantes Modell für komplexe Produkt-Evaluationen ist die Numerische Gewichtung und Summierung, auch NGS-Verfahren genannt. Es findet bei fast allen Bewertungen von Lernsoftware Anwendung. Dabei kann es beschreibend sowie bewertend eingesetzt werden.

Theoretisch bedeutet das…
Die Vorgehensweise beim NGS-Modell ist relativ einfach. Zunächst wird die Checkliste mit allen Kriterien, die für die anstehende Untersuchung wichtig erscheinen und die bei jedem einzelnen Produkt bewertet werden sollen, aufgestellt. Dann muss jedes Kriterium, das in die Liste aufgenommen wurde anhand einer Skala (zum Beispiel 1 bis 3, 1 bis 5, 1 bis 7, 1 bis 10) je nach Wichtigkeit bewertet werden. Dabei gilt: Je niedriger die Zahl, desto unwichtiger das Kriterium. Danach wird jedes Produkt einzeln untersucht. Man hat also die ausgearbeitete Liste vor sich und bewertet nun die Kriterien bei jedem Produkt mit der schon vorher verwendeten Skala. Anschließend geht es ans Rechnen. Erst werden die Leistungspunkte, die man dem Produkt gegeben hat mit den Punkten, die man bei der vorhergegangenen Gewichtung jeweils den Kriterien auf der Checkliste zugeordnet hat, multipliziert. Das Ergebnis aus diesen Multiplikationen wird dann bei jedem Produkt addiert. Am Ende steht als Ergebnis eine Zahl, die den Rang des Produktes bestimmt. Dabei führt das Produkt mit der größten Zahl an die Rangliste an.

Praktisch ganz einfach:
Was in der Theorie kompliziert erscheint, ist in der Praxis recht einfach umzusetzen. Im Folgenden wird das NGS-Verfahren beispielhaft durchgespielt.

1. Wir stellen eine Checkliste mit allen Kriterien auf, die bei der Bewertung von LMS wichtig erscheinen:

a) Handhabung
b) Kommunikation
c) Design
d) ...
e) ...

2. Mit der festgelegten Skala – hier von 1 bis 5 – bewerten wir die Wichtigkeit eines jeden Kriteriums. Je wichtiger das Kriterium, desto höher die vergebene Punktzahl:

a) 5 Punkte
b) 4 Punkte
c) 2 Punkte
d) 4 Punkte
e) 3 Punkte

3. Nun kommt das zu bewertende Produkt ins Spiel. Nennen wir es „XYZ“. Für XYZ wird nun jedes Kriterium der Liste aus dem ersten Schritt ebenfalls mit der Skala von 1 bis 5 bewertet:

• Wir stellen fest, dass die Handhabung relativ einfach und gut zu verstehen ist, einige eher unwichtige Buttons allerdings nicht auf Anhieb zu finden sind.
  • 4 Punkte
• Wir stellen fest, dass es durch News, Foren und Emailgruppen sehr gute Kommunikationsmöglichkeiten zwischen Lehrenden und Lernenden gibt.
  • 5 Punkte
• Wir stellen fest, dass das Design sehr unterschiedlich aufgenommen wird und nicht jedem gefällt. Es ist jedoch einheitlich und unterstützt die Handhabung sehr gut.
  • 4 Punkte
• Um die Liste zu vervollständigen, werden Kriterien d) und e) nun beispielhaft ohne weitere Ausführung mit 3 und 2 Punkten bewertet.

4. Jetzt geht es ans Rechnen. Als Erstes werden die Punkte des Kriteriums a) „Handhabung“ mit der Gewichtung bei dem Produkt XYZ multipliziert:

a) 5 Punkte x 4 Punkte = 20 Punkte
b) 4 Punkte x 5 Punkte = 20 Punkte
c) 2 Punkte x 4 Punkte = 8 Punkte
d) 4 Punkte x 3 Punkte = 12 Punkte
e) 3 Punkte x 2 Punkte = 6 Punkte

5. Um nun ein eindeutiges Ergebnis bei dem Beispielprodukt XYZ zu erzielen, müssen alle im vorherigen Schritt errechneten Punkte summiert werden:

a) Ergebnis: 20 Punkte
+ b) Ergebnis: 20 Punkte
+ c) Ergebnis: 8 Punkte
+ d) Ergebnis: 12 Punkte
+ e) Ergebnis: 6 Punkte
= 66 Punkte

6. Bei diesem Schritt ergibt sich nun letztendlich das Endergebnis der gesamten Untersuchung. Das Produkt XYZ, das in der Bewertung 66 Punkte erreicht hat, wird im Vergleich zu den anderen Produkten in eine Rangliste eingeordnet:
Ranking:

1. Platz: 70 Punkte
2. Platz: 66 Punkte: Produkt XYZ
3. Platz: 36 Punkte

Die Numerische Gewichtung und Summierung in der Kritik

Nach dieser Rechnung ergeben sich mehrere Vorteile, die für das NGS-Verfahren sprechen. Pluspunkte sind die leichte Verständlichkeit und die einfache Durchführung. Außerdem sind Produktvergleiche immer aufschlussreich. Die Methode ist daher für eine weiterführende Evaluation durchaus empfehlenswert.
Kritisch zu bewerten ist aber, dass das Verfahren keine fundierten Untersuchungsergebnisse liefert. Folglich kann diese Methode nie alleine verwendet werden.

K.O.-Kriterien – Unwichtiges fällt unter den Tisch
Negativ zu sehen ist das Minimum-Problem: einige Kriterien sind nur dann sinnvoll, wenn sie ein bestimmtes Mindestmaß überschritten haben.
Lösung: Um das Problem zu umgehen, ist eine Erweiterung des NGS-Modells möglich. Dabei wird jedes der Minima-Kriterien zuerst überprüft, bevor es in die weitere Analyse mit einfließt. Die Kriterien, die ein bestimmtes Mindestmaß bei der Überprüfung nicht überschreiten, scheiden aus. Dies sind die so genannten K.O.-Kriterien.

Isolierte Kriterien – gemeinsam sind sie sinnvoll
Einige Kriterien der Produkte können nur sinnvoll bewertet werden, wenn sie zueinander in Beziehung gestellt werden. Vernachlässigt man dies, verlieren die Kriterien an Bedeutung oder sogar ihren Sinn in der Untersuchung.
Lösung: Durch Neubestimmung der Kriterien kann man ihnen wieder eine Bedeutung zukommen lassen. Dieses Verfahren ist jedoch sehr schwierig und die Lösung kann am Ende nicht verallgemeinert werden, was den Aufwand in Frage stellt.

Lineare Skala – Vielschichtigkeit bedeutend
Die NGS-Methode nimmt eine lineare Skala der Nützlichkeit an d.h., sie vergibt Punkte und summiert diese. Das ist aber eine falsche Annahme. Verschiedene Komponenten der Produkte können nicht über eine einzige Skala bewertet werden, da so das Ergebnis verfälscht wird.
Lösung: Eine Verbesserung durch Ausscheidungsverfahren wie bei den Minimum-Kriterien ist möglich, jedoch ist die Grundannahme der Linearität nicht veränderbar.

Spurlose Gewichtung – sie hinterlassen keine Zeichen
Man spricht von einer spurlosen Gewichtung, da die Gewichtung, die bei dem NGS-Verfahren angewandt wird, keine Spuren hinterlässt. Bemängelt wird hier, dass das Ergebnis pro Evaluand nur aus einer einzigen Zahl besteht. Nachträgliche Fehlerkorrekturen am Ende der Untersuchung sind nicht mehr möglich.

Detaillierungsgrad – Wichtiges von Unwichtigem unterscheiden
Das Hauptproblem des NGS-Modells ist jedoch der Detaillierungsgrad. Es stellt sich die Frage, welches die relevanten Kriterien sind und wie detailliert sie aufgenommen werden sollen. Heikel ist die Tatsache, dass die Anzahl der Kriterien nicht absehbar ist – von zehn bis 100 Kriterien ist alles möglich. Dabei kann es passieren, dass wichtige Kriterien von einer Vielzahl weniger wichtiger Merkmale in den Hintergrund gedrängt werden und diese eine zu starke Wirkung auf das Gesamtbild haben.
Lösung: Es kann eine fixe Punkteanzahl festgelegt werden, die nicht überschritten werden darf. Allerdings wird dadurch das Problem nur reduziert, nicht aber gelöst.

Eine weitere Möglichkeit der Produktevaluation – Die Qualitative Gewichtung und Summierung

Das NGS-Verfahren ergibt eine Liste von Kritikpunkten, die es zu verbessern gilt. Ein weiteres Verfahren der Evaluation, die Qualitative Gewichtung und Summierung (QGS) umgeht diese Probleme.Vor allem die mangelnde Vielschichtigkeit, die spurlose Gewichtung und der ungenaue Detaillierungsgrad werden durch das QGS-Verfahren beseitigt.
Der entscheidende Unterschied zur numerischen Gewichtung liegt in der Einführung von nicht ziffernartigen Symbolen zur Gewichtung und Bewertung von einzelnen Kriterien. Folgende fünf Gewichtungen haben sich in der Forschung bewährt:

Essentiell (E)
Äußerst Wichtig (*)
Sehr Wichtig (#)
Wichtig (+)
Weniger Wichtig (l)
Nicht Wichtig (0)

Dies macht Rechenoperationen zwischen den einzelnen Gewichten unmöglich und erhöht damit die Genauigkeit des Ergebnisses. Unwichtiges und Wichtiges kann nun nicht mehr einfach verrechnet werden. Das Verfahren ist jedoch recht komplex und auch nicht ohne Probleme anwendbar.

QGS in der Praxis – Ein Beispiel
In einer Evaluation sollen verschiedene LMS-Systeme verglichen werden. Das Forscherteam hat sich für die Qualitative Gewichtung und Summierung entschieden. Im ersten Schritt wurde ein vorläufiger Kriterienkatalog erstellt, der einer Expertengruppe vorgelegt wird. Diese gewichten die einzelnen Kriterien mit E, *, #, +, | und 0 und geben sie an das Evaluationsteam zurück. Die können nun die mit 0 bewerteten Kriterien streichen, da sie als nicht wichtig eingestuft wurden. Somit wird der weitere Analyseaufwand von vornherein verringert. Der Kriterienkatalog ist nun fertig und steht zur Anwendung bereit.

Kriterium 1 (#) Kriterium 4 (E) Kriterium 7 (*)
Kriterium 2 (+) Kriterium 5 (*) Kriterium 8 (#)
Kriterium 3 (l) Kriterium 6: 0

Der erste Schritt der eigentlichen Evaluation besteht nun darin, die mit E gewichteten Kriterien zu überprüfen. Sie stellen K.O.-Kriterien dar, die erfüllt sein müssen, da das Produkt ohne sie sofort aus dem Evaluationsprozess ausscheiden würde. Diese Kriterien müssen „Alles-Oder-Nichts-Attribute“ sein, also mit ja oder nein beantwortet werden können (z.B. Open Source – ja/nein?). Somit verringert sich der Analyseaufwand der Evaluation nochmals, da von vornherein nicht alle Evaluanden untersucht werden müssen.

Sind die Mindestanforderungen erfüllt, können die anderen Kriterien (von * bis |) bewertet werden. Wichtig dabei ist: Die maximal mögliche Bewertung ist immer die Gewichtung des gerade untersuchten Kriteriums. Wurde ein Kriterium mit + gewichtet, ist nur eine Bewertung mit + und | möglich. An diesem Punkt stellt sich die qualitative Dimension des QGS-Verfahrens heraus: Unwichtige Kriterien haben geringeren Einfluss auf das Ergebnis als wichtige.

Kriterium 1 (#): # Kriterium 5 (*): +
Kriterium 2 (+): + Kriterium 7 (*): *
Kriterium 3:(l): l Kriterium 8 (#): +

Im nächsten Schritt werden die einzelnen Symbole miteinander verrechnet, als Summe entsteht ein kryptischer Zeichensalat: 1* 1# 3+ 3l. Sind alle Evaluanden untersucht kann durch die Festlegung einer Mindestanzahl von * oder # nun eine engere Auswahl zusammengefasst werden (z.B. Top 10). So entsteht ein grober Überblick über die besten Testobjekte.
In einem weiteren Schritt werden nun die Kriterien ausgeschlossen, die von allen Evaluanden gleichermaßen gut (oder schlecht) erfüllt wurden. Dadurch wird das Ergebnis nochmals verfeinert und es sollte möglich sein, eine Rangliste zu erstellen.

1. Platz: 1* 1# 3+ 3|
2. Platz: 1* 1# 2+ 4|
3. Platz: 0* 1# 3+ 4|

Die Qualitative Gewichtung und Summierung in der Kritik

Leider sind im QGS-Verfahren nicht immer alle Ranglisten so eindeutig wie im Beispiel. Das Verfahren besitzt leider keinen definitiven Entscheidungsalgorithmus. So wird die Unterscheidung zwischen dem Produkt A mit 4* 4# 2+ 2l und Produkt B mit 4* 5# 2+ 1l nicht mehr so eindeutig sein. Hier kann es hilfreich sein, die Gewichtung der Kriterien nochmals durchzuführen. Diesmal können die bereits gesammelten Erfahrungen der Evaluation mit einfließen. Ermöglicht wird dieses Vorgehen dadurch, dass bei jedem Schritt des QGS-Verfahrens Spuren hinterlassen werden. Es ist immer nachvollziehbar, aus welchen Faktoren sich *, #, + oder l ableiten. Die Evaluation kann also in einem iteraktiven Prozess immer weiter verfeinert werden.

Fazit – NGS oder QGS?

Welches der beiden Verfahren nun für eine Produktevaluation gewählt wird, liegt in der Entscheidung des Betrachters. Auch wenn nicht immer eindeutige Ergebnisse entstehen, ermöglicht das QGS den qualitativen Vergleich von Evaluanden, den das NGS-Verfahren nicht bieten kann. Es liefert vielschichtige Informationen, ermöglicht nachvollziehbare Ergebnisse und vermag es, Details der Evaluation preiszugeben. Ein Vorteil des QGS ist die begrenzte Menge an Daten. Die Datenflut ist von vornherein durch die so genannten „K.O.-Kriterien“ eingedämmt, was sehr zur Übersichtlichkeit der Evaluation beiträgt.

Dagegen bietet das Numerische Verfahren stets einen aufschlussreichen Überblick über die Vor- und Nachteile eines LMS. So dient es stets als Grundlage für weitere Evaluationen. Auch ist die Anwendung einfach und verspricht dadurch rasche Ergebnisse.
Eine Kombination der beiden Methoden wäre bei der Wahl eines LMS die wahrscheinlich beste Lösung.

Literatur

Bewerten