Erweiterungen bei MC-Fragen

Die Schwierigkeit, eine Antwort auf eine Frage zu bewerten, steigt mit der Komplexität der Antwort. Auf der einen Seite gibt es one-choice-Fragen, bei denen aus den vorgegebenen Antworten die eine richtige ausgewählt werden muss - mit trivialer Auswertung: Wurde die richtige Antwort gegeben, dann gibt es den Punkt, ansonsten nicht. Auf der anderen Seite gibt es Freitext-Fragen, bei denen ein längerer Antwort-Text nuanciert bewertet werden muss - was für Computerprogramme nur mit großem Aufwand und auch nicht immer ausreichend möglich ist.

Irgendwo dazwischen liegen die multiple-choice-Fragen, so wie sie in CaseTrain verstanden werden: Mehrere Antworten stehen zur Auswahl und beliebig viele davon sind (ggf. verschieden) richtig und müssen ausgewählt werden. Wenn nun nur ein Teil der richtigen Antworten aber auch ein Teil der falschen Antworten ausgewählt wird, dann sind viele verschiedene Auswertungen denkbar: Punkte nur bei völliger Übereinstimmung, Teilpunkte für richtige Antworten und Abzüge für falsche, usw.

CaseTrain bietet zunächst zur Auswertung von MC-Fragen sehr umfangreiche Möglichkeiten, wie festgelegt werden kann, welche Antwort wie richtig und wie falsch ist (s. Dokumentation) - und für alle damit dann doch nicht umsetzbaren Auswertungen noch weitere spezielle Auswertungsschemata. Um diese Frageauswertung für Lehrende und vor allem für Lernende möglichst einfach und transparent zu halten wurde frühzeitig festgelegt, dass alle MC-Fragen eines Falles (also einer Trainingseinheit oder einer Prüfung) mit dem gleichen Schema ausgewertet werden. Andernfalls müsste bei jeder Frage erklärt werden, worauf bei der Beantwortung geachtet werden sollte, z.B. ob es schlimmer ist, eine richtige Antwort zuwenig auszuwählen, als eine falsche Antwort zuviel auszuwählen usw.

Inzwischen gibt es aber einige Anwendungsfälle, bei denen es schön wäre, verschiedene Arten der Auswertung in einem Fall zu ermöglichen, z.B. wenn eine Prüfung aus verschiedenen Teilprüfungen verschiedener Fächer besteht, bei denen traditionell unterschiedliche Auswertungsschemata zum Einsatz kommen. Oder wenn ein Fall aus mehreren Blöcken mit verschiedenen Arten von MC-Fragen besteht, z.B. weil die Antworten bei Fragen des einen Blocks nicht unabhängig voneinander sind und deshalb mit AON oder AHN ausgewertet werden können, und Antworten bei Fragen eines anderen Frageblocks voneinander unabhängig sind und deswegen mit MOCR ausgewertet werden.

Dementsprechend wurde nun die Möglichkeit geschaffen, bei jeder MC-Frage das Auswertungsschema individuell festzulegen. Damit sind nun abwechslungsreichere Auswahl-Fragen möglich.

mutiple true-false / kprim

Durch die Art, wie in CaseTrain die Eingabe bei MC-Fragen erfolgt - nämlich durch ganz normale HTML Checkboxen bzw. bei Papierprüfungen durch Kästchen zum Ankreuzen - gibt es ein kleines Problem bei Auswertungsschemata, bei denen auch das Nicht-Auswählen von falschen Antworten belohnt wird: Wird die Frage gar nicht wirklich beantwortet, dann sind keine Antworten ausgewählt. Folglich sind dann auch die falschen Antworten nicht ausgewählt, gelten also als richtig behandelt und dadurch gibt es schon Teilpunkte. Bei Anwendung des Schema MOC könnte man bei einer Prüfung, die nur aus solchen Fragen besteht und etwa gleich viele richtige und falsche Antworten enthält, bei Nicht-Beantworten aller Fragen also trotzdem die Note 4 erhalten. Dem kann begegnet werden, indem die Rate-Wahrscheinlichkeit bei jeder Frage herausgerechnet wird, was vor allem bei der Einsichtnahme von Prüfungen die Prüflinge verwirren kann.

Einfacher geht dies mit sogenannten multiple true-false items (MTF), bei denen bei der Beantwortung erzwungen wird, dass jede Antwort als richtig oder falsch bewertet werden muss - eine nicht bewertete Antwort gilt immer als Fehler. In der deutschsprachigen Test-Community hat sich daran angelehnt der Fragetyp kprim etabliert, bei dem immer 4 Antworten bewertet werden müssen und die Frage nur bei vollständiger Übereinstimmung als richtig beantwortet gewertet wird. CaseTrain bietet mehr Möglichkeiten: Es können beliebig viele Antworten vorgegeben werden und es können auch beliebige Auswertungsschema eingesetzt werden - gibt man 4 Antworten vor und wählt das Auswertungsschema AON hat man eine "klassische" kprim-Frage. Eigentlich ist die Darstellung als multiple true-false Fragen aber eine logische Ergänzung der Auswertungschemata MOC, MOCP und MOCR, bei denen eine Frage mit n Antworten behandelt wird, als wären es n Einzelfragen, bei denen jeweils eine der Antworten unabhängig von den anderen mit richtig oder falsch bewertet wird - bisher wurde "falsch" eben durch Nicht-Ankreuzen kommuniziert.

CaseTrain wurde jetzt um den Fragetyp MCkprim* erweitert, die Darstellung im Player wurde entsprechend erweitert und sieht nun (etwas unspektakulär) so aus:

Darstellung MC-Fragen. Links: herkömmlich, rechts: multiple true-false.

Bei der ersten Auswahl einer Antwort wird statt einem Kreuz ein grün hinterlegtes Häkchen gesetzt, bei nochmaliger Auswahl ein rot hinterlegtes Kreuz, bei nochmaliger Auswahl wird die Markierung gelöscht. Im Beispiel kann sich bei der letzten Antwort "Kalium" ein Unterschied bei der Bewertung ergeben: Ist die Antwort falsch, dann gibt es für die Beantwortung links (Teil-)Punkte, rechts gibt es keine Punkte. Ist sie richtig, dann wird in beiden Versionen gleich bewertet: Links gilt die Antwort als fälschlicherweise nicht gewählt, rechts als falsch (da nicht bewertet).

Ein möglicher Nachteil der neuen Darstellung kommt zum Vorschein, wenn viele Antworten zur Auswahl stehen, von denen nur wenige richtig sind: Dann müssen trotzdem alle falschen Antworten  - insbesondere auch die offensichtlich falschen - doppelt ausgewählt werden, um sie als falsch zu markieren - was für die Lernenden schnell lästig werden kann. Aus diesem Grund ist auch die kprim-Darstellung nicht bei long menu Fragen möglich.

Literatur: David A. Frisbie and Daryl C. Sweeney, The Relative Merits of Multiple True-False Achievement Tests, Journal of Educational Measurement, Vol. 19, No. 1 (Spring, 1982), pp. 29-35, https://www.jstor.org/stable/1434916

* Statt des eigentlich richtigeren Begriffs MTF wird aus Gründen der Verständlichkeit in CaseTrain (als Trainings- und Prüfungssystem einer deutschen Universität) der Begriff kprim verwendet.