Donnerstag, 19. Januar 2017

Erweiterungen bei MC-Fragen

Die Schwierigkeit, eine Antwort auf eine Frage zu bewerten, steigt mit der Komplexität der Antwort. Auf der einen Seite gibt es one-choice-Fragen, bei denen aus den vorgegebenen Antworten die eine richtige ausgewählt werden muss - mit trivialer Auswertung: Wurde die richtige Antwort gegeben, dann gibt es den Punkt, ansonsten nicht. Auf der anderen Seite gibt es Freitext-Fragen, bei denen ein längerer Antwort-Text nuanciert bewertet werden muss - was für Computerprogramme nur mit großem Aufwand und auch nicht immer ausreichend möglich ist.

Irgendwo dazwischen liegen die multiple-choice-Fragen, so wie sie in CaseTrain verstanden werden: Mehrere Antworten stehen zur Auswahl und beliebig viele davon sind (ggf. verschieden) richtig und müssen ausgewählt werden. Wenn nun nur ein Teil der richtigen Antworten aber auch ein Teil der falschen Antworten ausgewählt wird, dann sind viele verschiedene Auswertungen denkbar: Punkte nur bei völliger Übereinstimmung, Teilpunkte für richtige Antworten und Abzüge für falsche, usw.
CaseTrain bietet zunächst zur Auswertung von MC-Fragen sehr umfangreiche Möglichkeiten, wie festgelegt werden kann, welche Antwort wie richtig und wie falsch ist (s. Dokumentation) - und für alle damit dann doch nicht umsetzbaren Auswertungen noch weitere spezielle Auswertungsschemata. Um diese Frageauswertung für Lehrende und vor allem für Lernende möglichst einfach und transparent zu halten wurde frühzeitig festgelegt, dass alle MC-Fragen eines Falles (also einer Trainingseinheit oder einer Prüfung) mit dem gleichen Schema ausgewertet werden. Andernfalls müsste bei jeder Frage erklärt werden, worauf bei der Beantwortung geachtet werden sollte, z.B. ob es schlimmer ist, eine richtige Antwort zuwenig auszuwählen, als eine falsche Antwort zuviel auszuwählen usw.

Inzwischen gibt es aber einige Anwendungsfälle, bei denen es schön wäre, verschiedene Arten der Auswertung in einem Fall zu ermöglichen, z.B. wenn eine Prüfung aus verschiedenen Teilprüfungen verschiedener Fächer besteht, bei denen traditionell unterschiedliche Auswertungsschemata zum Einsatz kommen. Oder wenn ein Fall aus mehreren Blöcken mit verschiedenen Arten von MC-Fragen besteht, z.B. weil die Antworten bei Fragen des einen Blocks nicht unabhängig voneinander sind und deshalb mit AON oder AHN ausgewertet werden können, und Antworten bei Fragen eines anderen Frageblocks voneinander unabhängig sind und deswegen mit MOCR ausgewertet werden.

Dementsprechend wurde nun die Möglichkeit geschaffen, bei jeder MC-Frage das Auswertungsschema individuell festzulegen. Damit sind nun abwechslungsreichere Auswahl-Fragen möglich.

mutiple true-false / kprim


Durch die Art, wie in CaseTrain die Eingabe bei MC-Fragen erfolgt - nämlich durch ganz normale HTML Checkboxen bzw. bei Papierprüfungen durch Kästchen zum Ankreuzen - gibt es ein kleines Problem bei Auswertungsschemata, bei denen auch das Nicht-Auswählen von falschen Antworten belohnt wird: Wird die Frage gar nicht wirklich beantwortet, dann sind keine Antworten ausgewählt. Folglich sind dann auch die falschen Antworten nicht ausgewählt, gelten also als richtig behandelt und dadurch gibt es schon Teilpunkte. Bei Anwendung des Schema MOC könnte man bei einer Prüfung, die nur aus solchen Fragen besteht und etwa gleich viele richtige und falsche Antworten enthält, bei Nicht-Beantworten aller Fragen also trotzdem die Note 4 erhalten. Dem kann begegnet werden, indem die Rate-Wahrscheinlichkeit bei jeder Frage herausgerechnet wird, was vor allem bei der Einsichtnahme von Prüfungen die Prüflinge verwirren kann.

Einfacher geht dies mit sogenannten multiple true-false items (MTF), bei denen bei der Beantwortung erzwungen wird, dass jede Antwort als richtig oder falsch bewertet werden muss - eine nicht bewertete Antwort gilt immer als Fehler. In der deutschsprachigen Test-Community hat sich daran angelehnt der Fragetyp kprim etabliert, bei dem immer 4 Antworten bewertet werden müssen und die Frage nur bei vollständiger Übereinstimmung als richtig beantwortet gewertet wird. CaseTrain bietet mehr Möglichkeiten: Es können beliebig viele Antworten vorgegeben werden und es können auch beliebige Auswertungsschema eingesetzt werden - gibt man 4 Antworten vor und wählt das Auswertungsschema AON hat man eine "klassische" kprim-Frage. Eigentlich ist die Darstellung als multiple true-false Fragen aber eine logische Ergänzung der Auswertungschemata MOC, MOCP und MOCR, bei denen eine Frage mit n Antworten behandelt wird, als wären es n Einzelfragen, bei denen jeweils eine der Antworten unabhängig von den anderen mit richtig oder falsch bewertet wird - bisher wurde "falsch" eben durch Nicht-Ankreuzen kommuniziert.

CaseTrain wurde jetzt um den Fragetyp MCkprim* erweitert, die Darstellung im Player wurde entsprechend erweitert und sieht nun (etwas unspektakulär) so aus:

Darstellung MC-Fragen. Links: herkömmlich, rechts: multiple true-false.
Bei der ersten Auswahl einer Antwort wird statt einem Kreuz ein grün hinterlegtes Häkchen gesetzt, bei nochmaliger Auswahl ein rot hinterlegtes Kreuz, bei nochmaliger Auswahl wird die Markierung gelöscht. Im Beispiel kann sich bei der letzten Antwort "Kalium" ein Unterschied bei der Bewertung ergeben: Ist die Antwort falsch, dann gibt es für die Beantwortung links (Teil-)Punkte, rechts gibt es keine Punkte. Ist sie richtig, dann wird in beiden Versionen gleich bewertet: Links gilt die Antwort als fälschlicherweise nicht gewählt, rechts als falsch (da nicht bewertet).

Ein möglicher Nachteil der neuen Darstellung kommt zum Vorschein, wenn viele Antworten zur Auswahl stehen, von denen nur wenige richtig sind: Dann müssen trotzdem alle falschen Antworten  - insbesondere auch die offensichtlich falschen - doppelt ausgewählt werden, um sie als falsch zu markieren - was für die Lernenden schnell lästig werden kann. Aus diesem Grund ist auch die kprim-Darstellung nicht bei long menu Fragen möglich.

Literatur: David A. Frisbie and Daryl C. Sweeney, The Relative Merits of Multiple True-False Achievement Tests, Journal of Educational Measurement, Vol. 19, No. 1 (Spring, 1982), pp. 29-35, https://www.jstor.org/stable/1434916

* Statt des eigentlich richtigeren Begriffs MTF wird aus Gründen der Verständlichkeit in CaseTrain (als Trainings- und Prüfungssystem einer deutschen Universität) der Begriff kprim verwendet.

Mittwoch, 18. Januar 2017

HTML5-Player (Update)

Der HTML5-Player ist seit Beginn des Wintersemesters 2016/17 im Produktivbetrieb und hat größtenteils den Flash-Player ersetzt - nur Fälle, die ein Feature benötigen, das gerade nur der Flash-Player unterstützt, werden mit diesem gestartet. Alle anderen werden im neuen HTML5-Player gestartet - der dafür schon einige Features hat, die der "alte" Player nicht hat. Damit gibt es nun das Problem zu entscheiden, welcher Player gestartet werden soll, wenn ein Fall Features fordert, von denen einige nur mit Flash und andere nur mit HTML5 erfüllt werden können :)


Leider bzw. eigentlich natürlich war der neue Player nicht fehlerfrei und so sind auch einige ernstere Fehler erst im Produktivbetrieb zutage getreten und haben teilweise zu hektischen Überstunden geführt. Schließlich musste sichergestellt werden, dass die Bearbeitungen der Lernenden zur späteren Wiederaufnahme bzw. zur Auswertung korrekt gespeichert wurden. Auch dass eine Fallbearbeitung bei Klick auf den Pause-Button nicht nur pausiert sondern endgültig beendet wurde, war für die Teilnehmer der ersten Übung im neuen Semester nicht besonders lustig ...


Die Browserunzulänglichkeiten, die mit dem Flash-Player als besiegt geglaubt waren, haben durch die Umstellung auf einen HTML5-basierten Player "im Browser" wieder ihr hässliches Haupt gereckt. Insbesondere bei der Implementierung von Textfragen zeigte sich, dass es da doch einige Unterschiede zwischen den Browsern gibt. Und Safari auf dem iPad hat auch so seine Sonderlocken, die extra glatt geföhnt werden müssen (es ist zwar Webkit, aber dann doch nicht), so z.B.


/* needed for safari @ ios */
label > * {
pointer-events: none;
}

oder

// safari @ ios needs this
window.getSelection().removeAllRanges();
$('<div/>', { contenteditable: true }).appendTo('body').focus().remove();

Naja.

Das wichtigste was momentan leider immer noch nicht klappt, sind die Videos. Diese müssen vom Videostreamingserver des RZ abgespielt werden, was leider insgesamt (übertragen, konvertieren, Links umbiegen, verschlüsselt in mehreren Formaten streamen, ...) komplexer war und ist als gedacht - aber es wird daran gearbeitet.

Alles in allem hat die Einführung aber gut geklappt, 100000 Fallstarts wurden schon mit dem neuen Player in diesem Semester durchgeführt (gegenüber 25000 mit dem alten) und die Zahl der Supportanfragen war nicht wesentlich höher als zu Beginn früherer Semester.


Und in 2 Wochen wird die erste echte elektronische Prüfung auf iPads durchgeführt - es bleibt also spannend.