Erweiterungen bei MC-Fragen

Die Schwierigkeit, eine Antwort auf eine Frage zu bewerten, steigt mit der Komplexität der Antwort. Auf der einen Seite gibt es one-choice-Fragen, bei denen aus den vorgegebenen Antworten die eine richtige ausgewählt werden muss - mit trivialer Auswertung: Wurde die richtige Antwort gegeben, dann gibt es den Punkt, ansonsten nicht. Auf der anderen Seite gibt es Freitext-Fragen, bei denen ein längerer Antwort-Text nuanciert bewertet werden muss - was für Computerprogramme nur mit großem Aufwand und auch nicht immer ausreichend möglich ist.

Irgendwo dazwischen liegen die multiple-choice-Fragen, so wie sie in CaseTrain verstanden werden: Mehrere Antworten stehen zur Auswahl und beliebig viele davon sind (ggf. verschieden) richtig und müssen ausgewählt werden. Wenn nun nur ein Teil der richtigen Antworten aber auch ein Teil der falschen Antworten ausgewählt wird, dann sind viele verschiedene Auswertungen denkbar: Punkte nur bei völliger Übereinstimmung, Teilpunkte für richtige Antworten und Abzüge für falsche, usw.

CaseTrain bietet zunächst zur Auswertung von MC-Fragen sehr umfangreiche Möglichkeiten, wie festgelegt werden kann, welche Antwort wie richtig und wie falsch ist (s. Dokumentation) - und für alle damit dann doch nicht umsetzbaren Auswertungen noch weitere spezielle Auswertungsschemata. Um diese Frageauswertung für Lehrende und vor allem für Lernende möglichst einfach und transparent zu halten wurde frühzeitig festgelegt, dass alle MC-Fragen eines Falles (also einer Trainingseinheit oder einer Prüfung) mit dem gleichen Schema ausgewertet werden. Andernfalls müsste bei jeder Frage erklärt werden, worauf bei der Beantwortung geachtet werden sollte, z.B. ob es schlimmer ist, eine richtige Antwort zuwenig auszuwählen, als eine falsche Antwort zuviel auszuwählen usw.

Inzwischen gibt es aber einige Anwendungsfälle, bei denen es schön wäre, verschiedene Arten der Auswertung in einem Fall zu ermöglichen, z.B. wenn eine Prüfung aus verschiedenen Teilprüfungen verschiedener Fächer besteht, bei denen traditionell unterschiedliche Auswertungsschemata zum Einsatz kommen. Oder wenn ein Fall aus mehreren Blöcken mit verschiedenen Arten von MC-Fragen besteht, z.B. weil die Antworten bei Fragen des einen Blocks nicht unabhängig voneinander sind und deshalb mit AON oder AHN ausgewertet werden können, und Antworten bei Fragen eines anderen Frageblocks voneinander unabhängig sind und deswegen mit MOCR ausgewertet werden.

Dementsprechend wurde nun die Möglichkeit geschaffen, bei jeder MC-Frage das Auswertungsschema individuell festzulegen. Damit sind nun abwechslungsreichere Auswahl-Fragen möglich.

mutiple true-false / kprim

Durch die Art, wie in CaseTrain die Eingabe bei MC-Fragen erfolgt - nämlich durch ganz normale HTML Checkboxen bzw. bei Papierprüfungen durch Kästchen zum Ankreuzen - gibt es ein kleines Problem bei Auswertungsschemata, bei denen auch das Nicht-Auswählen von falschen Antworten belohnt wird: Wird die Frage gar nicht wirklich beantwortet, dann sind keine Antworten ausgewählt. Folglich sind dann auch die falschen Antworten nicht ausgewählt, gelten also als richtig behandelt und dadurch gibt es schon Teilpunkte. Bei Anwendung des Schema MOC könnte man bei einer Prüfung, die nur aus solchen Fragen besteht und etwa gleich viele richtige und falsche Antworten enthält, bei Nicht-Beantworten aller Fragen also trotzdem die Note 4 erhalten. Dem kann begegnet werden, indem die Rate-Wahrscheinlichkeit bei jeder Frage herausgerechnet wird, was vor allem bei der Einsichtnahme von Prüfungen die Prüflinge verwirren kann.

Einfacher geht dies mit sogenannten multiple true-false items (MTF), bei denen bei der Beantwortung erzwungen wird, dass jede Antwort als richtig oder falsch bewertet werden muss - eine nicht bewertete Antwort gilt immer als Fehler. In der deutschsprachigen Test-Community hat sich daran angelehnt der Fragetyp kprim etabliert, bei dem immer 4 Antworten bewertet werden müssen und die Frage nur bei vollständiger Übereinstimmung als richtig beantwortet gewertet wird. CaseTrain bietet mehr Möglichkeiten: Es können beliebig viele Antworten vorgegeben werden und es können auch beliebige Auswertungsschema eingesetzt werden - gibt man 4 Antworten vor und wählt das Auswertungsschema AON hat man eine "klassische" kprim-Frage. Eigentlich ist die Darstellung als multiple true-false Fragen aber eine logische Ergänzung der Auswertungschemata MOC, MOCP und MOCR, bei denen eine Frage mit n Antworten behandelt wird, als wären es n Einzelfragen, bei denen jeweils eine der Antworten unabhängig von den anderen mit richtig oder falsch bewertet wird - bisher wurde "falsch" eben durch Nicht-Ankreuzen kommuniziert.

CaseTrain wurde jetzt um den Fragetyp MCkprim* erweitert, die Darstellung im Player wurde entsprechend erweitert und sieht nun (etwas unspektakulär) so aus:

Darstellung MC-Fragen. Links: herkömmlich, rechts: multiple true-false.

Bei der ersten Auswahl einer Antwort wird statt einem Kreuz ein grün hinterlegtes Häkchen gesetzt, bei nochmaliger Auswahl ein rot hinterlegtes Kreuz, bei nochmaliger Auswahl wird die Markierung gelöscht. Im Beispiel kann sich bei der letzten Antwort "Kalium" ein Unterschied bei der Bewertung ergeben: Ist die Antwort falsch, dann gibt es für die Beantwortung links (Teil-)Punkte, rechts gibt es keine Punkte. Ist sie richtig, dann wird in beiden Versionen gleich bewertet: Links gilt die Antwort als fälschlicherweise nicht gewählt, rechts als falsch (da nicht bewertet).

Ein möglicher Nachteil der neuen Darstellung kommt zum Vorschein, wenn viele Antworten zur Auswahl stehen, von denen nur wenige richtig sind: Dann müssen trotzdem alle falschen Antworten  - insbesondere auch die offensichtlich falschen - doppelt ausgewählt werden, um sie als falsch zu markieren - was für die Lernenden schnell lästig werden kann. Aus diesem Grund ist auch die kprim-Darstellung nicht bei long menu Fragen möglich.

Literatur: David A. Frisbie and Daryl C. Sweeney, The Relative Merits of Multiple True-False Achievement Tests, Journal of Educational Measurement, Vol. 19, No. 1 (Spring, 1982), pp. 29-35, https://www.jstor.org/stable/1434916

* Statt des eigentlich richtigeren Begriffs MTF wird aus Gründen der Verständlichkeit in CaseTrain (als Trainings- und Prüfungssystem einer deutschen Universität) der Begriff kprim verwendet.

HTML5-Player (Update)

Der HTML5-Player ist seit Beginn des Wintersemesters 2016/17 im Produktivbetrieb und hat größtenteils den Flash-Player ersetzt - nur Fälle, die ein Feature benötigen, das gerade nur der Flash-Player unterstützt, werden mit diesem gestartet. Alle anderen werden im neuen HTML5-Player gestartet - der dafür schon einige Features hat, die der "alte" Player nicht hat. Damit gibt es nun das Problem zu entscheiden, welcher Player gestartet werden soll, wenn ein Fall Features fordert, von denen einige nur mit Flash und andere nur mit HTML5 erfüllt werden können :)


Leider bzw. eigentlich natürlich war der neue Player nicht fehlerfrei und so sind auch einige ernstere Fehler erst im Produktivbetrieb zutage getreten und haben teilweise zu hektischen Überstunden geführt. Schließlich musste sichergestellt werden, dass die Bearbeitungen der Lernenden zur späteren Wiederaufnahme bzw. zur Auswertung korrekt gespeichert wurden. Auch dass eine Fallbearbeitung bei Klick auf den Pause-Button nicht nur pausiert sondern endgültig beendet wurde, war für die Teilnehmer der ersten Übung im neuen Semester nicht besonders lustig ...


Die Browserunzulänglichkeiten, die mit dem Flash-Player als besiegt geglaubt waren, haben durch die Umstellung auf einen HTML5-basierten Player "im Browser" wieder ihr hässliches Haupt gereckt. Insbesondere bei der Implementierung von Textfragen zeigte sich, dass es da doch einige Unterschiede zwischen den Browsern gibt. Und Safari auf dem iPad hat auch so seine Sonderlocken, die extra glatt geföhnt werden müssen (es ist zwar Webkit, aber dann doch nicht), so z.B.

/* needed for safari @ ios */

label > * {
pointer-events: none;
}

oder

// safari @ ios needs this

window.getSelection().removeAllRanges();
$('<div/>', { contenteditable: true }).appendTo('body').focus().remove();

Naja.

Das wichtigste was momentan leider immer noch nicht klappt, sind die Videos. Diese müssen vom Videostreamingserver des RZ abgespielt werden, was leider insgesamt (übertragen, konvertieren, Links umbiegen, verschlüsselt in mehreren Formaten streamen, ...) komplexer war und ist als gedacht - aber es wird daran gearbeitet.

Alles in allem hat die Einführung aber gut geklappt, 100000 Fallstarts wurden schon mit dem neuen Player in diesem Semester durchgeführt (gegenüber 25000 mit dem alten) und die Zahl der Supportanfragen war nicht wesentlich höher als zu Beginn früherer Semester.

Und in 2 Wochen wird die erste echte elektronische Prüfung auf iPads durchgeführt - es bleibt also spannend.

Bessere Lernstatistik

Bessere Lernstatistik

Die mit CaseTrain Lernenden können sich in vielen Kursen über einen (je nach Entscheidung der Dozierenden sichtbaren) Link zu CaseTrain ihre Lernstatistik anzeigen lassen, die bis heute ungefähr so aussah:



Enthält alle Informationen, aber ...

Endlich war mal Zeit verfügbar, um diese etwas aufzupeppen, so dass sie jetzt so aussieht:

Schon besser!

Zu jedem Fall wird nun angezeigt ob dieser erfolgreich oder erfolglos oder auch gar nicht bearbeitet wurde. Bei Fällen mit Bearbeitungen werden noch alle Bearbeitungen durch ein Symbol dargestellt und auf einen Klick

kann man erstens sehr viel mehr sehen und zweitens schaut es auch schöner aus :)


Ganz oben gibt es noch eine grafische Anzeige, wieviel man schon bearbeitet hat:


Fortschrittsbalken

Hier sieht man in der obersten Zeile alle Fälle und den jeweiligen Bearbeitungsstand und in der unteren Zeile eine prozentuale Anzeige.


Man kann jetzt auch genauer auswählen, welche Bearbeitungen angezeigt werden:



Auswahlmenü

Für alle, die in der heißen Zeit vor den Prüfungen nochmals alle Fälle durcharbeiten wollen, kann hier entsprechend gefiltert werden.


Ein besonderes Schmankerl ist noch der Bearbeitungskalender, bei dem man sehen kann an welchen Tagen im gewählten Zeitraum man wie viel getan hat:

Bearbeitungsverlauf

Wünsche und Anregungen: casetrain@uni-wuerzburg.de

HTML5-Player

HTML5-Player!

Endlich ist es soweit: Ein HTML5-basierter Player befindet sich im Beta-Test.
Mit diesem ist es nun auch für Studierende/Lernende mit Tablets oder Smartphones möglich, Fälle zu bearbeiten. Der HTML5-Player verfügt dafür über zwei verschiedene Darstellungen: Tablets und Desktop-Browser erhalten die vom Flash-Player gewohnte horizontale Darstellung, Smartphones eine neue vertikale.

horizontale Darstellung für Tablets und Desktop

vertikale Darstellung für Smartphones

Der HTML5-Player soll mittelfristig den Flash-basierten Player komplett ersetzen.
Sobald der Beta-Test zufriedenstellend beendet ist wird der HTML5-Player den Flash-Player soweit möglich sofort ersetzen. Da der HTML5-Player aber noch nicht die komplette Funktionalität des Flash-Players abdeckt, muss dieser noch in einigen Fällen und Einsatzszenarien verwendet werden und zwar bei

• Übungen und Prüfungen
• Fällen mit Graphikfragen, Graphikmarkierungsfragen, UML-Fragen, Datei-Fragen oder Mehrfach multiple choice Fragen
• Fällen mit anderer Bildschirmaufteilung
• Fällen mit Videos
• Fällen der Begabungspsychologischen Beratungsstelle

... stay tuned

Replacing a mySQL master with minimal downtime

Due to the transition of the CaseTrain project to the RZ I have to move the servers to a different subnet and because the currently used OS Windows Server 2008 R2 has entered extended support there was and is now some urge to set up completely new servers (with Windows Server 2012 R2).
The first step was to move the database slave to a new server. This was easy as the master db is/was 5.5 which can be easily replicated from a MySQL 5.6 installation, so I just used this guide. The next step was to replace the db master with a new one with minimal downtime. As CaseTrain is under heavy load during the lecture period (especially at the end of it when the tests are done) I waited until after Fasching when user access is traditionally very low. After much googling this is how I did it ...

---

Replacing a mySQL master with minimal downtime (on Windows)

I have a web server W, a database master M1 and a database slave S (W -- M1 ← S). I want to replace M1 with a new database master M2, so that I have W -- M2 ← S.

This will be performed in three steps:

Step 1: Duplicating replication slave (W -- M1 ← S and M1 ← M2)

Step 2: Daisy chaining (W -- M1 ← M2 ← S)

Step 3: Dropping old master (W -- M2 ← S)

The setup of M1 and S is as follows:

M1/my.ini

log-bin=M1-bin

binlog-do-db=myDB1

binlog-do-db=myDB2

server-id=M1

S/my.ini

datadir=D:/MySQL Datafiles/

# log-bin

report-host=S

relay-log=mysqld-relay-bin

replicate-do-db=myDB1

replicate-do-db=myDB2

server-id=S

For cloning the slave user in step 1 and replicating M1’s users on M2 I recomment HeidiSQL. Also I am aware of the problems of binlog-do-db and replicate-do-db, but as there are separate connection pools for the different databases it should be safe.

Step 1: Duplicate replication slave

This step can be performed with no downtime of M1/W.

1. Install MySQL on M2 (same version as on S) and stop it

M2 my.ini

datadir=D:/MySQL Datafiles/

log-bin = M2-bin

log-slave-updates

report-host=M2

relay-log=mysqld-relay-bin

replicate-do-db=myDB1

replicate-do-db=myDB2

binlog-do-db=myDB1

binlog-do-db=myDB2

server-id=M2

2. Set up replication for M2

Clone the replication user on M1 for S and edit the new user’s IP to the IP of M2 (don’t forget to flush privileges)

3. Prepare S for duplication

On S, do the following

> stop slave;

> flush tables;

and stop the service.

4. Copy S

Copy all contents of D:\MySQL Datafiles from S to M2. Typically there are now two sets of .err and -slow.log files - the ones from S should be deleted. Also delete auto.cnf on M2.

5. Start the service on S and M2 and check success

When issuing

> show slave status;

on M2 and S it should produce the same results and when issuing

> show master status;

on M2, it should show increase the position when called repeatedly.

So the replication on S is (still) working, the replication on M2 is working and M2 is also acting like a master, so S can be set as M2’s slave in the next step.

Step 2: Daisy chaining

Now we have to make sure that both slaves are on the same status, we can only achieve this if they are both synched with the master. The only way to do this is to lock M1 for a short time so no new data enters M1. As this may pause user actions, it may be more user friendly to put a maintenance note on W and briefly stop W now, but as it only takes seconds it could be done without stopping W.

M1 downtime starts here

On M1 issue:

> flush tables with read lock;

and keep this session open (otherwise the lock is released).

You have to wait until both slaves are in synch, so check with

> show slave status;

on S and M2 until both are showing Slave_IO_State = Waiting for master to send event. and the positions are not increasing anymore. Then issue

> stop slave;

on S and M2.

Now call

> show master status;

on M2 which is something like File = M2-bin.000003, Position = 1234567. This is the state on M2 that corresponds to the current state on S. These two dates will be used in a moment (so keep this display open) but now you already may resume M1 in the opened session with

> unlock tables;

so your application can run normally (if you stopped W then start it now).

M1 downtime ends here

The replication on M2 can now be started with

> start slave;

To make S replicating M2 first a slave user for S on M2 must be set up with

> grant replication slave on *.* to '[slave user]'@'[IP of S]' identified by '[slave password]';

> flush privileges;

Now S can be switched from it’s former master M1 to the new master M2:

> change master to master_host='[IP of M2]',master_user='[slave user]', master_password='[slave password]', master_log_file='M2-bin.000003', master_log_pos=1234567;

and the replication can be started

> start slave;

M1’s show master status should now correspond to M2’s show slave status and M2’s show master status with S’s show slave status. Now that S replicates M2 (and M2 still replicates M1) we can move to M2.

Step 3: Dropping old master

First, replicate M1’s users on M2. As there seems to be no easy way to replicate them without damaging the existing users on M2 you have to set them up one by one with all their permissions as they are on M1. Good time to check all those permissions ;-)

To keep the downtime as short as possible you may remove the lines

log-slave-updates

report-host=M2

relay-log=mysqld-relay-bin

replicate-do-db=myDB1

replicate-do-db=myDB2

from M2’s my.ini now without restarting M2.

Also you may prepare all your configuration for W so that all connections are made to M2 instead of M1 without deploying the configuration yet.

Before we switch again the the slave (M2) needs to be in sync with the master (M1).

W downtime starts here

In step 1 the W downtime was optional, typically you have to restart W because of the configuration changes anyway (e.g. to clean any connection pools), so you should stop W now.

On M1 issue:

> flush tables with read lock;

On M2 wait until in synch (with show slave status), then stop M1 (for the last time). On M2 enter

> stop slave;

mySQL < 5.5: > change master to master_host=''; reset slave;

mySQL 5.5+ : > reset slave all;

and restart the service on M2.

Then reconfigure W so that it uses M2 or deploy the prepared configuration and start W.

W downtime ends here

Et voila - M1 may now be deleted.

---

Next step: Moving the web server from Windows Server 2008 R2, httpd 2.2, Tomcat 7, Java 7 to Windows Server 2012 R2, httpd 2.4, Tomcat 8, Java 8.

Neue Frage-Typen und -Optionen und mehr ...

Gerade wurden einige Fragetypen oder Frageoptionen fertiggestellt, die schon einige Zeit in der Pipeline waren, bei denen aber die Eingabe in Word noch gefehlt hat, andere Features sind jetzt aber auch ganz neu dazugekommen. Hier also die Neuerungen - wenn sie noch nicht ganz fertig sind, dann ist dies jeweils angegeben:

Graphikeingabefragen

Die einzigen bisher wirklich "offenen" Fragen waren Textfragen, bei denen die Lerner Text schreiben und diesen anschließend mit der Musterlösung vergleichen konnten und sich dann selber bewerten mussten. Manchmal sagt ein Bild aber mehr als 1000 Worte und deshalb gibt es nun auch Fragen vom Typ Graphikeingabe, bei denen der Lerner eine Zeichnung anfertigen muss. Wie bei Textfragen auch kann er diese anschließend mit der Musterlösung vergleichen und muss sich selbst bewerten.
[Doumentation].

Graphikmarkierungsfragen

In der Medizin geht es häufig darum, Bilder auszuwerten (z.B. Röntgenbilder). Dabei müssen relevante Bereiche erkannt und klassifiziert werden. Um diese Fertigkeit zu üben gibt es nun auch Graphikmarkierungsfragen, bei denen auf einem Bild Regionen markiert (und beschriftet) werden müssen. Im Gegensatz zu Graphikeingabefragen können solche Fragen auch automatisch ausgewertet werden - allerdings ist die Erklärung der Bewertung reichlich lang und komplex:

Da aber zur Zeit alle Erklärungen mit dem Ziel der Vereinheitlichung und Vereinfachung überarbeitet werden, ist zu hoffen, dass dies noch verständlicher wird. Andererseits ist das auch einfach ein komplexer Fragetyp ...
[Dokumentation]

Zeitbegrenzung bei Fragen

In realen oder Prüfungssituationen hat man oft nicht unbegrenzt Zeit, sich eine Antwort zu überlegen: In einer mündlichen Prüfung sollte man einen Antwortsatz in wenigen Sekunden zusammenhaben, ein Arzt in der Notfallambulanz muss manchmal praktisch sofort entscheiden, wie er weiter vorzugehen hat. Um diesen Aspekt abbilden zu können, kann nun bei Fragen mitangegeben werden, nach wie viel Sekunden man eine Frage beantwortet haben sollte und ab wieviel Sekunden man darauf keine Punkte mehr bekommt. Dem Lerner wird bei Erreichen der Frage zunächst der Fragetext und die Antworten verborgen und nur mitgeteilt, wieviel Zeit er zur Beantwortung der Frage hat und erst wenn er "Und los!" anklickt, beginnt die Zeit.

Textfragen-Korrektur-Richtlinien

Bisher konnten sich Nutzer bei der Selbstbewertung bei Textfragen nur ein Ergebnis eintragen. Wenn ein Dozent einen Text existiert typischerweise ein Korrekturschema, bei dem Einzelaspekte bewertet werden und daraus dann eine Gesamtbewertung errechnet wird. Um dies nachzubilden können die Autoren solche Korrektur-Richtlinien für Textfragen eingeben.
Diese sollen zukünftig an allen relevanten Stellen zur Korrektur angezeigt werden. Dies ist zwar noch nicht umgesetzt - nichtsdestotrotz macht es jetzt schon Sinn, sich als Autor bei Textfragen entsprechende Richtlinien zu überlegen und diese einzugeben.
[Dokumentation]

Ergebnisabhängige Texte am Fall-Ende

Für manche Einsatzzwecke ist die Ergebniszusammenfassung am Fallende zu harsch - bei einem schlechten Ergebnis erscheint ein dickes 0% vorgetragen mit verschränkten Armen und einem sehr missbilligenden Gesichtsausdruck. Manchmal möchte man als Autor vielleicht stattdessen Motivierendes mitteilen anstatt einen empfindlichen Lerner zu verschrecken. Deshalb gibt es jetzt die Möglichkeit, Ergebnistexte zu definieren, die stattdessen am Ende angezeigt werden.
[Dokumentation, Stichwort "Ergebnistext"]
Dieses Feature befindet sich Player-seitig noch im Betatest, kann aber schon von Autoren getestet werden und wird demnächst freigegeben.

dedizierter Pause-Knopf

Es existieren nicht nur "kurze" CaseTrain-Fälle (innerhalb von 15 Minuten bearbeitbar) sondern auch solche, für deren Verarbeitung auch eine Stunde oder mehr nötig ist. Damit die Lerner ihre Bearbeitung unterbrechen können, existiert schon länger die Möglichkeit den Fall zu pausieren. Der dazu vorgesehene Button wurde aber nicht von allen Lernern gefunden. Deshalb gibt es jetzt einen immer deutlich sichtbaren dedizierten Pause-Button, mit dem jetzt jeder die Bearbeitung unterbrechen kann - sofern dies möglich ist (d.h.es handelt sich nicht um eine anonyme Bearbeitung).

Mehrfach multiple/one choice Fragen

Für Fälle bei denen viele gleichartige Auswahl-Fragen gestellt werden kann es sinnvoll sein, mehrere solche Fragen zusammenzufassen, z.B. wenn mehrere Aussagen als richtig oder falsch oder nicht entscheidbar klassifiziert werden sollen. Dafür gibt es nun Mehrfach-Auswahl-Fragen. Diese werden zwar vom Player noch nicht angezeigt, können aber schon eingegeben werden -  in wenigen Tagen werden sie dann auch in der Betaversion des Players verfügbar sein und in wenigen Wochen im "richtigen" Player.
[Dokumentation]

Bildunterschrift und Copyright

Eine Kleinigkeit noch für alle Autoren, die ihre Bilder mit Copyright und/oder einer Unterschrift versehen wollen: Dafür gibt es nun bei der Eingabe von Bildern extra Eingabemöglichkeiten [Dokumentation]. Die Copyright-Informationen erscheinen dabei als ob sie Teil des Bildes wären, die Unterschrift zentriert mit Abstand unter dem Bild.

Feedback-System für Nutzerkommentare

Lerner können innerhalb der Fallbearbeitung auch Fragen kommentieren - damit können sie z.B. dem Autor melden, wenn eine Frage missversändlich gestellt oder eine Lösung falsch bewertet wurde. Dies ist neben einer Mail an den Dozenten, innerhalb dessen Vorlesung der Fall eingesetzt wird, und dem Fehlerformular für technsche Probleme (was dafür eigentlich gar nicht vorgesehen ist) die einzige Möglichkeit, "direkt" mit den Autoren zu kommunizieren.

Bis zum Beginn des Sommersemesters 2013 war es so, dass diese Kommentare nicht automatisch an die Fallautoren weitergeleitet wurden - stattdessen mussten sich die Fallautoren die Statistiken zu jedem ihrer Fälle anschauen und dort wurden bei den einzelnen Frageauswertungen auch diese Nutzerkommentare angezeigt. Da das alles wirklich ziemlich umständlich war, haben viele Autoren die Nutzerkommentare nur sporadisch ausgewertet (z.B. am Ende jeden Semesters) - teilweise doch überarbeitungsbedürftige Fragen wurden damit nicht zeitnah geändert.

Um da Abhilfe zu schaffen wurde in der Vorlesungsfreien Zeit vor dem Sommersemester ein Feedback-Modul entwickelt, bei dem die Autoren an einer zentralen Stelle alle Kommentare zu all ihren Fällen einsehen können - zusätzlich werden sie per Email über neue Kommentare informiert (bei der sie zwar einstellen können, wie oft und wann sie sie erhalten, sie können sie aber nicht abbestellen). Zusätzlich haben die Autoren bei jedem Kommentar auch gleich Einsicht in die zugehörige (anonymisierte) Bearbeitung, um z.B. feststellen zu können, ob ein Folgefehler vorlag. Autoren können auf Kommentare antworten, diese Antworten werden den Kommentarschreibern per EMail zugeschickt, diese können auch wieder per EMail antworten - und das (für den Autor und den Lerner) völlig anonym. Autoren können Nutzerkommentare kategorisieren/markieren und sich so eine to-do-Liste darüber erstellen, was noch geändert werden muss, worauf noch geantwortet werden muss, usw.

Nach Fertigstellung des Moduls wurden zuerst die bereits existierenden gut 11400 Nutzerkommentare ins Modul eingelesen. Seit Beginn des Sommersemester 2013 sind etwa 2000 hinzugekommen und die Autoren haben bisher 4000 Kommentare als bearbeitet markiert und bei fast 100 Kommentare nochmal nachgefragt bzw. geantwortet. Viele Autoren haben sich begeistert über das neue Modul geäußert, da sie so schneller und effizienter auf Nutzerkommentare reagieren können. Wir hoffen, dass wir dadurch die Qualität der Fälle erheblich steigern können!