Dienstag, 20. November 2012

Neuer Datenbankserver, IP-Umzug und Ausfall :-(

Vor kurzem haben wir vom RZ einen weiteren Server erhalten, der uns als dedizierter Datenbankserver dabei helfen soll, mit den hohen Zugriffszahlen kurz vor den Klausuren am Ende des Semesters zurecht zu kommen. Damit haben wir zwei vom RZ gehostete Server, die aber leider zuerst keine aufeinanderfolgende IP-Adressen hatten. 

Schon das Umbauen der Datenbank von unserem bisherigen Server auf einen anderen Server hat uns letztlich 90 Minuten Ausfallzeit gekostet (solange hat es gedauert, die 20GB MySQL/InnoDB-Daten auf den anderen Server zu kopieren). Dann dauerte es wieder ein paar Stunden, bis auch der MySQL-Slave (von dem wir das Backup machen) wieder auf dem aktuellen Stand war.

Da uns das RZ gebeten hat, aus verwaltungstechnischen Gründen den CaseTrain-Server auf eine IP neben der IP des Datenbankservers zu ziehen, kam gestern bzw. heute dann der IP-Umzug und dabei sind die Probleme aufgetreten, die dazu geführt haben dass vom 19.11.2012 16:27 bis 20.11. 11:52 keine Fallbearbeitungen protokolliert wurden. Und das kam so:

In MySQL kann und sollte man Benutzeraccounts auf IP-Adressen beschränken. Für die verschiedenen Anwendungen gibt es im CaseTrain-System verschiedene Accounts, unter anderem einen für den Zugriff auf die Datenbank, in der die Bearbeitungen gespeichert werden. Vor dem Umzug auf die neue IP wurden alle Accounts kopiert und auf die neue IP geändert, so dass es jeden Account zweimal gab (jeweils für die alte IP und für die neue IP). Dieser eine Account wurde dabei vergessen. Als dann gestern für eine Übergangszeit von einem Tag der Server so umgestellt wurde, dass er unter beiden IP-Adressen erreichbar ist (was notwendig ist, da nicht alle DNS-Server, die die Adresse casetrain.uni-wuerzburg.de zur IP auflösen gleichzeitig und sofort wissen, dass CaseTrain einen neue IP hat und deswegen noch bis zu 24h lang die alte IP liefern), wurde dies so konfiguriert, dass die neue IP die primäre IP ist.

Als CaseTrain dann mit der IP auf die Bearbeitungen-Datenbank zugreifen wollte, ging das nicht und es gab einen Fehler, der auch protokolliert wurde. Davon merkte zunächst niemand etwas - den Fallbearbeitern wird nicht angezeigt, dass die Bearbeitung nicht protokolliert wird und auch sonst ist es keinem aufgefallen. Es kamen abends zwei Tickets an, dass Fallbearbeitungen nicht abgespeichert wurden, aber das war schon außerhalb der Bürozeiten und deswegen wären die Tickets auch heute erst im Laufe des Tages bearbeitet worden.


Heute morgen wurde dann der DNS-Eintrag umgestellt, so dass casetrain.uni-wuerzburg.de nun auf die neue IP verweist und mehr oder weniger sofort ging gar nichts mehr - https://casetrain.uni-wuerzburg.de reagierte nicht http://casetrain.uni-wuerzburg.de/manager (worüber die Fälle gestartet werden) führte zu einem 404-Fehler. Nach einem Neustart des Apache httpd Webserver waren plötzlich die Konfigurations-Dateien leer und nur noch 0 Byte groß? Apache tomcat ließ sich gar nicht mehr neu starten? Was ist da los? Es hat ein bisschen gedauert, bis bemerkt wurde, dass das Fehlerprotokoll, das seit dem 19.11. fleißig die Probleme bei der Datenbankverbindung protokolliert hat, inzwischen den gesamten Plattenplatz für sich beansprucht, so dass kein Byte mehr geschrieben werden konnte - und deswegen konnte der tomcat nicht mehr starten und deswegen hat der httpd beim Starten die Konfigurationsdatei geleert.


Nachdem der fehlende Account eingetragen war und die Dienste alle erfolgreich gestartet werden konnten, funktionierte dann zwar alles wieder - aber leider fehlen uns bzw. den fleißigen Fallbearbeitern VÖLLIG UNNÖTIG über 17h Fallbearbeitungsprotokolle und wir hatten über 2h Ausfallzeit.


Mist.

Donnerstag, 22. Dezember 2011

Laptops!

Ziel des ePrüfung-Angebots ist ja, dass die Studenten außerhalb der CIP-Pools Prüfungen auf ihren eigenen Laptops schreiben können. Damit das alles sicher usw. ist, werden die Studenten von USB-Stick ein Prüfungs-Betriebssystem booten. Was passiert aber mit Studenten, die entweder keinen eigenen Laptop haben oder dieser nicht von USB-Stick gebootet werden kann?

Ganz einfach: Diese Studenten kriegen einen Laptop gestellt. Dafür haben wir Mittel beantragt und auch genügend bewilligt bekommen, um 50 billige Laptops   (inkl. 3 Jahre Garantie für ~300€) kaufen zu können.

Und hier ein paar Impressionen der ganzen Geschichte:

Die Palette mit den Laptops wird angeliefert.
Die Laptops sind schonmal untergebracht - in einem momentan nicht besetzten Büro.
In den hinteren Kartons sind die 5x 10 Taschen, die Kiste am Boden enthält die Mäuse.
Nach dem Auspacken der ersten 30 Laptops und aller Mäuse: Jede Menge Plastikmüll.
Der Plastikmüll der 50 Mäuse ...
... und der Papiermüll ...
 ... und die 50 Silikonsäckchen, die die Taschen trocken gehalten haben.
30 Laptops sind schon fertig.
Und hier beim Testen der letzten 20 (2h Festplattentest).
Noch mehr Plastikmüll...
... und noch mehr Papiermüll.
Geschafft: 50 Laptops sind betriebsbereit. Schöne Arbeit: Online 50x 3-Jahre-Garantie registrieren...
Und in diesen Kartonboxen sind die Plastikboxen zum Lagern
- und ein Rollbrett zum Transportieren der Plastikboxen.
Wieder im Zwischenlager im Büro - in den vorderen Kisten sind die USB-Sticks und 200 Netzwerkkabel.
Natürlich auch hier: Papiermüll ... bei dem sich die Putzfrau jetzt dann doch geweigert hat, den mitzunehmen.
Und da stehen sie nun: In einem der Räume mit der Netzwerktechnik im neuen Hörsaalgebäude.

Donnerstag, 15. Dezember 2011

Sticks! (Update II)

(Update zu Sticks (Update)) 3000 Sticks müssen auch beklebt werden und das ist leichter gesagt als getan ... Bevor wir zu diesem Endergebnis kamen:




mussten wir erst eine Druckerei finden, die uns abriebfeste Aufkleber in der passenden Größe zum Abziehen liefern kann, dann musste ein PDF mit den QRCodes erzeugt werden, dann mussten die gelieferten Aufkleber aufgeklebt werden und dann mussten die ersten 600 Aufkleber nochmal fester mit dem Fingernagel oder über eine Tischkante geklebt werden, damit sie sich auch wirklich nicht ablösen und dann mussten die restlichen 2400 Sticks richtig beklebt werden - was dann eine Hilfskraft in stundenlanger Arbeit erledigt hat.
Und wie man sieht, gehen die Aufkleber an den Seiten immer noch ein bisschen ab :-(


Die Sticks müssen zukünftig nach jeder Prüfung ausgelesen und ggf. neu bespielt werden, aber das geht ja nun auch nicht Stick für Stick für Stick für ...(2996x) ... für Stick. Also haben wir noch ein paar USB-Hubs bestellt:






Und nachdem nochmal Steckdosenleisten gekauft wurden, wurde das ganze zu unserer 126-Port-Super-USB-Station zusammengefrickelt:


ohne Sticks - aber schonmal alle Lichter an

Go go Gadget!


Windows 7 erkennt zwar alle 126 eingesteckten Sticks, kommt aber mit mehr USB-Sticks als Buchstaben nicht so recht zurecht (Haupt-USB-Stecker abgezogen → Explorerabsturz). Ubuntu 11 dagegen - mit dem wir die Sticks bespielen wollen - sieht nur 21 Hubs + USB-Maus + USB-Tastatur + 105 Sticks = 128 USB-Geräte - auch blöd.

Mittwoch, 19. Oktober 2011

Sticks! (Update)

(Update zu Sticks) 3000 Sticks müssen natürlich auch ausgepackt werden. Und das haben vier tapfere Hilfskräfte aus dem Blended Learning Projekt bzw. dem Lehrstuhl Informatik VI übernommen, wobei die Auspackgeschwindigkeit pro Karton im Laufe des Nachmittags von 4+min/Karton auf unter 1min/Karton optimiert werden konnte :)
120 Boxen bereit zum Auspacken
ca. 7 Mannstunden später: 3000 USB Sticks in 15 Boxen á 4 x 50
  Natürlich fiel dabei auch jede Menge Müll an, sauber getrennt nach  Papiermüll ...
... und Plastikmüll
Jetzt müssen die USB-Sticks nur noch mit Aufklebern versehen werden ...

Montag, 10. Oktober 2011

Sticks!

Für die ab dem nächsten Semester geplanten elektronischen Prüfungen haben wir mal ein paar USB-Sticks bestellt. Da es nirgendwo ausreichend große CIP-Pools gibt, um Prüfungen mit mehr als ~50 Teilnehmern abhalten zu können, sind wir für größere Teilnehmerzahlen auf die Laptops der Prüflinge angewiesen. Damit diese Laptops aber sicher genutzt werden können, müssen sie in einen für die Prüfung geeigneten Zustand gebracht werden - und das werden sie, indem sie von USB-Sticks gebootet werden, auf denen dann auch die Antworten des Prüflings gespeichert werden. Um Datenverlusten vorzubeugen, erhält jeder Prüfling 2 USB-Sticks, zwischen denen (und dem Server) die Daten synchronisiert werden. Und da im neuen entsprechend ausgestatteten Hörsaalgebäude 600 Prüflinge an einer Prüfung teilnehmen können und wir vielleicht auch mal mehrere Klausuren kurz nacheinander abhalten müssen, brauchen wir jede Menge Sticks.

Und am Freitag sind sie gekommen:




6 Kartons á 20 Packungen



=> 120 Packungen á 25 Sticks =  3000 2GB Sticks!

(to be continued ...)

Dienstag, 30. August 2011

Caps-Lock

Von '' wurde ein Fehler in einem Fall gemeldet:
Beschreibung------------------------------
DIE KÄSTCHEN KANN MAN NICHT AUSFÜLLEN
Im wuecampus-Kurs-------------------------
MATHE CASE TRAIN SOMMERSEMESTER 2011, MATHE FÜR WIWIS 2
Im Fall-----------------------------------
Matrizenrechnung
Bei der Frage-----------------------------
1


Komisch, wie kann das denn sein, dass die Felder nicht ausgefüllt werden können? Ok, Kurs gesucht (der übrigens "SS11:Tutorium zur Mathematik für Wirtschaftswissenschaftler II" heisst) und den ersten der beiden Fälle "Matrizenrechnung" gestartet, die erste Frage ist eine Zahlenfrage und bei mir funktioniert es natürlich ... was ist da schiefgelaufen? Nach einigem Grübeln und noch ein paarmal auf das Ticket schauen ... die Lösung: der Benutzer hatte die Caps-Lock-Taste gedrückt und bei einem Zahlenfeld kann man nur -,.0123456789  eingeben und eben nicht ;:_=!"§$%&/(). Schade, dass ich da kein Feedback geben kann, weil wiedermal kein Name angegeben wurde.

Montag, 25. Juli 2011

Fundstück der Woche

Wie einige (aber hoffentlich nicht allzu viele) wissen, hat CaseTrain ein Support-Ticket-System zur Eingabe und Verarbeitung von Fehlermeldungen. Dabei kann der Melder seine eMail-Adresse (für Rückfragen) angeben, außerdem eine Fehlerbeschreibung und Informationen über den Fall - so dass wir den auch im System finden können. Heute kam folgende Meldung:

Von '' wurde ein Fehler in einem Fall gemeldet:
Beschreibung------------------------------
Frage 13 falsch!!! Gegenteil ist richtig!!! insgesamt sehr viele Fehler im Case Train, daher nicht gerade hilfreich!! Verschendung von Studiengeldern!
Im wuecampus-Kurs-------------------------
Im Fall-----------------------------------
Bei der Frage-----------------------------


Was soll man dazu sagen? Außer vielleicht, dass die Bearbeitung dieses Tickets durch einen bezahlten Mitarbeiter auch eine ganz schöne Zeitverschwendung ist (und ich werde jetzt nicht den Fall aus den ~1600 suchen, der eine Frage 13 hat, die falsch ist).

Also, liebe Ticket-Ersteller: Bitte füllt alle Felder aus, auch das mit der eMail-Adresse, sonst ist das echt schwer mit der Bearbeitung dieser Tickets.

Und wer lobenswerterweise eine eigene Meinung hat und diese loswerden möchte, der darf die uns gerne auch als Ticket zukommen lassen (sogar mit neun Ausrufezeichen), dann aber auch Rückgrat zeigen und eMail-Adresse eintragen.