Nabend
mein Server hat sich heute (zum ersten mal) aufgehangen und man konnte nicht mehr connecten:
http://rwlogs.omega-zirkel.de/1553155824.log
Gruß,
Devidian
Server crash / freeze (MariaDB?)
- Devidian
- Closed
- Thread is marked as Resolved.
-
hat ja alles damit angefangen das der Steam Server down ging.
Hat Steam evtl Probleme in deiner region -
kein Plan der server steht in Berlin
-
kein Plan der server steht in Berlin
-
Der Log besagt, dass die Welt-Datenbank gelocked ist. Das trat scheinbar zur selben Zeit auf, als der "JavaCordBot" die Verbindung zu Discord verloren hat (das muss aber nicht unbedingt im Zusammenhang damit stehen). Verwendest du ein Plugin, welches auf die Welt-Datenbank zugreift? Dann kann so ein Phänomen zB passieren, wenn eine Transaktion noch ihren Lock auf die Datenbank hält (oder wenn bspw. zu viele ResultSets offen sind etc).
Läuft der MySQL Server denn auf der selben Maschine? Ansonsten könnte es nämlich auch sein, dass ggf. die Verbindung zu diesem Server unterbrochen wurde. -
Der JavaCordBot verliert öfter mal die Verbindung, stellt diese aber auch meistens wieder her. Ich bin mir nicht sicher ob ABM/GPS/PNB oder AreaProtection darauf zugreifen, ich glaube die die was speichern nutzen sqlite. Meine eigenen Plugins (auch das Discord Plugin) Nutzen jedenfalls die Welt Datenbank nicht.
Ja der MySQL läuft auf der selben Maschine. MySQL ist schon langsam genug da muss der nicht noch woanders liegen
-
Besteht das Problem nach einem Neustart des Servers denn immernoch?
-
Hmm... es ist schwer zu sagen, was genau dort los ist. Wenn die Probleme auftreten, scheinen gleichzeitig auch andere Probleme aufzutreten. Zum Beispiel scheinen im letzten Log die Locks genau dann aufzutreten, wenn offenbar mehrere Spieler die Verbindung verlieren und auch nicht mehr reconnecten können
Kann es möglicherweise sein, dass der Server-Prozess dann generell evtl. stark ausgelastet ist? Im Vorletzten Log tritt unmittelbar vorher auch die Meldung auf org.javacord.core.util.event.EventDispatcherBase Detected a a listener thread for Omega-Zirkel which is now running for over 10 seconds, wobei das während des Herunterfahrens ggf. nicht sehr aussagekräftig ist...Auf welchen Wert ist bei deinen MySQL Einstellungen innodb_lock_wait_timeout gesetzt? Standardmäßig steht er glaube irgendwo bei 50 (was schon ein recht hoher Wert ist), wenn er aber ggf. irgendwann mal auf bspw. 1 gesetzt wurde, könnte das gerade bei großen Transaktionen zu diesem Fehler führen.
Wann traten die Probleme denn das erste Mal auf bzw. hast du unmittelbar zuvor irgendwas geändert (Plugin-Änderung, Linuxupdate, MySQL-Update, andere Programme installiert etc)? Handelt es sich um einen Rootserver oder um einen Gameserver?
-
Danke für den neuen Log! Vor allem auch danke für den slow-query-Log, der ist tatsächlich recht aufschlussreich: Hier fällt auf, dass zwar die SELECTs ziemlich schnell sind, aber (wenn ich das richtig sehe) sämtliche UPDATEs extrem lange brauchen
Also mehrere Sekunden bis hin zu einer Minute. Selbst das erste UPDATE Statement, welches schon recht früh auftritt, braucht 13 Sekunden. Manche der UPDATE-Statements sind zwar schwer zu beurteilen, weil die auch Binary-Daten enthalten, aber selbst bei so ganz simplen Statements wie UPDATE WorldInfos SET `Key` = 'Time', `Value` = '19.4.12 13:3:0.81009114' WHERE `Key` = 'Time'; sind sage und schreibe 35 Sekunden vergangen, etwas später sogar teilweise über 60 Sekunden und gegen Ende auch 111 Sekunden (und dabei ist die WorldInfos Tabelle ja winzig mit nur einer handvoll Einträgen) Früher oder später steigt dadurch auch die Lock-Time, bis hin zum Timeout.Wurde die Datenbank mit dem neuen WorldConverter von SQLite zu MySQL übertragen, oder lief der RW Server schon vorher mit MySQL / MariaDB?
Es sieht so aus, als würde möglicherweise irgendwas auf dem Server Amok laufen und die Datenbank extrem ausbremsen
Oder vielleicht sind irgendwelche MySQL Einstellungen verstellt (sodass ihm wenig RAM zur Verfügung steht, oder er nur einen sehr kleinen Cache zur Verfügung hat o.ä). Leider ist das schwer zu sagen, was genau dort los ist.Am Spiel hat sich mit den letzten Updates eigentlich nichts geändert, das irgendwie einen direkten Einfluss auf die SQL Abfragen haben könnte
-
Also ich hab den Server von Anfang an auf MySQL laufen gehabt, habe es extra dafür installiert
privat nutze ich nur noch MongoDB da es einfach performanter ist - und diverse andere Vorteile bringt.Wie gesagt habe ich an den MySQL Einstellungen nichts geändert außer das ich das slowlog jetzt an habe. Und es gibt kein anderes Programm das darauf zugreift...
-
https://cdn.discordapp.com/att…3019581450/screenshot.jpg
Hier wieder ein Vorfall, hat diesmal sogar ingame eine Meldung abgegeben. Auf dem Server zur selben Zeit nix los.
Das dürfte das log dazu sein: http://rwlogs.omega-zirkel.de/1553530222.log
-
Hier wieder ein Vorfall, hat diesmal sogar ingame eine Meldung abgegeben. Auf dem Server zur selben Zeit nix los.
Dieser Fehler bzw. das Phänomen hängt nicht mit der Spielerzahl zusammen, da selbst die einfachsten, kleinen SQL UPDATEs (zB bei den WorldInfos, diese Tabelle hat gerade mal 3 Spalten und 17 Zeilen, als eine winzig kleine Tabelle) schon extremst langsam sind (lt. slow query log)
Das ist wirklich sehr unnormal...Am Spiel bzw. am Update sollte das eigentlich nicht liegen, ich kann das natürlich nicht zu 100% ausschließen, aber ich konnte eigentlich nichts ungewöhnliches finden (zumal du ja sagst, dass der Fehler erst letzten Montag auftrat, d.h. es könnte wenn an einem der Hotfixes liegen, aber das ist eigentlich noch unwahrscheinlicher)
Es gibt noch mehrere Server, die MySQL verwenden, es hatte sich aber noch niemand mit einer ähnlichen Problematik gemeldet (was aber nichts heißen muss).Die absolute Notlösung wäre, auf SQLite umzusteigen (wobei diese Lösung natürlich eher suboptimal ist)
-
Ich glaube es waren tatsächlich die Backups. Die Backups liefen zwar mit rsync und hardlinks und haben nur knapp über 300MB im Moment, jedoch war im backup Verzeichnis schon >2k unterordner drin (je stunde ein Ordner). Habe die Backups mal alle bereinigt und jetzt nicht mehr ganz so oft laufen lassen.
Finde ich jedoch trotzdem krass das rsync dann mysql wait lock verursacht
. Wenn ich da an unsere MongoDB Instanzen denke auf der Arbeit, die haben schon mehr IO wait gehabt und trotzdem im ms bereich ausgeliefert, selbst bei Millionen Datensätzen...Ganz sicher bin ich mir zwar noch nicht aber die Vermutung liegt nah.
Participate now!
Don’t have an account yet? Create a new account now and be part of our community!
