Dass der Ping sporadisch höher ausfällt (bzw. es "Spikes" gibt), ist mehr oder weniger normal. Besonders wenn stark bebaute Gebiete oder viele Bilder geladen werden müssen, fällt eine Menge Traffic an (und auch eine umso stärkere Auslastung für Server und insbesondere Client), was wiederum die Ping-Pakete (bzw. deren Bearbeitung) auf beiden Seiten nach hinten schiebt. Pings werden als reguläre Pakete behandelt, und wenn der Rechner ausgelastet ist, stauen sich die Pakete entsprechend auf. Wobei es schon reicht, wenn der Thread, welcher die Pings bearbeitet, ausgelastet ist (sämtliche Aufgaben im Spiel sind auf mehrere Threads verteilt, allerdings gibts nicht für jede Aufgabe einen eigenen Thread, stattdessen sind mehrere Aufgaben einem Thread zugewiesen - d.h. wenn der Thread, der für die Pings zuständig ist, hängt bzw. zu 100% ausgelastet ist, dann läuft das Spiel zwar noch weiter, aber der Ping wird entsprechend hoch).
Seit dem letzten Update ist die allgemeine Belastung für den Server größer geworden, da u.a. die Berechnungen für NPCs nun wesentlich stärker ins Gewicht fallen. Wieviele NPCs auf dem Server sind, kann man mit F3 prüfen, dort steht in der 8. Zeile "NPC: zahl1/zahl2" (dabei gibt zahl2 die Gesamtzahl an NPCs auf dem Server an). Gerade bei länger bestehenden Servern kann das schnell 100.000 oder mehr überschreiten, und dann entsprechend für Auslastung sorgen.
Aber wenn (fremde) Spieler sich einloggen und kurz danach wieder disconnecten kann das tatsächlich viele Ursachen haben. Hier ist oft die jeweilige Internetanbindung, aber auch die Hardware des Clients entscheidend.