Analyse

Die Ursache für die Störung konnte gefunden werden.

Aufgrund der Störung waren zwischenzeitlich DNS-Abfragen aus unserem internen Netz nicht möglich. Das äusserte sich zum Beispiel beim Versand von E-Mails über unsere E-Mail-Gateways oder einem curl-Aufruf von einem Webhosting aus, bei denen die zugrundeliegenden DNS-Abfragen von den zuständigen rekursiven DNS-Servern (DNS-Recursors) nicht beantwortet wurden. Diese ausbleibende Antwort wurde wiederum dadurch verursacht, dass auf den rekursiven DNS-Servern das sogenannte Default-Gateway nicht korrekt gesetzt war. Ausgelöst wurde diese Fehlkonfiguration durch ein unterschiedliches Verhalten in den Linux-Distributionen CentOS und Debian (bzw. durch unterschiedliche Versionen eines Konfigurationstools unserer Cloud-Management-Software OpenNebula), zwischen denen kürzlich ein Wechsel stattgefunden hatte. Schlussendlich wurde diese Fehlkonfiguration durch Arbeiten an unseren zentralen Netzwerk-Gateways sichtbar, bei denen eine automatische Übertragung der IP-Adresse stattfindet.

Wir haben bereits Massnahmen getroffen, dass der Fall auf unserer Infrastruktur nicht mehr auftreten kann.

Nach weiteren Untersuchungen waren die Einschränkungen auf Ebene DNS keine Ursache sondern eine Folge der Störung. Eine ausführlichere Analyse der Störung folgt.

Die Netzwerkstörung scheint in Verbindung mit DNS zu stehen. Der Betrieb läuft zurzeit wieder normal, die konkrete Ursache ist weiterhin in Abklärung.