Wartungsfenster im Netzwerk: Vorabprüfung, Rückfall und Prüfung

Wie plant man eine riskante Änderung im Netzwerk? Wir beschreiben die Erfassung des Vorher-/Nachher-Zustands, den Schritt-für-Schritt-Plan, zeitgesteuerte Rücksetzoptionen und die Checkliste für die Go/No-Go-Entscheidung.
Technische Zusammenfassung
Technologie
Cisco IOS archive, configure replace, reload in, NX-OS checkpoint, Junos commit confirmed, NETCONF
Thema
Sichere technische Durchführung von Netzwerkänderungen
Niveau
Mittel
Voraussetzungen
  • Erfahrung mit Cisco IOS oder einer gleichwertigen CLI
  • Konsolen- oder Out-of-Band-Zugriff
  • Konfigurationssicherung
In diesem Beitrag8 Abschnitte

Ein erheblicher Teil der Ausfälle im Netzwerk entsteht nicht durch Defekte, sondern durch geplante Änderungen: eine ACL am falschen Port, ein Trunk-Befehl, bei dem das Wort „add“ vergessen wurde, eine Route, die den Verwaltungszugriff kappt. Im Folgenden beschreiben wir die technische Durchführung einer Änderung: Erfassung des Zustands vor der Änderung, Schritt-für-Schritt-Umsetzungsplan, automatische Rückfallmechanismen bei Cisco und anderen Plattformen, Maßnahmen gegen den Verlust des Fernzugriffs und die anschließende Prüfung. Thema ist nicht Freigabe und Auditnachweis, sondern was der Ingenieur im Fenster an der Konsole tut.

Quellen des Ausfallrisikos bei Netzwerkänderungen

Welches Sicherheitsnetz nötig ist, bestimmt das Risiko. Mögliche Ausfallquellen sind:

  • Den eigenen Zugriff kappen: Verlust des Zugriffs auf das entfernte Gerät durch Änderungen wie VTY-ACL, Verwaltungs-SVI, Standardroute oder das Entfernen des Management-VLANs vom Trunk.
  • Überschreibende Befehle: Bei Cisco setzt der Befehl switchport trunk allowed vlan 30 die Zulassungsliste auf nur VLAN 30; zum Hinzufügen zur bestehenden Liste ist switchport trunk allowed vlan add 30 nötig. Auch das Neudefinieren einer Prefix-Liste oder ACL kann bestehende Zeilen löschen.
  • Neukonvergenz der Control Plane: Ein Wechsel der STP-Root-Bridge, der Wegfall von OSPF/BGP-Nachbarschaften oder gestörte Port-Channel-Mitgliedschaften verursachen kurze, aber weitreichende Unterbrechungen.
  • Unsichtbare Abhängigkeiten: Ein altes Gerät in einem vermeintlich ungenutzten VLAN, eine Anwendung, die von einer statischen Route abhängt.
  • Fehlende Dokumentation: Weil der vorherige Zustand nicht erfasst wurde, ist unklar, was sich geändert hat und wohin zurückgekehrt werden soll.

Die ersten beiden Punkte der Liste gehören zu den häufigsten Störungen, für die nachts jemand mit Konsolenkabel an einen entfernten Standort fahren muss. Beide sind Fehler in einer einzigen Zeile.

Erfassung des Ausgangszustands vor der Änderung

Die gesamte Prüfung beruht auf dem Vergleich „vorher“ und „nachher“. Unmittelbar vor der Änderung wird auf jedem betroffenen Gerät derselbe Befehlssatz ausgeführt und in einer Datei gespeichert. Ein typischer Satz für Cisco IOS/IOS XE:

terminal length 0
show running-config
show version
show interfaces status
show interfaces trunk
show etherchannel summary
show spanning-tree root
show ip interface brief
show ip route summary
show ip ospf neighbor
show ip bgp summary
show mac address-table count
show logging

Die Ausgaben werden dem Änderungseintrag beigefügt. Nach der Änderung wird derselbe Satz erneut erfasst und unter Linux mit diff -u vorher.txt nachher.txt verglichen. Natürlich veränderliche Felder wie Zähler und Uptime erzeugen Rauschen; stellen Sie beim Vergleich zustandsorientierte Befehle (Nachbarschaften, Portstatus, Routenübersicht) in den Vordergrund. In einer Umgebung, in der Konfigurationssicherungen laufend und versioniert geführt werden, ergibt sich auch die Konfigurationsdifferenz vor und nach der Änderung automatisch; diese Einrichtung beschreibt der Beitrag Konfigurationssicherung mit Oxidized.

Vorlage für den Umsetzungsplan: Schritt, erwartetes Ergebnis, Rückfall

Ein guter Plan ist so klar, dass ihm auch jemand anderes als der verfassende Ingenieur folgen kann. Für jeden Schritt werden vier Angaben festgehalten: was getan wird (vollständige Befehle), das erwartete Ergebnis, wie geprüft wird und wie bei einem Fehlschlag zurückgenommen wird. Hier ein Beispielplan für das Hinzufügen eines neuen VLANs und einer SVI auf einem Distributions-Switch:

Schritt Aktion Verifizierung Rückfall
1 Zustand erfassen, reload in oder Revert-Timer setzen Ausgaben im Eintrag —
2 VLAN 140 anlegen show vlan id 140 no vlan 140
3 allowed vlan add 140 auf den Uplink-Trunks show interfaces trunk allowed vlan remove 140
4 SVI 140 und IP-Adresse Ping zum Gateway no interface vlan 140
5 Präfix in OSPF ankündigen Route auf dem Nachbargerät Betreffende network-Zeile entfernen
6 Timer abbrechen, speichern Vorher-/Nachher-Differenz —

Dem Plan werden außerdem betroffene Systeme, geschätzte Dauer der Änderung, die für den Rückfall vorgesehene Zeit und das Kriterium für die Rückfallentscheidung hinzugefügt (zum Beispiel „wenn der Testclient nach Schritt 4 das Gateway nicht erreicht, zurücksetzen“). Wird das Kriterium nicht vorab festgelegt, heißt es im Fenster „noch ein bisschen probieren“, und die Zeit zerrinnt. Die Entscheidung fällt vorher.

Fernzugriff nicht verlieren: reload in, archive und configure replace

Bei jeder Änderung an einem entfernten Gerät, die den Zugriff kappen könnte, wird ein automatischer Rückfallmechanismus eingerichtet. Unter Cisco IOS ist der älteste und einfachste Weg der geplante Neustart:

reload in 15
! Änderungen vornehmen, NICHT speichern
! wenn der Zugriff besteht und die Prüfung abgeschlossen ist:
reload cancel
copy running-config startup-config

Die Logik: Kappt die Änderung den Zugriff, startet das Gerät nach 15 Minuten mit der gespeicherten Konfiguration (vor der Änderung). Deshalb wird vor dem Abbruch des Timers kein write memory ausgeführt. Wird reload in bei ungespeicherten Änderungen eingegeben, fragt das Gerät unter Umständen „System configuration has been modified. Save?“; die Antwort muss no lauten, sonst ist das Sicherheitsnetz von Anfang an außer Kraft. Reflexartig „yes“ einzugeben, ist ein möglicher Fehler. Der Nachteil der Methode ist, dass der Rückfall ein vollständiger Neustart, also eine Unterbrechung ist.

Sauberer sind die Funktionen Configuration Archive und Rollback unter Cisco IOS. Zuerst wird das Archiv definiert:

archive
 path flash:archive/$h-
 maximum 10
 write-memory
!
configure terminal revert timer 10
! Änderungen anwenden
! wenn alles in Ordnung ist:
configure confirm

Änderungen, die im mit configure terminal revert timer geöffneten Konfigurationsmodus vorgenommen werden, werden ohne Neustart auf die vorherige Konfiguration im Archiv zurückgesetzt, wenn nicht innerhalb der angegebenen Zeit configure confirm eingegeben wird. Um bewusst zu einer bestimmten Archivdatei zurückzukehren, wird configure replace flash:archive/<datei> list verwendet; die Option list zeigt die angewendeten Zeilen. Prüfen Sie die Unterstützung für Plattform und Version im Konfigurationsleitfaden Ihres Geräts.

Entsprechungen auf anderen Plattformen:

Plattform Sicherheitsnetz Hinweis
Cisco IOS/IOS XE reload in, configure terminal revert timer, configure replace Für Revert ist archive nötig
Cisco NX-OS checkpoint und rollback running-config checkpoint Vor der Änderung einen benannten Checkpoint anlegen
Juniper Junos commit confirmed <minuten> Innerhalb der Frist ist ein zweites commit nötig
Geräte mit NETCONF-Unterstützung Fähigkeit Confirmed Commit In RFC 6241 definiert

Zusätzlich zu diesen Mechanismen gibt es an kritischen Standorten einen unabhängigen Out-of-Band-Zugang (Konsolenserver, Verwaltung über eine separate Leitung). Vor der Änderung wird getestet, dass dieser Weg tatsächlich funktioniert. Es kann vorkommen, dass sich erst in der Nacht, in der der Konsolenserver zum ersten Mal gebraucht wird, herausstellt, dass er nicht funktioniert. Ein ungetesteter Ausweichweg ist kein Weg.

Wahl des Wartungsfensters und Kommunikation

Die Wahl des Fensters ist keine technische, sondern eine an der betrieblichen Auswirkung orientierte Entscheidung. Geprüft werden Produktionsschichten, Monatsabschluss der Buchhaltung, Zeiten der Sicherungsjobs und Fenster der Datenreplikation. Fällt zum Beispiel eine Änderung in der Unternehmensnetzwerk-Infrastruktur in das nächtliche Sicherungsfenster, kehrt sie morgens als Alarm „Sicherung fehlgeschlagen“ zurück. Die Dauer des Fensters darf nicht kürzer sein als die Summe aus Umsetzungs-, Prüf- und Rückfallzeit. Bei einer Änderung, die eine laufende Produktionslinie betrifft, wenden Sie für Freigabe des Werks, Rückfallreihenfolge und Prüfung vor Ort den Ansatz Engineering von Wartungsfenstern in der OT an.

Der Kommunikationsplan umfasst: betroffene Benutzergruppen und Systeme, die erwartete Auswirkung (vollständige Unterbrechung, kurze Unterbrechung, keine Auswirkung erwartet), die ausführenden und entscheidenden Personen, die während des Fensters erreichbaren Anwendungsverantwortlichen und bei Bedarf Kontakte zum Provider- oder Hersteller-Support. Beginn, Ende und gegebenenfalls der Grund eines Rückfalls werden im entsprechenden Kanal mitgeteilt.

Prüfung und Beobachtungsphase nach der Änderung

Die Prüfung hat zwei Ebenen. Bei der technischen Prüfung wird der Befehlssatz aus der „Vorher“-Erfassung erneut ausgeführt; Unterschiede dürfen sich nur durch die geplanten Änderungen erklären lassen. Anzahl der Nachbarschaften, Anzahl der verbundenen Ports, Port-Channel-Mitglieder und STP-Root müssen gleich bleiben. Bei der funktionalen Prüfung wird der Zweck der Änderung getestet: Erhält der Testclient im neuen VLAN eine IP, erreicht er Gateway und kritische Server, löst er DNS auf? Eine kurze Bestätigung der Anwendungsverantwortlichen erfasst Probleme auf Benutzerseite, bevor morgens die Arbeit beginnt.

Danach wird eine Beobachtungsphase festgelegt; in dieser Zeit werden Schnittstellenfehlerzähler, CPU und Logmeldungen im Monitoring-System verfolgt. Die Konfiguration wird gespeichert, die alte Konfiguration im Archiv aufbewahrt, und der Änderungseintrag wird mit den Vorher-/Nachher-Ausgaben geschlossen. Hat sich eine Information wie ein neues VLAN, eine IP oder ein Port geändert, wird vor dem Schließen des Eintrags die Netzwerkdokumentation aktualisiert. Welche Nachweise ein Änderungseintrag für ein Audit enthalten muss, behandelt der Leitfaden Auditnachweise im Änderungsmanagement.

Go/No-Go-Checkliste

Sind vor Beginn des Fensters nicht alle folgenden Punkte mit „ja“ beantwortet, wird die Änderung verschoben. Ohne Ausnahme.

  • Ist der Umsetzungsplan mit vollständigen Befehlen geschrieben und von einem zweiten Ingenieur geprüft?
  • Sind für jeden Schritt Prüf- und Rückfallmethode definiert?
  • Liegen für die betroffenen Geräte aktuelle Konfigurationssicherungen und „Vorher“-Ausgaben vor?
  • Wurde der Out-of-Band- oder Konsolenzugang für dieses Fenster getestet?
  • Enthält der Plan einen automatischen Rückfallmechanismus (reload in, Revert Timer, commit confirmed)?
  • Deckt die Dauer des Fensters Umsetzungs-, Prüf- und Rückfallzeit ab?
  • Sind betroffene Benutzer und Anwendungsverantwortliche informiert und während des Fensters erreichbar?
  • Gibt es keine überschneidende andere Änderung oder keinen Sicherungsjob?
  • Wurden bei Änderungen mit Firmware-Update die Image-Prüfung und der Upgrade-Pfad kontrolliert? (Details in der Firmware-Update-Richtlinie.)

Für Planung und Durchführung kritischer Core- oder WAN-Änderungen im Fenster nutzen Sie unsere Leistung Installation von Switches, Routern und Netzwerkgeräten; um regelmäßige Wartungsänderungen mit derselben Disziplin durchzuführen, unsere Leistung Netzwerkwartung, Monitoring und regelmäßige Prüfung.

Häufig gestellte Fragen

Was ist der häufigste Fehler bei der Verwendung von reload in?

Die Konfiguration zu speichern, ohne den Timer abzubrechen. Dann startet der geplante Neustart mit der fehlerhaften Konfiguration, und das Sicherheitsnetz ist wirkungslos. Die Reihenfolge ist immer dieselbe: zuerst reload cancel, dann speichern.

Was ist der Unterschied zwischen configure terminal revert timer und reload in?

reload in startet das Gerät ohne Bestätigung neu, kehrt so zur gespeicherten Konfiguration zurück und verursacht eine Unterbrechung. Der Revert Timer nutzt dagegen die Archive-Funktion; ohne Bestätigung setzt er das Gerät ohne Neustart auf die vorherige Konfiguration zurück.

Braucht jede Netzwerkänderung ein Wartungsfenster?

Nein. Standardänderungen, deren Auswirkung auf einen einzelnen Access-Port begrenzt ist und die sich leicht zurücknehmen lassen, können mit vorab freigegebenen Vorlagen während der Geschäftszeiten erfolgen. Änderungen an Trunks, Routing, Core und Firmware erfolgen im Fenster und mit Rückfallplan.

Wie lange sollte die Beobachtungsphase nach einer Änderung sein?

Das hängt von der Art der Änderung ab. Bei Änderungen mit sofort sichtbarer Wirkung kann eine kurze Zeit genügen; bei Änderungen, deren Wirkung von Last und Zeit abhängt, wie Routing, QoS oder Firmware, wird mindestens ein voller Arbeitstag Beobachtung empfohlen.

Support

Kontaktieren Sie uns für Support oder eine Bestandsaufnahme zu diesem Thema.

Kontaktformular
[email protected]

Eretek Netzwerk

Wir installieren Switches, Router, Verkabelung und WLAN mit VLAN-Segmentierung und redundanten Uplinks. Regelmäßige Wartung und Störungssupport inklusive.

Wissenszentrum

Weitere Beiträge