LACP- und EtherChannel-Konfiguration: Leitfaden zur Link Aggregation

Wie wird eine Verbindungsbündelung mit LACP eingerichtet und geprüft? Wir behandeln den Unterschied zwischen LACP, PAgP und statischem Modus, die Lastverteilung und die Abstimmung mit der Serverseite.
Technische Zusammenfassung
Technologie
IEEE 802.1AX (LACP), Cisco EtherChannel, PAgP, Linux Bonding, Windows NIC Teaming
Thema
Bündelung physischer Verbindungen zu einer logischen Verbindung
Niveau
Mittel
Voraussetzungen
  • Konzepte von Trunk- und Access-Ports
  • Grundkenntnisse der Cisco-IOS-Konfiguration
  • Berechtigung zur Verwaltung der Netzwerkschnittstellen auf Serverseite
In diesem Beitrag8 Abschnitte

Sie haben zwei 10G-Uplinks angeschlossen und einen Port-Channel eingerichtet, die nächtliche Sicherung hängt trotzdem bei 10G. Oder ein Mitglied erscheint ständig als suspended, an einem anderen Morgen ist ein Port err-disabled. Link Aggregation macht aus mehreren physischen Ethernet-Verbindungen aus Sicht von Switch und STP eine logische Verbindung; richtig eingerichtet bietet sie Kapazität und Verbindungsredundanz, falsch eingerichtet diese Symptome. Im Folgenden behandeln wir LACP und EtherChannel mit Beispielen für die Abstimmung mit Cisco IOS, Linux und Windows sowie mit Prüfbefehlen.

Ist ein Port-Channel eingerichtet, sieht STP die Mitgliedsports als einen Port; keine der beiden Verbindungen muss blockiert werden, beide transportieren Verkehr. Fällt ein Mitglied aus, wird der Verkehr auf die verbleibenden Mitglieder verlagert, und STP rechnet nicht neu. Die Unterbrechung beschränkt sich meist auf die Zeit bis zur Erkennung des physischen Verbindungsverlusts.

Man sollte auch wissen, was sie nicht leistet:

  • Die Geschwindigkeit eines einzelnen Flows steigt nicht. Zwei 10G-Verbindungen liefern einem einzelnen Sicherungsjob keine 20G; alle Frames eines Flows werden über dasselbe Mitglied gesendet, damit die Reihenfolge erhalten bleibt.
  • Sie bietet keine Geräteredundanz. Standard-LACP setzt an beiden Enden je ein einzelnes Gerät voraus. Für einen Port-Channel, der sich an einem Ende über zwei Switches erstreckt, sind Stack, MLAG oder vPC nötig.
  • Die Verteilung ist nicht von selbst ausgewogen. Passen Hash-Algorithmus und Verkehrsmix nicht, läuft ein Mitglied voll, während das andere leer bleibt.

Ein Port-Channel addiert keine Bandbreite. Er verteilt Flows.

LACP, PAgP und statischer Modus

LACP (Link Aggregation Control Protocol) wurde zuerst in IEEE 802.3ad definiert und später in die Norm IEEE 802.1AX übernommen. Die beiden Enden lernen durch den Austausch von LACPDUs die System-ID und den Schlüssel (Key) der Gegenseite; nur mit demselben Gegensystem verbundene, kompatible Ports werden in die Gruppe aufgenommen. PAgP ist Cisco-spezifisch; für ein neues Design gibt es keinen Grund, es zu verwenden.

Modus (Cisco) Protokoll Verhalten Funktionierende Kombination
active LACP Sendet LACPDUs active–active, active–passive
passive LACP Antwortet nur passive–active
desirable / auto PAgP Cisco-spezifische Aushandlung desirable–desirable, desirable–auto
on Keines (statisch) Keine Aushandlung Nur on–on

Die Kombinationen passive–passive und auto–auto bilden nie eine Gruppe. Beide Seiten auf active zu setzen, ist die Wahl mit den wenigsten Überraschungen. Der statische Modus (on) sollte außer bei älteren Geräten ohne LACP-Unterstützung oder Sonderfällen wie der Richtlinie „Route based on IP hash“ des VMware Standard vSwitch nicht verwendet werden: Hat ein Ende die Gruppe gebildet, das andere aber nicht, kann der Verkehr in einem schwarzen Loch landen oder eine Schleife entstehen.

Auch das LACP-Timeout ist ein Designparameter. Im langsamen Modus werden LACPDUs alle 30 Sekunden gesendet, im schnellen Modus jede Sekunde; das Timeout beträgt drei verpasste PDUs. Hängt bei bestehender physischer Verbindung die Control Plane der Gegenseite, kann es im langsamen Modus bis zu 90 Sekunden dauern, bis das bemerkt wird. Auf unterstützten Plattformen wird der schnelle Modus auf den Mitgliedsports mit lacp rate fast aktiviert; stimmen Sie die Einstellung beider Seiten ab.

Lastverteilungsalgorithmen und die Grenze eines einzelnen Flows

Der Switch berechnet für jeden Frame aus bestimmten Headerfeldern (MAC, IP, L4-Port) einen Hash und ordnet das Ergebnis einem Mitglied zu. Je vielfältigere Werte die gewählten Felder erzeugen, desto ausgewogener wird die Verteilung.

  • src-mac / dst-mac: Bei Verkehr zu Router oder Firewall ist die Ziel-MAC immer gleich; alles häuft sich auf einem Mitglied. Für Campus-Uplinks in der Unternehmensnetzwerk-Infrastruktur ungeeignet.
  • src-dst-ip: Ein guter Standard für Verkehr hinter L3-Grenzen.
  • src-dst-port oder Optionen mit L4: Verbessern die Verteilung, wenn zwischen denselben zwei Servern viele Sitzungen bestehen (Sicherung, Replikation).

Bei Cisco Catalyst wird der Algorithmus meist global gewählt und auf alle Port-Channels angewendet. Der Hash wirkt nur auf der sendenden Seite; unterschiedliche Algorithmen an beiden Enden sind kein Fehler, Sie müssen die Verteilung jeder Richtung aber getrennt bewerten.

port-channel load-balance src-dst-ip
show etherchannel load-balance
! Sehen, auf welches Mitglied ein bestimmter Flow fällt (auf unterstützten Plattformen):
test etherchannel load-balance interface Port-channel1 ip 10.10.20.15 10.10.50.8

Beispielrechnung: In einem Port-Channel mit 4 x 10G Mitgliedern kann ein einzelner nächtlicher Sicherungsflow höchstens 10G nutzen; 40 gleichzeitig laufende unterschiedliche Client-Server-Paare können sich dagegen auf alle vier Mitglieder verteilen. Ist die Geschwindigkeit eines einzelnen Flows entscheidend, braucht es entweder eine schnellere Einzelverbindung (25G/40G/100G) oder parallele Flows auf Anwendungsebene.

Beispiel für eine EtherChannel-Konfiguration in Cisco IOS

Das folgende Beispiel bündelt zwei 10G-Trunk-Uplinks vom Access-Switch zum Distribution-Switch per LACP. Konfigurieren Sie die Mitgliedsports im abgeschalteten Zustand; eine halb fertige Konfiguration kann kurzzeitig eine Schleife erzeugen.

interface range TenGigabitEthernet1/1/1 - 2
 shutdown
 description UPLINK-DIST-SW1
 switchport mode trunk
 switchport trunk allowed vlan 10,20,30,99
 switchport trunk native vlan 999
 channel-group 1 mode active
!
interface Port-channel1
 description UPLINK-DIST-SW1
 switchport mode trunk
 switchport trunk allowed vlan 10,20,30,99
 switchport trunk native vlan 999
!
interface range TenGigabitEthernet1/1/1 - 2
 no shutdown

Ändern Sie nach Einrichtung des Port-Channels Trunk-, VLAN-Segmentierungs– und STP-Einstellungen an der Port-Channel-Schnittstelle; IOS überträgt sie auf die Mitglieder. Eine abweichende Einstellung an einem einzelnen Mitglied wirft dieses aus der Gruppe. Bei einigen älteren Catalyst-Modellen muss für den Trunk zuerst switchport trunk encapsulation dot1q eingegeben werden. Die Grenze aktiver Mitglieder in der Gruppe und das Hot-Standby-Verhalten (lacp max-bundle, lacp port-priority) hängen von der Plattform ab.

Abstimmung mit Server- und Speicherseite

Dass Sie auf Switch-Seite LACP einrichten, bedeutet nicht, dass auch der Server LACP spricht. Bei nicht passender Konfiguration erscheinen die Switchports als (I) stand-alone oder (s) suspended. Ein mögliches Szenario: Das Netzwerkteam richtet einen Port-Channel ein, das Serverteam aktiviert das Teaming in einem anderen Modus.

Linux Bonding

Unter Linux wird LACP mit dem Modus 802.3ad (Mode 4) des Bonding-Treibers bereitgestellt. Der Hash auf der Sendeseite wird mit xmit_hash_policy gewählt:

nmcli con add type bond con-name bond0 ifname bond0 \
  bond.options "mode=802.3ad,miimon=100,lacp_rate=fast,xmit_hash_policy=layer3+4"
nmcli con add type ethernet con-name bond0-p1 ifname ens1f0 master bond0
nmcli con add type ethernet con-name bond0-p2 ifname ens1f1 master bond0

cat /proc/net/bonding/bond0

In der Ausgabe von /proc/net/bonding/bond0 müssen beide Mitglieder denselben Wert „Aggregator ID“ tragen, und das Feld „Partner Mac Address“ muss die System-MAC des Switches zeigen. Haben die Mitglieder unterschiedliche Aggregator-IDs, hat die Switch-Seite keine Gruppe gebildet. Ist die Partner-MAC null, kommen überhaupt keine LACPDUs an.

Windows und Virtualisierung

Auf physischen Windows-Servern unterstützt LBFO-Teaming den LACP-Modus:

New-NetLbfoTeam -Name "Team1" -TeamMembers "NIC1","NIC2" `
  -TeamingMode Lacp -LoadBalancingAlgorithm Dynamic
Get-NetLbfoTeamMember -Team "Team1"

Für den virtuellen Switch von Hyper-V empfiehlt Microsoft dagegen Switch Embedded Teaming, und SET arbeitet nur switchunabhängig; in diesem Fall wird auf Switch-Seite kein Port-Channel eingerichtet. Die Serverseite beschreibt der Beitrag zum Design virtueller Netzwerke in Hyper-V und SET. Bei VMware wird LACP nur auf dem Distributed Switch unterstützt; mit dem Standard vSwitch lassen sich nur statischer EtherChannel und IP-Hash kombinieren. Verwenden Sie für iSCSI-Speicherverkehr statt Link Aggregation Multipath-I/O (MPIO) über zwei getrennte Pfade; das ist auch die verbreitete Empfehlung der Speicherhersteller.

Inkonsistenzen von Mitgliedsports und err-disable-Zustände

Ein Port wird nur in die Gruppe aufgenommen, wenn diese Parameter mit den übrigen Mitgliedern übereinstimmen:

  • Geschwindigkeit und Duplex
  • Switchport-Modus (Access oder Trunk)
  • Access-VLAN bzw. Liste der im Trunk erlaubten VLANs und Native VLAN
  • Je nach Plattform MTU-, QoS- und Port-Security-Einstellungen

Ein inkonsistentes Mitglied fällt in den Zustand suspended. Gravierender ist, wenn eine Seite einen Port-Channel eingerichtet hat und die andere nicht: Das bei Cisco standardmäßig aktive spanning-tree etherchannel guard misconfig erkennt das und setzt die Ports mit der Ursache channel-misconfig auf err-disable. Das ist ein Schutz. Legen Sie die Konfigurationen beider Enden nebeneinander, bevor Sie die Ports öffnen.

Befehle zur Prüfung und Fehlerbehebung

show etherchannel summary
show etherchannel 1 detail
show lacp neighbor
show lacp counters
show interfaces Port-channel1
show interfaces TenGigabitEthernet1/1/1 counters errors
show interfaces status err-disabled

Der erste Blick gilt den Flags in der Ausgabe von show etherchannel summary: P zeigt, dass das Mitglied in der Gruppe arbeitet, I, dass der Port mangels empfangener LACPDUs allein arbeitet, s, dass er suspendiert ist, D, dass er abgeschaltet ist. In der Port-Channel-Zeile sollten Sie SU (L2, in Benutzung) oder RU (L3, in Benutzung) sehen. Prüfen Sie mit show lacp counters, dass die Sende- und Empfangszähler für LACPDUs steigen; bleibt der Empfangszähler konstant, spricht die Gegenseite kein LACP.

Vergleichen Sie für die Kapazität die Verkehrszähler der Mitglieder einzeln. Trägt ein Mitglied ständig ein Mehrfaches der anderen, überprüfen Sie den Hash-Algorithmus. Steigen Fehlerzähler nur bei einem Mitglied, liegt das Problem sehr wahrscheinlich bei Kabel oder optischem Modul dieses Mitglieds. Ein Port-Channel versteckt solche physischen Probleme im Durchschnitt. Zum Berichten von Trends der Uplink-Auslastung siehe den Beitrag zu Kapazitätsberichten im Netzwerk.

Muss sich ein Port-Channel über zwei getrennte Switches erstrecken, geht es um Geräteredundanz; diese Architekturen beschreibt der Vergleich von Switch-Stack, MLAG und vPC. Zum Zusammenspiel von Port-Channels mit STP ergänzt der Beitrag zu STP, RSTP und MSTP. Alle Bonding-Parameter auf Linux-Seite sind in der Kernel-Dokumentation zu Bonding aufgeführt. Für Unterstützung bei der Einrichtung von Uplinks und Serveranbindungen sehen Sie sich unsere Leistungsseite Installation von Switches, Routern und Netzwerkgeräten an.

Häufig gestellte Fragen

Erreicht eine einzelne Dateikopie 20G, wenn ich zwei 10G-Verbindungen bündle?

Nein. Der Hash-Algorithmus legt jeden Flow auf ein einzelnes Mitglied; eine einzelne TCP-Sitzung erreicht höchstens die Geschwindigkeit eines Mitglieds, also 10G. Die Gesamtkapazität wird erst bei vielen unterschiedlichen Flows genutzt.

Sollte ich LACP oder statischen EtherChannel verwenden?

LACP, wenn die Gegenseite es unterstützt. LACP prüft, ob die Mitglieder tatsächlich mit demselben Gegengerät verbunden sind, und nimmt einen falsch verkabelten Port nicht in die Gruppe auf. Der statische Modus prüft das nicht; bei falscher Zuordnung kann es zu Verkehrsverlust oder Schleifen kommen.

Wie viele Ports sollte ich in einen Port-Channel aufnehmen?

Da viele Cisco-Plattformen das Hash-Ergebnis auf 8 Buckets verteilen, ergeben 2, 4 oder 8 Mitglieder eine gleichmäßigere Lastverteilung. Bei 3 Mitgliedern verteilen sich die Buckets auf 3, 3 und 2. Prüfen Sie das Verhalten Ihrer Plattform in der Herstellerdokumentation.

Kann ich auf einem Hyper-V-Server LACP nutzen?

Für den virtuellen Switch von Hyper-V empfiehlt Microsoft Switch Embedded Teaming; SET arbeitet nur im switchunabhängigen Modus und unterstützt kein LACP. In diesem Fall wird auf Switch-Seite kein Port-Channel eingerichtet, die Ports werden einzeln als Trunk konfiguriert.

Support

Kontaktieren Sie uns für Support oder eine Bestandsaufnahme zu diesem Thema.

Kontaktformular
[email protected]

Eretek Netzwerk

Wir installieren Switches, Router, Verkabelung und WLAN mit VLAN-Segmentierung und redundanten Uplinks. Regelmäßige Wartung und Störungssupport inklusive.

Wissenszentrum

Weitere Beiträge