vmk0 duplicate MAC Problem

Seltsames Verhalten

Wir haben ein seltsames Netzwerk-Phänomen in unterschiedlichen (isolierten) ESX Clustern bemerkt.

• Cluser bestehend aus zwei ESXi Hosts (5.5.0)
• IP Adresse, Netzmaske etc. waren korrekt konfiguriert
• Die Switch Hardware ist in Ordnung (auch wenn es erst nicht so aussah)
• Beide Hosts sind per PING erreichbar (vom Notebook), jedoch mit unregelmäßigem Kontaktverlust
• Die ESXi Hosts konnten sich untereinander nicht pingen
• Jeder Host konnte das Notebook pingen

Nachdem jedes Kabel und jeder Switch getauscht waren, konnte ein Hardwaredefekt ausgeschlossen werden. Das Problem hatte ähnlichkeit mit duplikaten IP oder MAC Adressen. Die IP Adressen waren jedoch unterschiedlich und die MAC Adressen auch. Es musste etwas mit dem Management Network zu tun haben. Mit der vSphereCLI schaute ich mit den Kernelport des Management Netzwork genauer an.

Spurensuche

ESX1

esxcfg-vmknic.pl -l --server 192.168.1.100

Interface  Port Group/DVPort             IP Family IP Address        Netmask           MAC Address       MTU     Type        VMotion
vmk0       Management Network            IPv4      192.168.1.100     255.255.255.0     00:50:56:87:12:80 1500    STATIC      Not Available

MAC Adresse: 00:50:56:87:12:80

ESX2

esxcfg-vmknic.pl -l --server 192.168.1.101

Interface  Port Group/DVPort             IP Family IP Address        Netmask           MAC Address       MTU     Type        VMotion
vmk0       Management Network            IPv4      192.168.1.101     255.255.255.0     00:50:56:87:12:80 1500    STATIC      Not Available

Auch hier die identische MAC Adresse: 00:50:56:87:12:80

Das kann nicht funktionieren!

Schaut man sich die MAC Adresse genauer an, so erkennt man die OUI von VMware.

  00-50-56   (hex)		VMware, Inc.
  005056     (base 16)		VMware, Inc.
  				3401 Hillview Avenue
				PALO ALTO CA 94304
				UNITED STATES

Eigentlich sollte dies – entsprechend dem Hostsystrem – eine MAC Adresse von Fujitsu sein. Hier ist ein Reset der Konfuguration angebracht.

Reset System Configuration

• Login an ESXi Konsole (DCUI)
• > Reset System Configuration
• Reboot
• Konfigure Keyboard, Login, LAN, DNS, etc.
• Reboot

Ein erneuter Test zeigt den Unterschied:

ESX1

esxcfg-vmknic.pl -l --server 192.168.1.100

Interface  Port Group/DVPort             IP Family IP Address        Netmask           MAC Address       MTU     Type        VMotion
vmk0       Management Network            IPv4      192.168.1.100     255.255.255.0     90:1b:0e:0b:a5:8b 1500    STATIC      Not Available

MAC Adresse: 90:1b:0e:0b:a5:8b

ESX2

esxcfg-vmknic.pl -l --server 192.168.1.101

Interface  Port Group/DVPort             IP Family IP Address        Netmask           MAC Address       MTU     Type        VMotion
vmk0       Management Network            IPv4      192.168.1.101     255.255.255.0     90:1b:0e:0b:cb:1e 1500    STATIC      Not Available

Die MAC Adressen des vmk0 sind jetzt unterschiedlich. Die OUI 901b0e zeigt nun auf FTS, was dem tatsächlichen Hersteller des LAN Adapters entspricht.

  90-1B-0E   (hex)		Fujitsu Technology Solutions GmbH
  901B0E     (base 16)		Fujitsu Technology Solutions GmbH
  				Buergermeister-Ulrich-Strasse 100
				Augsburg Bayern 86199
				GERMANY

 

Ab diesem Punkt verhielten sich die beiden Server völlig normal. Kein Ping Verlust zu den Hosts mehr und die ESX Server können sich gegenseitig mit Ping erreichen.

Ursache

Wie konnte es zu diesen falschen MAC Adressen kommen?

Beide ESX Server booten von USB-Flash Images, die zuvor auf einem virtuellen ESX Server, dem sog. Image-Maker erstellt wurden. Genau hier passiert die Prägung des Kernelports vmk0 auf den (virtuellen) LAN Adapter. Diese Adresse wird auch bei Systemwechsel (Übertragung des Images auf die Zielhardware) nicht verändert!

Vermeidung

Die Produktion fertiger Images ist prinzipiell eine gute Sache. Wie das Beispiel aber zeigte, muss immer als erster Schritt auf dem Zielsystem ein “Reset System Configuration” ausgeführt werden.

Korrektur

Was tun, wenn ein Reset der Konfiguration nicht möglich ist? In diesem Fall genügt laut KB1031111 ein Kommando an der ESX Troubleshooting Konsole (nicht getestet).

esxcfg-advcfg -s 1 /Net/FollowHardwareMac

Nach Reboot des Servers sollte vmk0 die neue MAC Adresse der physischen Hardware erhalten.

Links

• vmware KB1031111 – vmk0 management network MAC address is not updated when NIC card is replaced or vmkernel has duplicate MAC address.