ESXi Bootmedium – Neue Anforderungen in v8

Die Anforderungen an ESXi Bootmedien haben sich mit ESXi v7 Update3 grundlegend gewandelt. Die Partitionierung wurde verändert und auch die Anforderungen an die Belastbarkeit des Mediums waren gestiegen. Ich hatte darüber in meinem Blogartikel “ESXi Bootmedium – Neuerungen in v7” berichtet.

USB-Bootmedien erwiesen sich als nicht robust genug und wurden daher ab v7U3 nicht mehr unterstützt. Es ist zwar immer noch möglich, ESXi auf ein USB-Medium zu installieren, jedoch muss dann die ESX-OSData Partition auf einen dauerhaften Speicher umgeleitet werden.

Achtung! USB-Medien und SD-Karten sollten nicht für produktive ESXi Installationen verwendet werden!

Erlaubte Ziele für die ESXi Installation

SD-Karten und USB-Medien scheiden als Installationsziel wegen ihrer schlechten Write-Endurance aus. Weiterhin erlaubt und empfohlen sind dagegen magnetische Disks, SSD und SATA-DOM (Disk-on-Module).

SATA-DOM auf Supermicro E300-9D

Neue Anforderungen ab ESXi v8

Mein Homelab lief bisher unter vSAN 7 und damit unter der klassischen OSA-Architektur. Um den Cluster unter der neuen vSAN ESA Architektur zu betreiben, brauchte es vSphere 8 und neue Speichergeräte.

Ich habe die Installation und Hardware-Kompatibilität auf einem 64 GB USB-Medium getestet (nicht empfohlen!). Während der Installation gab es erwartungsgemäße Warnungen bezüglich des USB-Mediums. Dennoch konnte ich erfolgreich die Erkennung der NVMe Devices und das vCenter Deployment testen.

Setup Warnung bei installation auf ein USB-Flashmedium

Nach erfolgreicher Testphase installierte ich ESXi 8U2 auf das SATA-DOM meines Supermicro E300 Servers. Zu meiner Überraschung scheiterte das Setup sehr früh mit der Meldung: “disk device does not support OSDATA“.

RTFM

Die Erklärung hierfür ist simpel: “Read the fine manual!”

Mein 16 GB SATA-DOM von Supermicro war schlicht zu klein.

Der Setup-Guide für ESXi 8 benennt die Anforderungen ganz klar inter dem Punkt “Storage Requirements for ESXi 8.0 Installation or Upgrade“:

For best performance of an ESXi 8.0 installation, use a persistent storage device that is a minimum of 32 GB for boot devices. Upgrading to ESXi 8.0 requires a boot device that is a minimum of 8 GB. When booting from a local disk, SAN or iSCSI LUN, at least a 32 GB disk is required to allow for the creation of system storage volumes, which include a boot partition, boot banks, and a VMFS-L based ESX-OSData volume. The ESX-OSData volume takes on the role of the legacy /scratch partition, locker partition for VMware Tools, and core dump destination.

VMware vSphere product doumentation

Mit anderen Worten: Neuinstallationen benötigen ein Bootmedium von mindestens 32 GB (128 GB empfohlen) und Upgrade von einer ESXi v7 Version benötigt mindestens 8 GB, jedoch muss in dieser Installation die OSData Partition bereits auf einen alternativen Datenträger umgeleitet sein.

Dirty Trick?

Natürlich versuchte ich es mit einem schmutzigen Trick. Ich installierte zunächst erfolgreich ein ESXi 7U3 auf dem 16 GB SATA-DOM und führte danach eine Upgrade Installation auf v8U2 durch. Auch dieser Versuch scheiterte, da in der frischen v7 Installation der OSData Bereich nicht umgeleitet wurde.

Ich möchte keine Installation auf einem USB-Medium durchführen, da ich bereits zu viele Fälle gesehen habe, in denen diese Medien versagt haben. Bleibt eigentlich nur die Investition in ein größeres SATA-DOM.

Ich habe mich für das 64-GB-Modell entschieden, da es ein guter Kompromiss zwischen Mindestanforderungen und Wirtschaftlichkeit ist.

VMware vSAN 8 – vSAN reloaded

VMware vSAN wurde vor etwa 10 Jahren entwickelt. Wir schreiben das Jahr 2012. Als Datenspeicher kamen überwiegend magnetische Disks zum Einsatz und Flashmedien wurden praktisch in Gold aufgewogen. In dieser Zeit entstand die Idee hinter vSAN. Hybride Datenspeicher mit drehenden Spindeln für Massendaten und Flashmedien als Cache. Flashdevices verwendeten in dieser Zeit die gleichen Interfaces und Protokolle wie magnetische Disks. Somit konnten sie ihr volles Potenzial nur schlecht entfalten. Es gab immer den Flaschenhals des Interfaces.

Heute – gute 10 Jahre später – haben wir modernere Flashspeicher mit hoher Datendichte und leistungsfähigen Protokollen wie z.B. NVMe. Der Preis pro TB liegt bei Flash inzwischen auf Augenhöhe mit magnetischen SAS-Disks, wodurch magnetische Disks praktisch abgelöst wurden. Hinzu kommen höhere mögliche Bandbreiten im Netzwerk, höhere Core-Dichte in der CPU, sowie ganz neue Anforderungen wie z.B. ML/AI oder Container. Die Zeit ist also reif für eine neue Art der vSAN-Datenspeicherung, die das Potenzial neuer Speichertechnologien voll ausschöpfen kann.

vSAN Express Storage Architecture (ESA)

Um es vorweg zu nehmen: Die vSAN ESA Architektur ist eine optionale Datenspeicherarchitektur. Es wird weiterhin das herkömmliche Diskgruppen-Modell geben – auch unter vSAN 8.

VMware vSAN ESA ist eine flexible Single-Tier Architektur. Das heisst sie kommt ohne Diskgruppen aus und es wird nicht mehr in Cache- und Capacity-Layer unterschieden. Sie ist optimiert auf die Verwendung moderner NVMe Flashspeicher. Alle Storage-Devices eines Hosts werden in einem Storage-Pool zsammengefasst.

vSAN ESA Architektur (Quelle: VMware)

Es gibt keinen Upgrade-Pfad vom Diskgruppen Modell zu ESA. Die neue Architektur kann also nur in Greenfield-Bereitstellungen genutzt werden. Die vSAN Knoten müssen ausdrücklich hierfür zertifiziert sein. Es wird spezielle vSAN ReadyNodes für ESA geben.

„VMware vSAN 8 – vSAN reloaded“ weiterlesen