Planungsphase
Es gehört zu meinem beruflichen Alltag, mich ständig mit neuen Techniken zu befassen und diese zu auf Praxistauglichkeit zu testen. Einige Produkte kann man sicherlich in einer einfachen VMware Workstation VM installieren, andere jedoch erfordern komplexe multi Server Installationen und komplexe Netze. In der Vergangenheit machte ich solche Tests mit sogenannten “nested” vSphere, oder vSAN Clustern. Dabei werden ESXi Hosts in Virtuellen Maschinen installiert. Der Host Datenspeicher ist wiederum eine virtuelle Disk, die auf der Fesplatte der Workstation liegt. Naja, es funktioniert so gut wie es sich anhört. Man braucht jedoch nicht viel Phantasie sich vorzustellen, dass ein vSAN Cluster mit virtuellen Flash Disks, die letztlich auf drehenden SATA Disks liegen, richtig besch****… ähm, nicht wirklich Spass machen.
Für echte Tests benötige ich “echtes Blech”, wie wir in der IT sagen. Ich schaute mich also längere Zeit nach gebrauchten Servern um. Das Problem dabei ist vielschichtig. Zum einen verwenden viele Kunden Ihre Hardware, bis diese im wörtlichen Sinne auseinander fällt, oder aus der VMware HCL altert. Hardware, auf der man nicht die neuesten Produkte betreiben kann ist letztlich nur noch Elektronikschrott. Zum anderen sind Industrie-Standardserver nicht wirklich bürotauglich. Sie konsumieren soviel Strom wie ein Heizlüfter auf Ecstasy und benötigen viel Platz. Nicht gerade die beste Wahl, um sie neben den Schreibtisch zu stellen.
Ich habe eine Weile nach einer kompakten Lösung gesucht. Die Intel NUC Serie schien zunächst ein möglicher Kandidat zu sein. Intel NUC sind in der Homelab-Szene recht beliebt, da sie klein, leise und nicht sehr teuer sind (zumindest im Vergleich zu einem Server). 🙂 Was mich jedoch vom Kauf abgehalten hat, war der Mangel an Netzwerk-Adaptern und die sehr eingeschränkte Erweiterungsmöglichkeit mit SSD für Caching und Kapazität.
Anfang dieses Jahres machte mich jemand auf die Supermicro E300-9D Serie aufmerksam. Diese Mikroserver sahen vielversprechend aus. Immer noch kompakt, aber ausgestattet mit 8 echten LAN-Ports (davon 4 mit 10 GBit) und M.2 Schnittstellen für NVMe Flash-Speicher. William Lam hat einen ausgezeicheten Blogpost zum E300-9D veröffentlicht. Das kleine Schmuckstück kann mit einem SATA DOM Bootmedium und bis zu drei NVMe Disks bestückt werden. Darüber hinaus ist die E300-9D Serie auf der VMware HCL gelistet. Wie cool ist das denn!?
Das Setup
Wie oben bereits erwähnt, war der Blogpost von William Lam sehr hilfreich für die Planungsphase. Ich habe einige Details verändert, denn ich wollte Intel Optane Speicher als Cache-Tier. Zum Glück hatte ich einen sehr kompetenten technischen Vertrieb bei meinem Supermicro Händler CTT. Dieser wies mich im Vorfeld auf Probleme mit den Baugrößen der ausgewählten Flash-Disks hin. Zusammen fanden wir eine Konfiguration, die ins Chassis eingebaut werden konnte. An dieser Stelle nochmals herzlichen Dank an den technischen Vertrieb von CTT. Gute Arbeit.
| Basiseinheit | Barebone SuperServer SYS-E300-9D-8CN8TP |
| CPU | Intel Xeon D 2146 2,30 GHz single socket |
| NIC | 4x Intel i350, 4x Intel X722 (2 SFP+, 2 10Base-T) |
| PCIe Riser Card | Supermicro Riser Card RSC-RR1U-E8 |
| RAM | 2x Samsung 32 GB reg. ECC DDR4-2666 DIMM SDRAM |
| Boot Medium | Supermicro SATA DOM 16GB SSD |
| Cache Tier | Intel Optane SSD DC P4801X Series – 100 GB SSD – 3D Xpoint |
| Cap Tier | Samsung PM981 1024 GB M.2 PCIe 3.0 x4 NVMe SSD |
| M.2 to PCIe | Supermicro 2-Port NVme HBA |
Wie viele Hosts?
Bekanntlich besteht ein vSAN Cluster aus mindestens 3 Knoten. Das ist erlaubt, hat jedoch den Nachteil, dass jede Wartung an einem Knoten den Cluster in einen kritischen Zustand bringt. Mit vier Knoten lassen sich Objekte verschieben und Wartungsarbeiten können ohne Verlust der Redundanz durchgeführt werden. An dieser Stelle mag man natürlich entgegnen, dass dies für einen nicht-produktiven Homelab-Cluster vertretbar wäre. Das ist richtig. Aber es gibt ein weiteres Argument für vier Knoten: Mit einem All-Flash Cluster und einem 10GBit vSAN Backbone ist es möglich Erasure-Coding (2n+2) zu verwenden. Dafür benötigt man per Definition mindestens 4 Knoten. Neben einer stabilen und leistungsfähigen Plattform für Software-Tests, möchte ich natürlich auch Benchmarks mit der verwendeten Hardware durchführen und beispielsweise Erasure-Coding der Spiegelung (RAID1, FTT1) gegenüberstellen.
Ist es das wert?
Objektiv betrachtet gibt es einen solchen Knoten leider nicht zum Sparpreis – und vier davon schonmal gar nicht. Für den Gegenwert könnte man auch einen schöne Reise zum anderen Ende der Welt machen und dort liebe Menschen wiedersehen, die auf einem kleinen Fleckchen Land im großen blauen Ozean leben. Ein wichtiges Entscheidungskriterium war daher der WAF des Clusters. Ich kann mich glücklich schätzen, dass meine Frau auch ein vGeek ist und es nicht abwarten kann, die neue Hardware in die Hände zu bekommen. Wir sind uns einig, dass Weiterbildung und Praxiserfahrung in der IT unbezahlbar sind. Dieser Cluster ist ein Arbeitsgerät. Was das Boot für einen Fischer, ist der Testcluster für einen IT Spezialisten.