Solid State Speicher ermöglichen dramatische Steigerungen in den Leseraten. Oft jedoch kann das Potenzial nicht ausgeschöpft werden, da die SSD Speicher über das herkömmliche SATA 6Gb/s Interface angebunden sind. Auch SSD Speicher, die als PCIe Karten angeboten werden, sind leider oft nur SSD Disks, die auf eine PCIe Karte verbaut wurden – mit dem gleichen Flaschenhals. Dies hat sich mit der Etablierung des Standards NVM Express geändert. Zwar gab es auch schon SSD Speicher auf PCI-Express Karten, die die SATA Controller Schwachstelle eliminierten, jedoch benötigten diese immer noch den AHCI Stack.
Intel hat derzeit mehrere NVM PCIe Karten-Familien im Portfolio. Die Serien P3500, P3600 und P3700. Alle Karten werden über eine 4x PCI-Express 3.0 Schnittstelle angesprochen, wobei sich die Serie P3700 durch erhöhte Geschwindigkeit und vor allem durch höhere Dauerhaftigkeit in Bezug auf Schreibvorgänge auszeichnet.
intel P3700 2 TB
Die P3700 ist mit 10 drive writes per day angegeben (DWPD 10). Der Wert bezieht sich immer auf einen Zeitraum von 5 Jahren.
Ein DWPD von 10 gibt an, daß das Drive täglich 10 mal über einen Zeitraum von 5 Jahren komplett beschrieben werden kann. Für die 2TB Variante entspricht das 36,5 PB an geschriebenen Daten.
Dies und die hohen IOPS (180k random writes, 460k random reads) waren ausschlaggebend, diese Flashkarte für das Top Tier eines bestehenden Datacore Clusters zu verwenden.
Tier1: intel P3700 2 TB
Tier2: Eternus DX90 (FC) RAID10
Tier3: Eternus DX90 (FC) RAID5
Tier4: SAS (local) NearlineSAS (SATA) RAID5
Setup
Ist diese Kartenserie kompatibel mit DataCore? Dazu die Antwort von Datacore: “Prinzipiell sind alle Karten kompatibel, die von Windows unterstützt werden.”
Zunächst wird der Datacore Host in den Wartungsmodus gefahren und die Karte eingebaut. Nach dem ersten Start findet man ein unbekanntes Gerät im Gerätemanager.
Für den Speichercontroller wird der Intel NVM Treiber benötigt, den man im intel Downloadcenter herunter laden kann.
Die Installation ist nicht weiter spektakulär. Next, next, finish. 🙂
Nach der Installation meldet sich der neue Speichercontroller im System.
Unter Datacore ist eine neue physische Disk zu sehen, die zunächst im Status “locked” ist.
Die neue Disk wird dem bestehenden Diskpool zugeordnet.
Die bisherige Anzahl von drei Tiers muss nun auf vier erweitert werden.
Nun muss Datacore mitgeteilt werden, welchen Tier-Level die neue Disk haben soll. Der Standardwert stimmt in der Regel nicht. Alle anderen physischen Disks müssen entsprechend kontrolliert werden, denn was vorher auf Tier 1 war ist jetzt Tier 2 usw.
Ein Infofenster warnt uns vor den Konsequenzen einer Tier Änderung. SAUs die sich bisher auf dem Top Tier befanden, sind nun auf Tier 2. Ist Auto Tiering aktiv, so wird der Datacore Host so lange Daten verschieben, bis Tier 1 komplett gefüllt ist. Tier 3 und Tier 4 rücken entsprechend nach. Das ganze passiert jedoch nicht schlagartig, sondern wohldosiert und stört den Betrieb der Anlage nicht.
Nach etwa einem Tag kann man sehen, daß die heißen SAUs (dunkelblau) allesamt auf den neuen NVM Flash gewandert sind.
War das notwendig?
Schnelle Hardware ist immer wieder ein nettes Spielzeug, aber die Frage nach der Notwendigkeit muss natürlich gestellt werden. Betrachten wir dazu das ehemalige Top Tier (jetzt Tier 2). Vier RAID 10 aus je 6 Seagate Cheetah 15k SAS II (ST3600057SS) mit je 600 GB.
Eckdaten der Disk: 3,4 ms seek time, 2 ms latency
Daraus errechnet sich ein theoretischer Wert von 185 IOPS pro Platte (vgl. Blogbeitrag zur IOPS Berechnung). Das RAID10 käme demnach auf rechnerische 1.111 IOPS (read). Der Cluster hat sehr ausgewogene Arbeitslasten, weswegen man die read:write relation auf 50% schätzen kann. Das Write-Penalty für RAID10 beträgt 2 (Block schreiben und Spiegelblock schreiben). Bei dieser Gewichtung bleiben von den berechneten 1.111 IOPS für das RAID10 noch etwa 832 Brutto-IOPS übrig. Bei stärker schreiblastigem Verhalten wäre der Brutto Wert noch niedriger (666 IOPS bei R:W = 1:5).
Insgesamt wurden bisher jedem Datacore Server vier gleiche RAID10 als Tier 1 zur Verfügung gestellt. Das ergibt bei obiger Berechnung 3.328 Brutto-IOPS (RW) für Tier 1 (oder entsprechend weniger bei mehr Schreiblast).
Um dies zu untersuchen habe ich für die (nicht representative) Dauer von 70 Minuten Lese- und Schreiboperationen auf den Flash Speicher mitgeschrieben.
Man kann sehr gut erkennen, dass schon innerhalb dieses kurzen Zeitraumes die rechnerische Grenze des RAID10 Tiers erreicht, bzw. überschritten wurde. Somit lässt sich die Frage nach der Notwendigkeit mit einem klaren JA beantworten.
Links
- Tom’s Hardware – Review P3700