Einen Datenspeicher vom ESXi Host entfernen klingt zunächst einfach, aber gerade hier kann man sehr viel falsch machen.

Wird die LUN nicht richtig entfernt, so kann es zum All-Paths-Down (APD) Phänomen kommen. Hier ist eine LUN über keinen ihrer Pfade erreichbar. Im schlimmsten Fall kann sich das sogar auf unbeteiligte LUNs auswirken. D.h, eine VM wird unerreichbar, weil eine andere LUN im Cluster sich im Zustand APD befindet. Letzteres Phänomen wurde in vSphere 4.1 U1 beseitigt.

APD kann auftreten durch:

• Hardwareausfall
• unsachgemäße Entfernung einer LUN (z.B. Storage seitige Maskierung, oder Zoning)

Unter vSphere4 gibt es nur APD und es wird nicht zwischen temporärem oder dauerhaftem Verlust unterschieden. Der ESX nimmt an, daß der Datastore noch verfügbar ist und versucht dauernd die Verbindung wieder herzustellen, indem er SCSI Kommandos an das Device sendet. Dies wirkt sich auf die Management Agenten aus. Ihre Kommandos werden nicht beantwortet, bis das Device wieder verfügbar ist. Daher wird der ESXi Knoten nicht erreichbar für das vCenter.

Unter vSphere 5 unterscheidet man zwischen APD und Permanent Device Loss (PDL). Erhält ein ESX5 Knoten eine Antwort vom Storage Device (SCSI Sense Code) wie etwa “LOGICAL UNIT NOT SUPPORTED”, so wird er nicht weiter versuchen das Speichergerät neu zu verbinden und bleibt für z.B. vCenter erreichbar.

Symptome:

APD

• Datenspeicher im Storageview unerreichbar
• Gerätestatus im Storageadapter “dead” oder “error”
• Alle Pfade zum Gerät als “dead” bezeichnet
• Keine Verbindung mit vSphere  Client auf ESXi Host möglich
• ESXi Host erscheint im vCenter als “disconnected”
• Neustart der Management Agenten liefert Fehlermeldung

Not all VMFS volumes were updated; the error encountered was ‘No connection’.
Errors:
Rescan complete, however some dead paths were not removed because they were in use by the system. Please use the ‘storage core device world list’ command to see the VMkernel worlds still using these paths.
Error while scanning interfaces, unable to continue. Error was Not all VMFS volumes were updated; the error encountered was ‘No connection’.

 

PDL

• Datenspeicher im Storageview unerreichbar
• Gerätestatus im Storageadapter “communication lost”
• Alle Pfade zum Gerät als “dead” bezeichnet

Geplanter PDL / Gerät entfernen

vSphere 4.x

Möchte man eine LUN / Device regelgerecht entfernen, so sind folgende Schritte auszuführen:

• VM auf dem Datastore müssen migriert, oder ausgeschaltet und deregistriert werden
• Unter Hosts & Clusters > Configuration > Storage > Datastore die LUN vom Host trennen (unmount im Kontextmenü). Unmount Vorgang für alle Hosts wiederholen. Die LUN wird grau in der Übersicht.
• LUN löschen. Wenn alle Hosts von der LUN getrennt sind (unmount beendet), kann diese gelöscht werden. Dies mus nur an einem der Hosts durchgeführt werden.
• Nun kan das Device entfernt werden. Dazu im vSphere Client den ESX Host markieren > Configuration > Storage > Devices.

• Kontextmenü des Geräts (Datastore) aufrufen und Detach wählen. Dies funktioniert nur wenn keine LUN mehr auf dem Device vorhanden ist.

• Sicherheitsabfrage bestätigen
• Detach Operation triggert einen Unmount
• Vorgang auf allen Hosts ausführen, die mit dem Datastore verbunden waren
• LUN auf Storage Seite maskieren oder löschen.

vSphere 5.x

Bevor ein Device entfernt werden kann müssen folgende Voraussetzungen erfüllt sein:

• Es befinden sich keine VMs auf dem Datenspeicher
• Der Datenspeicher ist nicht Teil eines DRS Clusters
• Der Datenspeicher wird nicht von DRS verwaltet
• SIOC ist für diesen Datenspeicher deaktiviert
• Der Datenspeicher wird nicht für HA Heartbeating verwendet

Durchführung

• Home > Inventory > Datastores & Datastore Clusters. Den Datenspeicher auswählen und mit Rechtsklick den Menüeintrag “Unmount” ausführen. Im Dialog die Hosts wählen von denen der Datenspeicher getrennt werden soll. Es folgt eine Überprüfung der Voraussetzungen (vgl. Bild).

Voraussetungen erfüllen

• Datastore in den SDRS Wartungsmodus versetzen (falls er Teil eines SDRS Clusters ist).
• Datastore aus dem SDRS Cluster entfernen (Drag & Drop). Vom SDRS Cluster auf das Datacenter ziehen (Rootlevel).
• SIOC deaktivieren
• Datastore für HA Taktsignale deaktivieren.

Device entfernen

• im vSphere Client den ESX Host markieren > Configuration > Storage > Devices. Im Kontexmenü das zu entfernende Device mit “detach” entfernen. Es erfolgt eine Sicherheitsprüfung, ob alle Voraussetungen erfüllt sind.
• Den Vorgang für alle Hosts wiederholen.

Die Knowledgebase von vmware liefert hierfür detaillierte Anweisungen für ESX4 und ESX5.

VMware hat eigens für diesen Vorgang ein Trainingsvideo erstellt:
How to Remove Storage Devices from ESXi Hosts

 

Entfernung per Skript

In Umgebungen mit sehr vielen ESX Knoten kann das Verfahren natürlich recht mühsam werden. Daher wir in der Knowledgebase unter KB2004605 (ex. KB 2011506) ein Verfahren zum skriptgesteuerten Enftfernen beschrieben.

Weitere Informationen:

• VMware vSphere Blog: Handling the All Paths Down (APD) condition
• VMware vSphere Blog: How to correctly remove a LUN from an ESX host
• VMware KB: Permanent Device Loss (PDL) and All-Paths-Down (APD) in vSphere 5.0
• VMware KB: Interpreting SCSI sense codes
• VMware KB: Unmounting a LUN or Detaching a Datastore/Storage Device from multiple ESXi 5.x hosts
• vSphere5 Documentation Center: Speichergeräte trennen