今天一早接到客户电话,说单位内部分用户不能访问网络,我登录检查之后发现存储的一个控制器损坏导致,主要原因概述如下。
当前客户核心业务运行在vSphere虚拟化平台,该单位有3台HP服务器+1台IBM 3524存储,服务器与存储之间采用SAS接口连接,其中2台HP服务器使用SAS线连接到A控制器,另1台HP服务器使用SAS线连接到B控制器,服务器与存储之间无冗余连接。3台HP服务器安装ESXi 6.0配置成HA,所有虚拟机都保存在IBM 3524存储中,当A控制器损坏之后,前2台HP服务器丢失到存储的连接导致部分虚拟机不能启动,因为HA中损坏了2台服务器,HA失效。知道原因之后,让客户将其中1台HP服务器的SAS线连接到B控制器的空闲端口(当前IBM 3524有两个控制器,每个控制器有2个SAS接口,所以B控制器当前有一个端口空闲),将这台服务器重新启动,此时会有2台服务器可以正常工作,之后将业务虚拟机启动,此时单位应用暂时恢复。
在业务恢复之后,因为当前的存储已经过保,所以申请购买新的同型号的控制器,控制器到货之后更换损坏的A控制器,在更换的过程中又发现Slot 8的磁盘即将失效,在更换控制器后同时替换了即将失效的磁盘,下面介绍一下主要的过程与步骤。
(1)进入IBM DS Storage Manager管理软件,可以看到A控制器已经离线,同时有两块盘有×××的五星符号,如图1-1所示。
图1-1 已经离线
【说明】当前示意图中Slot 3与Slot 8都有×××的五星符号,其中Slot 3里面有一块磁盘,因为最初该盘位有点故障帮此盘位未分配到陈列中,故当前磁盘未分配未使用,但此磁盘是一块可用的磁盘,可以将其从盘位取出,放到其他需要的位置;而Slot 8分配为Array-2逻辑磁盘,该磁盘有数据丢失的风险。
(2)在"Recovery Guru"的进一步检查中,看到第8盘位的磁盘即将失效,有数据丢失的风险,如图1-2所示。
图1-2 slot 8磁盘
(3)将损坏的A控制器从存储中拆下,更换上新购置的控制器。
(4)在存储管理中,右击A控制器,在弹出的快捷菜单中选择"Advanced→ Place→ Online"将其置于在线状态,如图1-3所示。
图1-3 将控制器置于在线
(5)控制器处于在线状态,如图1-4所示。
图1-4 控制器在线
但控制器在线后,连接A控制器的服务器没有发现LUN,近一步检查发现A控制器的flash状态不对,如图1-5所示。
图1-5 A控制器的flash状态不对
估计控制器在快递过来的过程中,可能有颠簸或其他原因导致控制器中的SD卡(是一个8GB的高速缓存卡)松动,或者有问题。将新安装上的控制器设置为"离线状态",打开控制器,将原来损坏的控制器的SD卡插到新购置的控制器中。
(6)右击A控制器,在弹出的快捷菜单中选择"Advanced→ Place→ Offline"将其置于离线状态,如图1-6所示。
图1-6 将控制器置于离线状态
(7)在弹出的"Confirm Place Offline"对话框中单击"yes"按钮确认,如图1-7所示。
图1-7 确认设置为离线
(8)当控制器A处于离线之后,拆下控制器,如图1-8所示。然后换上原来损坏控制器的SD卡,重新插上控制器。
图1-8 控制器处于离线状态
(9)再次将控制器设置为在线状态,此时看到SD卡状态正常,如图1-9所示。
图1-9 控制器正常
此时连接到A控制器的服务器应该能发现存储分配的LUN,如果不能发现LUN,则可以在"Storage & Copy Services",右击LUN在弹出的快捷菜单中选择"Change→ Ownership/Preferred Path"选择"Controller in Slot A",如图1-10所示。
图1-10 更换LUN到A控制器
对于盘位8即将失效的磁盘,可以将其置于"Fail"然后用热备磁盘代替,然后在盘位8换上新的磁盘即可,主要步骤如下。
(1)右击Slot 8的磁盘在弹出的快捷菜单中选择"Advanced→ Fail",如图1-11所示。
图1-11 将磁盘设置为失败
(2)在弹出的"Confirm Fail Drive"对话框中输入yes然后单击"OK"按钮,如图1-12所示。
图1-12 确认设置
(3)右击Slot 6(这个盘位的磁盘是热备磁盘),在弹出的快捷菜单中选择"Hot Spare Converage",如图1-13所示。
图1-13 热备磁盘转换
(4)在弹出的"Hot Spare Drive Options"对话框中选择"Automatically assign drives",然后单击"OK"按钮,如图1-16所示。
图1-16 自动分配驱动器
(5)在"Replace Drives"对话框中将显示将Slot 8的失效的磁盘替换到Slot 6,如图1-17所示。
图1-17 替换驱动器
(6)返回到"Storage & Copy services"对话框,浏览LUN可以看到涉及到逻辑磁盘会重建,如图1-18所示。当时的时间是10点02。
图1-18 磁盘重建
(7)此时可以将盘位8的磁盘拆下,换上新的同容量的磁盘。等图1-18重构完成之后,盘位8的磁盘会被替换回来,如图1-19所示。此时盘位8的磁盘有个×××的五星标志,而盘位6的有个红色的十字标志。
图1-19 替换磁盘
(8)在"Storage & Copy services"对话框浏览涉及到的LUN,可以看到状态变为"Copyback Progress data unavailable",当前时间是22:23分,复制过程进行了大约60%,如图1-20所示。因为在替换Slot 8的时间大约是上午10点,时间到现在大约过了12小时,以此计算,整个更换、替换磁盘所需要时间大约15小时。
图1-20 复制过程
(9)第二天早晨7点33分检查,复制进度已经完成,如图1-21所示。
图1-21 复制完成
(10)在"Hardware"选项卡中单击Slot 8,可以看到当前磁盘已经分配到Array-2,原来Slot 6仍然变为热备磁盘,如图1-22所示。至此整个维护完成。
图1-22