实验环境
实验选择HPE 3PAR作为storage server, 通过Fiber Channel 连接 ESXi hosts, 3个ESXi 组成cluster, 被vCenter管理. 实验环境没有启用vSAN, 集群的datastore以local disks 和 SAN storage构成.
如果VM需要添加disk, 我们会在3PAR上创建volume, 依次export到3台ESXi主机, 这个volume以RDM(Raw Disk Mapping)的形式直接与VM相连, 作为VM的一块local disk.
因此我们这里创建了一台VM, 并为他添加额外一块disk作为数据盘, 至此虚拟机上有2块硬盘,一块是安装了OS的系统disk, 另外一块是用于存储数据的虚拟磁盘,来自于3PAR.
VM: 30.80.133.18
DISK1: OS disk 100G
DISK2: Data disk 154G(RDM from 3PAR)
备份Backup
对数据盘(Disk2)进行pvcreate操作, 创建相应的PV, 显示如下
cqaljnh0sh:~ # pvs
PV VG Fmt Attr PSize PFree
/dev/mapper/360002ac00000000047002ba00001aab6 datav lvm2 a-- 153.98g 4.00m
基于上一步创建的PV, 创建VG "datav", 显示如下
cqaljnh0sh:~ # vgs
VG #PV #LV #SN Attr VSize VFree
datav 1 1 0 wz--n- 153.98g 4.00m
创建LV "lvol0", 格式化后mount到目录/sap/data, 显示如下
cqaljnh0sh:~ # lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
lvol0 datav -wi-ao---- 153.98g
cqaljnh0sh:~ # mount -l | grep lvol0
/dev/mapper/datav-lvol0 on /sap/data type ext4 (rw,relatime,stripe=4096)
添加数据到/sap/data目录, 并创建文件作为标记
cqaljnh0sh:~ # ll /sap/data/
total 40
-rw------- 1 root root 18937 Dec 8 04:18 agent-installer-221201.log
drwx------ 2 root root 16384 Dec 5 08:40 lost+found
-rw-r--r-- 1 root root 35 Dec 5 09:50 test.log
cqaljnh0sh:~ # cat /sap/data/test.log
this is test file for base volume.
在3PAR端, 为这个volume创建snapshot, 并且export snapshot给3个ESXi hosts. 至此先不要为VM添加这个RDM.
PLNN13PAR8-SAP cli% showvv N1TRLNTh98Yu94T7hZRdPgMQPavJ.SP
-Rsvd(MiB)- -(MiB)-
Id Name Prov Compr Dedup Type CopyOf BsId Rd -Detailed_State- Snp Usr VSize
44664 N1TRLNTh98Yu94T7hZRdPgMQPavJ.SP snp NA NA vcopy N1TRLNTh98Yu94T7hZRdPgMQPavJ 11168 RW normal -- -- 157696
---------------------------------------------------------------------------------------------------------------------------------------
1 total 0 0 157696
现在模拟误操作破坏了/sap/data目录数据, 删掉其中一个文件, 更改另一个文件内容.
cqaljnh0sh:~ # rm -f /sap/data/agent-installer-221201.log
cqaljnh0sh:~ # vi /sap/data/test.log
cqaljnh0sh:~ # ll /sap/data/
total 20
drwx------ 2 root root 16384 Dec 5 08:40 lost+found
-rw-r--r-- 1 root root 49 Dec 8 04:38 test.log
cqaljnh0sh:~ # cat /sap/data/test.log
this is test file, change content after snapshot
恢复部分文件Restore
由于上个步骤模拟了文件损坏的场景, 我们现在需要恢复损坏的文件, 而不是恢复整块磁盘数据. 如果需要整个volume的恢复, 可以直接3PAR promote snapshot to base volume就可以了.
以防万一, 操作之前建议备份好现有LVM structure, 需要的时候通过vgcfgrestore命令恢复LVM structure.
我们这里有开机和关机两种办法来添加snapshot RDM disk给VM,
cqaljnh0sh:~ # vgcfgbackup -f restore.sp datav
-
HOT 开机添加
unmount LV "lvol1" 和文件目录, de-active 我们所要操作的VG "datav",
cqaljnh0sh:~ # umount /sap/data/
cqaljnh0sh:~ # vgchange -a n datav
0 logical volume(s) in volume group "datav" now active
给VM添加snapshot的RDM disk, 然后remove 原来"Hard Disk2". VM reconfigure 结束后, active VG "datav", 并mount "lvol1"到/sap/data目录
cqaljnh0sh:~ # vgchange -ay datav
1 logical volume(s) in volume group "datav" now active
cqaljnh0sh:~ # mount /dev/datav/lvol0 /sap/data/
-
Cold 关机添加
Shutdown VM, 给VM添加snapshot的RDM disk, 然后remove 原来"Hard Disk2". VM reconfigure 结束后, startup VM, 检查PV/VG/LV状态
cqaljnh0sh:~ # pvscan
PV /dev/sda3 VG vg00 lvm2 [98.80 GiB / 5.80 GiB free]
PV /dev/mapper/360002ac0000000004700ae780001aab6 VG datav lvm2 [153.98 GiB / 4.00 MiB free]
Total: 2 [252.79 GiB] / in use: 2 [252.79 GiB] / in no VG: 0 [0 ]
cqaljnh0sh:~ # vgscan | grep datav
Found volume group "datav" using metadata type lvm2
cqaljnh0sh:~ # lvscan | grep lvol0
ACTIVE '/dev/datav/lvol0' [153.98 GiB] inherit
我们可以看到, 所有的PV/VG/LV都是正常的, 不需要任何多余的配置.
保存data, 恢复损坏文件
接下来我们检查恢复后的数据
cqaljnh0sh:~ # ll /sap/data/
total 44
drwxr-xr-x 6 root root 4096 Dec 2 07:34 acf
drwx------ 2 root root 16384 Dec 2 07:29 lost+found
-rw------- 1 root root 18937 Dec 2 07:33 agent-installer-221201.log
-rw-r--r-- 1 root root 53 Dec 5 07:38 test.log
cqaljnh0sh:~ # cat /sap/data/test.log
this is test file for base volume.
我们可以看到删除掉的文件恢复回来, 修改过的文件也回到原来. 保存恢复过的data到安全的地方, 为以后覆盖损坏的data做好准备.
保存好数据后, 我们采取以上同样的办法挂回原来的数据volume, 最后Copy 恢复的数据到损坏的目录.
