在讲数据保护之前,我们首先要知道数据保护最基本的概念——3-2-1数据备份原则。
随着企业级容灾备份领域的发展,传统的3-2-1数据备份原则具体已经逐渐被很多人忘记,但是它已经演化成为各种企业级数据保护方案最基本的概念。然而下放到消费级而言,这个概念对于消费者玩家而言,依然行之有效。它可以提供安全的数据保护,以及遇到灾难后的数据还原。
数据备份的3-2-1规则规定,应在两个不同的存储介质上至少存储三个数据副本或版本,其中一个不在现场设施中存储。以下了解这三个要素中的每个要素及其要解决的问题:
咱们后面也会在HBS3中讲到如何通过威联通NAS来进行3-2-1数据备份原则的实施。
数据保护(硬盘层面、NAS层面)在消费级NAS玩家层面,技术的发展让无论是NAS还是硬盘厂商针对主体数据也拥有更多的保护措施。这些保护措施一般分为NAS层面和硬盘层面。两者又分别采用了众多技术来保证数据安全。
NAS以威联通TS-551为例,这包括有阵列冗余概念、Qtier技术、存储池概念、快照概念、HBS3混合云存储概念、档案层级与与区块层级备份等等。此外,威联通还推出全快闪、QuTS Hero等新技术用来更好的保护数据,玩家可以去了解体验。
希捷酷狼(技术的实际应用)首先,我们介绍希捷酷狼系列和酷狼Pro系列硬盘采用的数据保护技术,以及这些技术在实际生活中产生的影响。
希捷酷狼和酷狼Pro系列的可靠性测试包括有平均故障间隔时间、为期 6 周的可靠性测试,以及温度、电压、腐蚀、冲击和振动以及声学等检查测试,这些测试极其严苛,以确保该系列的高质量与高可靠性。
AgileArray 技术(内置)AgileArray技术是希捷酷狼系列的核心技术,它针对硬盘在 NAS 网络存储环境进行了优化。AgileArray 拥有全球最先进的硬盘电源管理,这个最先进的“最”字并不是虚的,它是确切的描述。它支持在多盘位环境中实现硬盘的双面平衡和 RAID 优化。
我们需要在威联通NAS后台(存储与快照总管→磁盘/VJBOD),点击具体硬盘,打开IronWolf运行状况管理里面对硬盘进行定期测试,从而通过持续分析和诊断关键参数,从而全面监控NAS设备中硬盘的健康状况,比如,该软件可以监测温度、冲击、摄动和湿度在内的多项运行参数信息,为用户提供预防措施和建议,避免潜在问题的发生,确保NAS硬盘的健康运转。
3年原厂数据救援服务(祝大家用不到)今年9月份,希捷宣布其全线的希捷酷狼(IronWolf)和酷狼Pro(IronWolf Pro)系列存储产品均配备3年内免费原厂数据救援服务(Seagate Rescue Data Recovery Services,SRS)1次。 希捷数据救援服务是业界首家原厂全面数据救援服务,其覆盖范围非常广泛,不仅帮助希捷的用户恢复珍贵数据,同时还将服务延伸到其他品牌的用户,成为众多用户珍贵数据的忠实卫士。
这张图是威联通 QTS 的存储系统架构,底层是物理硬盘,上层是逻辑存储区域。物理硬盘 HDD/SSD 构成存储池 Storage Pool,存储池之上划分卷 Volume,卷上划分共享文件夹 Shared Folder。
用我们平常使用的 Windows 系统进行类比:
1、Shared Folder 相当于 Windows 下的一个文件夹,可以单独配置用户的存取(Access)权限。
2、Volume 即是逻辑分区,例如 C 盘、D 盘这样的。
3、Storage Pool 即是对底层硬盘的一层逻辑封装,将 RAID 等底层细节隐藏,不暴露给上层的操作系统或应用程序。当底层硬盘发生更换、故障时,都不会影响上层系统的运行(前提是你做了 RAID1 等冗余设置)。
4、Hard Drives 即是在现实中真实存在的硬盘本体。
通过HDD/SSD 构成存储池 Storage Pool的过程就是使用磁盘阵列(RAID)来进行。
磁盘阵列(Redundant Arrays of Independent Disks,RAID),有“独立磁盘构成的具有冗余能力的阵列”之意。磁盘阵列是由很多价格较便宜的磁盘,组合成一个容量巨大的磁盘组,利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术,将数据切割成许多区段,分别存放在各个硬盘上。
简而言之,RAID可以提供安全性、读写性能、存储池容量,具体根据阵列类型而定!
RAID方案常见的可以分为6种。
JBOD、RAID 0、RAID 1、RAID 5、RAID 6、RAID 10
JBOD(Just a bunch of disk)严格上来说不是一种RAID,因为它只是简单将多个磁盘合并成一个大的逻辑盘,并没有任何的数据冗余。数据的存放机制就是从第一块磁盘开始依序向后存储数据。如果某个磁盘损毁,则该盘上的数据就会丢失。
RAID 0无冗余备份,存储池包含所有硬盘容量,硬盘全部用来提升读写能力。简单而言:假设10块硬盘组成RAID 0阵列,存储池读写能力变成单个硬盘的读写能力的10倍!硬盘只要损坏一块,阵列内所有硬盘的数据会立刻丢失。
RAID 1是一种镜像磁盘阵列,其原理就是把一块硬盘的数据以相同位置指向另一块硬盘的位置。RAID 1又称为Mirror或Mirroring,它的宗旨是最大限度的保证用户数据的可用性和可修复性。它只支持2块硬盘。存储池容量只有单块硬盘容量大小,不能提高存储性能,硬盘可以允许随机损坏一块。它的高数据安全性,尤其适用于存放重要数据,如服务器和数据库存储等领域。
RAID 5将数据以块为单位分布到各个硬盘上。RAID5不对数据进行备份,而是把数据和与其相对应的奇偶校验信息存储到组成RAID5的各个磁盘上,并且奇偶校验信息和相对应的数据分别存储于不同的磁盘上。当RAID5的一个磁盘数据损坏后,利用剩下的数据和相应的奇偶校验信息去恢复被损坏的数据。它的容量为(n-1)块硬盘总容量,存储性能提升(n-1)倍,硬盘可以允许随机损坏一块。
RAID 6同RAID5一样,数据和校验码都是被分成数据块然后分别存储到磁盘阵列的各个硬盘上。RAID6加入了一个独立的校验磁盘,它把分布在各个磁盘上的校验码都备份在一起,这样RAID6磁盘阵列就答应多个磁盘同时出现故障,它会进行两次奇偶校验,以提供写入保护,因而RAID 6的写入速度小于其它级别的RAID。RAID 6容量为(n-2)块硬盘总容量,存储性能提升(n-2)倍,硬盘可以允许随机损坏2块。但是在4块硬盘的情况下,RAID 6的计算相较于RAID 10而言会更加密集,所以重建速度较慢。
RAID 10其实结构非常简单,首先创建2个独立的RAID 1,然后将这两个独立的RAID 1组成一个RAID 0,RAID 10容量为2块硬盘总容量,存储性能提升2倍,硬盘可以防止两个磁盘同时出现故障,但是这两块硬盘不能是存储同一份数据的硬盘。如果发生意外,RAID 10重建速度较RAID 6更快。
大家对于各种RAID 磁盘阵列的选择,拥有太多种方式,我随意列举几种资深老玩家的方法:
1、一个存储池 :RAID 5+1(一块热备盘)
2、一个存储池:RAID1 + 剩下都是静态卷
3、一个存储池 :RAID 10
4、一个存储池 :RAID 6
5、两个存储池:RAID 1,RAID 5
6、全部静态卷。根据文件重要程度,按需手动备份多块硬盘
建立完存储池后就需要在上面建卷,威联通又提供静态卷、厚卷、精简卷三种卷形式。
Qtier几点特色值得一说:
1、自动学习。
用户可以启用自动排程,由系统主动分析存储池读取及写入的 I/O 量,决定适合的时间点进行数据分层转移,并自动调整数据迁移的速度。智能数据感知的学习机制每一天都会运作,让存储效率达到最佳。
2、智能感知 (IO Aware),性能提升更明显。
系统将在 SSD 层将能保有预留空间,随时支援临时出现的高随机读写重要应用,提供如同 SSD 高速缓存般加速 IOPS 性能的好处。此功能将可避免若 SSD 层空间已完全被占用,而无法应付突如其来的高密集存取重要应用的需求。随选即用
3、随选随用,自定义配置。
Qtier 在每个阶段都可弹性启用,不再受限于一开始建立存储池时的设定。您可依应用需求弹性为 NAS 安装 SSD、QM2 扩充卡,或连接存储扩充设备,再透过存储与快照总管,将单一存储池自由加入新的分层,并立即升级启用 Qtier。
玩家需要在建立存储池的时候,选择启用Qtier。作者使用2块酷狼110系列 240GB 固态硬盘组成RAID 1 作为超高速层,使用3块希捷酷狼Pro 6TB 机械硬盘组成RAID 5 作为容量层。
SSD高速缓存技术(需掌握并使用)与Qtier相似的技术是SSD高速缓存技术,基本所有NAS厂商都有。这个技术类似于将SSD作为HDD的SLC Cache来使用,从而有效提升磁盘访问的 IOPS 性能。
开启这个也十分简单,只需要选定磁盘,选择高速缓存类型即可,包括RAID类型。
高速缓存类型包括有:只读高速缓存,读写高速缓存,只写高速缓存。根据选择的种类不同,SSD选择的RAID不同,用来加速的场景也不同。
1、对于只读高速缓存,可以使用RAID0来提高性能,因为不存在丢失数据的风险。
2、对于读写高速缓存和只写高速缓存,应当使用受保护的RAID类型(RAID1、5、6、10)来保护高速缓存中的数据。对于多个SSD,为了获得最佳写入性能,应当使用RAID 10。
Qtier 与 SSD高速缓存 孰优孰劣?作者接下来会针对三种情况进行测试:
Qtier技术:作者使用2块希捷酷狼110系列 240GB 固态硬盘组成RAID 0 作为超高速层,使用3块希捷酷狼Pro 6TB 机械硬盘组成RAID 5 作为容量层。
SSD高速缓存:作者使用3块希捷酷狼Pro 6TB 机械硬盘组成RAID 5 ,使用2块酷狼110系列 240GB 固态硬盘组成 RAID 0 作为SSD高速读写缓存。
混合使用:作者使用3块希捷酷狼Pro 6TB 机械硬盘组成RAID 5 ,使用1块酷狼110系列 240GB 固态硬盘,两者组成Qtier混合存储,再来1块酷狼110系列 240GB 固态硬盘作为高速读写缓存。
目前威联通快照支持的各种参数如下。
最后,快照功能是万无一失的吗?
不是的,快照功能是建立在存储池之上的,它只能保证建立在存储池上的卷数据不被丢失,但是如果存储池崩了,它对于数据的保护也是无能为力。
HBS3 (多重备份)威联通Hybrid Backup Sync 3(HBS3)是将数据备份、复原、同步等功能整合到一个应用里面,通过USB单键备份、Time Machine备份、RTRR远程备份(或通过RTRR、Rsync、FTP、CIFS/SMB文件同步等作法)等超强备份功能可以将 QNAP NAS 中的数据备份或同步到另一台 QNAP NAS、远程服务器或云服务中。