Inspur AS13000G5-E36 ユーザーマニュアル

  • こんにちは!浪潮AS13000ストレージシステムの技術白書を読みました。ファイル、オブジェクト、ブロック、ビッグデータストレージといった機能や、そのアーキテクチャ、信頼性、セキュリティに関する詳細な情報を理解しています。AS13000に関するご質問がありましたら、お気軽にお尋ねください。
  • AS13000はどのような種類のストレージサービスを提供していますか?
    AS13000の拡張性はどの程度ですか?
    AS13000はどのようなデータ冗長性方式をサポートしていますか?
    AS13000の管理方法はどのようなものですか?
浪潮存储系统 AS13000
技术白皮书
文档版本 4.4
发布日期 2019-05-31
适用 FW 版本 3.7.3.16
AS13000 技术白皮书
ii
浪潮专有和保密信息
版权所有 © 济南浪潮数据技术有限公司
尊敬的存储系统用户:
衷心感谢您选用了浪潮存储系统!
本手册介绍了本存储系统的产品架构系统技术以及高级功能等,有助于您更详细地了解和
便捷地使用本款存储系统
浪潮拥有本手册的版权。
未经浪潮许可,任何单位和个人不得以任何形式复制本手册。浪潮保留随时修改本手册的权
利。
本手册中的内容如有变动恕不另行通知。
如果您对本手册有疑问或建议,请向济南浪潮数据技术有限公司垂询。
技术服务电话:
4008600011
址:
中国济南市浪潮1036
济南浪潮数据技术有限公司
编:
250101
AS13000 技术白皮书
iii
浪潮专有和保密信息
版权所有 © 济南浪潮数据技术有限公司
版本控制
文档版本 4.4 2019-03-30
第九次正式发布
新增大数据HDFS 相关内容。
更新硬件图片。
新增支持 NFS v4,支持 Manila 主机插件
性能优化技术:更新负载均衡章节。
高级功能:更新配额管理中目录配额章节
文档版本 4.3 2019-02-28
第八次正式发布
WORM 章节:修bug
文档版本 4.3 2019-01-14
更新硬件信息
产品架构:删除大数据、HDFS 相关内容。
系统可靠性技术:更新回收站章节,增加卷回收站。
高级功能:更新配额管理章节,新增卷配额;更新 WORM 章节,增加桶和对
WORM;更新精简配置章节,块存储厚置备卷与精简卷;更新快照管理章
节,新增可写快照和一致性组快照;新增数据压缩、元数据检索章节。
系统安全性技术:新增访问安全中桶策略、iSCSI LUN 粒度权控章节。
技术规格:刷新技术规格列表。
文档版本 4.2 2018-10-12
第七次正式发布
软件特性:修改权限管理负载均衡、对象配额多版本管理、桶生命周期、分片
上传、精简配置、快照管理、克隆章节内容描述。
文档版本 4.12018-07-15
第六次正式发布
修改文档框架,刷新文档内容。
AS13000 技术白皮书
iv
浪潮专有和保密信息
版权所有 © 济南浪潮数据技术有限公司
第一章节为概述。
第二章节为产品架构
第三章节为分布式文件系统。
第四章节为系统可靠性技术,包含数据冗余保护、快速重构、NVDIMM回收
站。
第五章节为系统安全性技术,含权限管ACL访问审计、访问安全等
内容。
第六章节为性能优化技术,包含小文件聚合、负载均衡。
第七章节为高级功能,主要包含文件分级、配额(用户、目录、S3 /元数据
/用户配额)自精简(文件、块)WORM快照(文件、块)克隆、QoS
(用户、卷)、流直存、多源数据零拷贝等功能。
文档版本 4.0 2018-06-30
第五次正式发布
产品定位:刷新文档描述问题。
产品特点:新增部分产品特点。
产品架构:刷新安全架构、系统管理内容。
软件特性:修改统一存储池、元数据集群、数据冗余策略、用户配额、目录配
额、文件分级、WORM回收站、多源数据零拷贝对象存储块存储、大数
据章节内容描述
技术规格:刷新技术规格列表。
文档版本 3.1 2017-12-30
第四次正式发布
文档功能图片整体刷新。
产品定位:刷新文档描述问题。
产品架构:新增安全架构内容。
软件特性:修改元数据集群、数据冗余策略用户 QoS文件分级、透明故障
切换、对象存储、块存储、大数据章节内容描述。
安全特性:新增安全特性章节。
AS13000 技术白皮书
v
浪潮专有和保密信息
版权所有 © 济南浪潮数据技术有限公司
技术规格:刷新技术规格列表。
文档版本 3.0 2017-10-30
第三次正式发布
产品定位:刷新文档描述问题。
软件特性:修改统一存储元数据集群、数据冗余策略、用户配额、目录配
额、WORM访问审计、QoS分级、回收站、海量删除章节内容描述,新增
文件快照、小文件聚合章节
技术规格:刷新技术规格列表。
文档版本 2.0 2017-03-31
第二次正式发布
产品定位:刷新描述问题,更新系统架构图。
产品架构:新增硬件架构、软件架构章节;修改组网架构描述问题。
硬件特性:新增硬件特性介绍。
软件特性:新增元数据集群、透明故障切换、访问审计、回收站、海量删除、
流直存章节,修软件特章节内容描述。
技术规格:刷新技术规格列表。
文档版本 1.0 2016-10-20
第一次正式发布
AS13000 技术白皮书
vi
浪潮专有和保密信息
版权所有 © 济南浪潮数据技术有限公司
版本控制 ........................................................................................................................................ iii
1 概述 .............................................................................................................................................. 1
2 产品架构 ...................................................................................................................................... 2
2.1 组网架构 ................................................................................................................................... 2
2.2 产品架构 ................................................................................................................................... 4
3 分布式存储系统 .......................................................................................................................... 6
3.1 系统逻辑架 ........................................................................................................................... 6
3.2 软件定义存 ........................................................................................................................... 7
3.3 统一存储池 ............................................................................................................................... 8
3.4 集群扩展性 ............................................................................................................................. 10
3.5 元数据系统 ............................................................................................................................. 11
4 系统可靠性技术 ........................................................................................................................ 13
4.1 数据保护策 ......................................................................................................................... 13
4.2 快速重构 ................................................................................................................................. 14
4.3 节点故障 ................................................................................................................................. 15
4.4 智能 IP 管理 ........................................................................................................................... 16
4.5 缓存保护机 ......................................................................................................................... 17
4.6 回收站..................................................................................................................................... 17
5 性能优化技术 ............................................................................................................................ 19
5.1 负载均衡 ................................................................................................................................. 19
5.2 小文件聚合 ............................................................................................................................. 20
5.3 海量删除 ................................................................................................................................. 22
6 高级功能 .................................................................................................................................... 24
6.1 文件分级 ................................................................................................................................. 24
6.2 配额管理 ................................................................................................................................. 25
6.3 WORM .................................................................................................................................... 30
6.4 精简配置 ................................................................................................................................. 32
6.5 快照管理 ................................................................................................................................. 34
6.6 克隆......................................................................................................................................... 36
6.7 QoS 管理 ................................................................................................................................ 37
6.8 多源数据零拷贝 ..................................................................................................................... 40
6.9 流直存..................................................................................................................................... 41
6.10 多版本管理 ............................................................................................................................. 43
6.11 桶生命周期 ............................................................................................................................. 44
6.12 分片上传 ................................................................................................................................. 44
6.13 数据压缩 ................................................................................................................................. 45
AS13000 技术白皮书
vii
浪潮专有和保密信息
版权所有 © 济南浪潮数据技术有限公司
6.14 元数据检索 ............................................................................................................................. 46
7 系统安全性技术 ........................................................................................................................ 47
7.1 访问安全 ................................................................................................................................. 47
7.2 系统安全 ................................................................................................................................. 51
7.3 数据安全 ................................................................................................................................. 53
7.4 管理安全 ................................................................................................................................. 54
8 技术规格 .................................................................................................................................... 58
9 术语&缩略语 ............................................................................................................................. 62
AS13000 技术白皮书
1
浪潮专有和保密信息
版权所有 © 济南浪潮数据技术有限公司
1 概述
随着信息时代数据规模的急剧增长和数据价值的不断提升,存储系统必须具备良好
的可扩展性并采取有效的措施来保证用户数据的可靠性和存取的高性能
为了适应企业存储服务需求,浪潮存储系统 AS13000 提供了集文件存储、对象存
储、块存储、大数据四种存储服务于一身的分布式存储架构,通过横向扩展基础架
构实现单系统存储节点扩展至数千个,形成 EB 级海量存储空间百亿数据文件管
理、千万级 IOPS 和百 GB 带宽,并凭借其高效可靠的数据自动修复和自动运维机
制,显著降低了存储管理的负担。
AS13000 具有高扩展性,其设计保证所有的关键系统服务都分布在多个硬件上,避
免系统资源争用消除系统瓶颈,确保随着基础设施的扩展,系统容量和性能呈线
性增长。
AS13000 采用全对称、去中心化分布式架构,将系统的数据和元数据平均的分布到
各个节点上,打破了传统系统的元数据集中式存储和管理这一限制,对系统的目录
实行分而治之,实现负荷分担、负载均衡;即使系统中出现节点故障,系统也能够
通过数据冗余规则以及故障修复迅速进行响应,恢复故障节点存储的数据及元数据
信息,提供比传存储系统更高的可靠性。
AS13000 根据“软件定义和硬件重构理念采用以太网络、InfiniBand 组网技术
把整套系统硬件互联起来,然后在其上部署浪潮软件定义存储软件对外提供统一
服务接口,对内协调数据交换,并针对场景开展存储系统的深度优化,构建一个容
量按需扩展、性能按需供给、服务按需定义的海量存储系统。
AS13000 技术白皮书
2
浪潮专有和保密信息
版权所有 © 济南浪潮数据技术有限公司
2 产品架构
2.1 组网架构
浪潮存储系统 AS13000 主要有两类网络:后端网络和维护网络
后端网络支持以太网络1Gb10Gb25Gb40Gb100GbInfiniBand 网络40Gb
56Gb100Gb并且可根据企业业务需求设置为不同模式一是分为内部交换
络、外部共享网络分别进行设置;二是支持后端网络融合模式对网络进行统一设置。
不同网络模式均采用全冗余组网设计在交换机、网线、网口出现故障时,保证系
统正常运行和业务的正常访问。
维护网络包括管理网络和 IPMI,管理网络主要用于系统状态的监控、告警信息的
处理以及后台操作时的远程连接;通过 IPMI 设置可以集中监控系统内各个节点的
硬件状态以及相应的故障排除,两个网络的网段规划都要与系统管理员的管理维护
网络的规划一致,以便于系统管理员利用管理网络IPMI 监控、管理存储系统的
各种状态。
AS13000 组网逻辑视图如2-1 所示
AS13000 技术白皮书
3
浪潮专有和保密信息
版权所有 © 济南浪潮数据技术有限公司
2-1 AS13000 组网逻辑视图
存储应用
管理网络
外部共享网
管理维护
内部交换网
AS13000
千兆网络
以太网或InfiniBand网络
NFSCIFSFTPHTTP
iSCSIS3Swift
邮件
服务
NAS
共享
视频
存储
备份
存档
内部交换网络
内部交换网络
InfiniBand 组成的专用后端网络执行。该后端网络利用互联网协议(IP)进行节点
通信,并通过组网冗余方式实现高可用,使每个节点都可以作为系统的贡献者,
成数据处理。
外部共享网络
外部共享网络用于用户业务主机接入到存储系统,满足不同场景用户的网络环境
需求。AS13000 支持客户网络的标准通信协议,包括 NFSCIFSHTTPFTP
HDFSiSCSIAmazon S3 OpenStack Swift
说明:根据实际部署需求,AS13000 内部和外部可以分别使用不同的物理网卡以达到从网络上
相互隔离的目的,并且外部网络可以根据用户现有客户端与网络状况选择以太网或者 InfiniBand
连接(InfiniBand 需要私有客户端支持)。
管理网络
AS13000 技术白皮书
4
浪潮专有和保密信息
版权所有 © 济南浪潮数据技术有限公司
AS13000 InStorageManager 管理软件通过管理网络为用户提供可视化图形界面
的管理方式,实现对设备的统一监管和配置,以及对网络和业务质量的监视和分析。
当用户端和存储端处于连通状态时,用户可通过网页浏览器访问 AS13000
InStorageManager 平台,无需配置单独的管理服务器。同时,InStorageManager
1+N 活方式,当主节点宕机时可自动切换至备用节点,并保证用户依然可以
从原 IP 访问 InStorageManager 理软件。
智能平台管理接口IPMI
AS13000 配置 IPMI 网口,通过 IPMI 网口可以访问存储节点的管理界面,支持更
加精细的硬件管理、监控
此外,AS13000 支持较复杂用户管理的企业级应用环境,AD 域、NIS 域、LDAP
域等。用户只需进行相应的配置,将 AS13000 加入到现有的域控制环境中,即可
利用已有的域控制环境中的用户或组AS13000 储资源进行管理。
2.2 产品架构
AS13000 产品架构分为存储介质、网络、数据组织、数据管理访问协议五个层次
如图 2-2 所示
2-2 产品架构
应用
硬件
网络
数据组织
数据处理
KV数据存储组织
AS13000G5-M36
网络交换机
机架感知对象存储 日志加速数据冗余数据分布算法 坏盘检测
精简配置
配额管理
目录负载均衡
快照管理
WORM
访问审计
分片上传 克隆 QoS
多源数据零拷贝
负载均衡 回收站
ACL
快速重构
文件分级 海量删除
小文件聚合缓存保护
广电媒资 高性能 云计算 大数据 人工智能
文件 对象 HDFS
传统应用
流直存
多版本 桶生命周期
AS13000G5-M12 AS13000G5-E36
AS13000G5-M25
数据压缩
元数据检索
存储介质层AS13000 种硬件设备均支持普通硬盘、固态硬盘。
AS13000 技术白皮书
5
浪潮专有和保密信息
版权所有 © 济南浪潮数据技术有限公司
网络层:消息通信支持全以太网10Gb25Gb40Gb100GbIB 网( 40Gb
56Gb100Gb)以及混合组网的高速互联结构;支持 RDMA 技术,通过硬件
的支持实现“零拷贝技术”,将前端、后端、内部互联的 IO 网络处理由内
态转换到用户态,避免上下文切换,减少海量数据传输时 CPU 占用,从而
提高 IO 的传输效率以及在大数据量通信处理时的数据吞吐量
数据组织层:AS13000 组织各个节点存储资源作为统一的存储池对外提供访
问,支持副本、纠删码等数据冗余方式,可实系统在线伸缩。
数据处理层:AS13000 支持元数据集,有目录负载均衡、文件分级等功能,
减少相关元数据的通信压力,提高整个元数据系统的性能支持 ACL配额、
WORM 特性等,方便文件共享服务管理和维护。
访问协议层AS13000 提供最为丰富的存储协议,SwiftS3iSCSICIFS
NFS 等协议,支持 HDFS API文件数据通NAS 存储、数据库应用通过 SAN
存储、云数据和云容灾备份通过对象存储、大数据分析业务通HDFS 存储,
实现了在同一系统中并发提供四种存储协议,满足文件共享、大数据、私有云
等业务访问。
AS13000 技术白皮书
6
浪潮专有和保密信息
版权所有 © 济南浪潮数据技术有限公司
3 分布式存储系
AS13000 存储系统软件定义存储系统,根据用户不同需求,提供文件存储、对象
存储、块存储、大数据分析四种基础服务。整个系统以对象为数据存储的基础单位,
采用全对称、去中心化分布式架构,提供全局统一命名空间,这意味着系统数据
布在系统中所有节点上,客户端可通过连接到系统中的任何节点并发访问。
3.1 系统逻辑架构
3-1 系统逻辑架构
存储操作系
统一存储池
UDOS
访
(
)
DFS DBS DOS Big Data
iSCSI S3 HDFS APIAgent SwiftVM XENCIFS NFS FTP HTTP
如图 3-1 所示为 AS13000 系统逻辑架构主要由存储操作系统、分布式存储软件、
多协议访问软件、管理界面四部分组成,各部分间既相互独立又相互依赖。
AS13000 定制存储操作系统,可进行一键式系统部署,提高生产效率。
分布式存储软件完成系统中各个节点存储资源的组织,对外提供统一 API、支
持不同协议的存储服务。
多协议模块基于相应协议的存储服务,提供文件存储、块存储、对象存储协
议以及大数据 API
管理界面为软硬件系统的管理维护提供一体化的交互界面实时精准的显示
系统的详细信息实现系统状态、容量、资源使用率查看以及对系统资源的
理配置。
AS13000 技术白皮书
7
浪潮专有和保密信息
版权所有 © 济南浪潮数据技术有限公司
3.2 软件定义存储
AS13000 通过软件化的模块定义方式(如图 3-1 所示)采用文件、对象、、大
数据四种存储服务一体化设计,实现同一基础架构上不同应用之间的数据业务应用
融合,对多台存储设备CPU内存、硬盘等统一利用,降低了用户投资、维护和
管理的成本。
文件存储
AS13000 对外提NFSCIFSFTPHTTP 接入功能并提供统一域名访问机制,
让用户业务轻松接入存储系统。同时提供配额、文件分级、文件快照等功能对系
资源进行管理、分配与保护。
对象存储
AS13000 通过 S3/Swift 协议对外界直接提供存储、传递、共享服务。它 并非是将文
件组织成一个目录层次,而是在一个扁平化的容器组织中存储文件,通过唯一的 ID
对它们进行检索,使用户可以通过简单的 REST 服务接口完成Web 任何位
置的存储或者任意数量大小的数据检索让所有用户都能访问同一个具有高扩展
性、可靠性、安全性和快速廉价的数据存储基设施
块存储
AS13000 通过 iSCSI 协议对外界提供块级别设备接口,采用分布式系统技术高可
用系统技术将大量的存储设备进行集中管理,并支持快照、克隆、QoS精简配
置等功能,提高资源利用率,保证关键业务的性能
大数据服务
AS13000 通过 HDFS API 提供大数据服务使用 AS13000 HDFS 可以将存储系统
强大的分布式存储能力与 Hadoop MapReduce 强大的并行任务处理能力相融合,
结合 AS13000 HDFS Plugin 组件,将数据直接存储在 AS13000 系统中,统一
储业务数据,从架构解决数据爆炸性增长、非结构化数据分析速度缓慢等问题;
通过数据共享访问能力的提升与接口的开放,可实现跨平台的数据共享访问,满足
不同应用的需求
协议支持
AS13000 技术白皮书
8
浪潮专有和保密信息
版权所有 © 济南浪潮数据技术有限公司
拥有足够凭据和特权的客户端可以使用以下一种标准支持方法来创建、修改和读取
数据,以便与系统进行通信:
NFS(网络文件系统)
CIFS(通用互联网文件系统)
(s)FTP(文件传输协议
HTTP(s)超文本传输协议)
OpenStack Swift(对象存储协议
Amazon S3(对象存协议
iSCSI(块存储协议)
HDFS APIHadoop 分布式文件系统)
REST API(具象状态传输应用程序编程接口)
VAAI(硬件加速或硬件减负 API
CinderCinder 主机插件
ManilaManila 主机插件)
3.3 统一存储池
统一存储池是 AS13000 系统的基础、核心架构,通过虚拟化的存储架构,将系统
中所有的存储资源整合为一个统一的存储资源池对外提供对象访问接口统一存
储池中数据存储子模块相对独立,无需处理存储资源的整合,只需专注于自身的数
I/O减少了数据存储子模块之间的耦合,实现数据存储池模块的横向扩展,使
得数据存储池模块规模达到千量级。
对象存储设备
对象存储系统中数据的组织方式不同于传统的块接口存储设备的组织方式,传统的
面向块的设备采用无关联块阵列的方式组织数据的访问,而对象存储系统则通过基
于主机的文件系统分布数据块,其数据表示采用基于主机的元数据信息(如 inode
信息)。
AS13000 统一存储池的对象存储技术,将对象集合形成一个具唯一 OID 的扁平
化命名空间,对象是统一存储池中数据存储的基本单位,并且每个对象是自我包含
AS13000 技术白皮书
9
浪潮专有和保密信息
版权所有 © 济南浪潮数据技术有限公司
的,由用户数据、对象标识符 OID 和属性构成,如3-2 所示
3-2 对象存储示意图
data
attr
Object
oid
data
attr
·用于标示查找、获取对象
·全局唯一
·二进制数据
·可能是任意长度
·键值对集合
·用于存储对象相关的元数
oid
Object A Object B Object C Object D Object X
对象存储技
统一存储池
AS13000 建立组织各个节点存储资源作为统一的存储资源对外提供访问,无论是
哪种存储方式,数据都在统一存储池中进行存储分配和管理。统一存储池以硬
为单位构建对象存储设备,每一个对象存储设备具有智能管理功能,拥有独立的
CPU内存、网络和硬盘系统,提供数据存储数据智能分布和管理对象元数据的
功能。
数据存储:管理对象数据,并将对象放置在标准的硬盘系统上,客户端通过
ID、偏移读写数据,完成对象访问
数据智能分布:具有空间分配功能,用其自身CPU 和内存优化数据分布
以减少计算节点的负担,并支持数据的预取,通过智能的对象预取,优化硬盘
系统的性能,同时支持直接对数据进行并行操作。
管理对象元数据:管理存储对象的元数据信息,对象元数据与传统文件系统中
inode 元数据相似,包括对象的数据块、对象的长度。
通过统一存储池可以完成节点容量均衡与数据自动修复能力,保证数据能够均衡地
分布存储节点中避免部分节点空闲部分节点超载,充分利用节点 CPU内存、
盘能力,保证整个系统的高性能。
AS13000 技术白皮书
10
浪潮专有和保密信息
版权所有 © 济南浪潮数据技术有限公司
3.4 集群扩展性
随着企业的业务增长以及面临的不确定性对存储资源的弹性扩展提出越来越高的
要求,AS13000 以根据客户业务需求,灵活的添加或者移除存储节点,从而将数
据和应用程序从硬件抽象出来。当向系统中添加节点时每个节点或者机箱都将聚
合增加 CPU内存、缓存、网络等资源,使系统整体性能高于各部分总和,提高吞
吐量、容量和 IOPS
AS13000 采用了元数据集群和基于一致性哈希算法的去中心化技术,支持节点动
态扩展,不存在性能瓶颈。随着节点数的增加,存储容量和计算能力线性增加,
终给用户提供呈线性递增的吞吐及并发能力。
AS13000 增加容量与性能极其容易,管理员只需三步即可完成扩容操作一是添加
节点至机架中,二是将节点连接到现有以太网InfiniBand 网络,三是通
InStorageManager 管理软件完成扩容。完成节点添加后,系统将通过容量均衡功能
自动在后端完成数据均衡操作,数据全局均衡存放不存在集中的数据热点,以保
证现有系统中的数据移动到新的存储节点中。同时新加入的节点都含有 CPU、内
存、网络等,因此完成扩容后为系统提供了额外的容量和性能,实现性能的拟线
增长,满足数据中心日益增长的容量需求,实现存储系统的逐步部署,简化运维管
理。
3-3 系统无缝扩展
AS13000 技术白皮书
11
浪潮专有和保密信息
版权所有 © 济南浪潮数据技术有限公司
3.5 元数据系统
在大规模的存储系统中,尽管同整个存储系统的整体数据量相比,元数据的数据量
相对较小,但是据统计数据表明,在所有的文件系统中,对元数据的访问操作约
所有文件访问操作的 50%~80%。所以,元数据访问的高效性对整个存储系统的性
能提升是至关重要的。AS13000 根据系统规模统一规划,保证元数据服务散布于每
个存储节点,使系统能够通过多个 Active 元数据服务器提供元数据服务,实现元
数据并发操作。
AS13000 支持元数据和数据分离存储技术。即使用节点中的高性能存储介质 SSD
存储元数据,使SATA 盘或者 SAS 盘存储数据。利用高性能低延时SSD
储元数据,可以有效提升系统元数据访问、小文件访问性能。
3-4 元数据分离
元数
SSD
数据
SATA
节点1节点2节点3
客户
目录负载平衡
在某些应用场景中,例如海量图片小文件场景,系统会将所有需要保存的小文件都
放在一个固定层级的目录下,该级目录每天都会依据一定的规新建,并在目录下
存储这一天的数据。在 这种应用场景下,为充分发挥元数据系统性能并实现元数据
负载均衡,AS13000 提供目录负载平衡特性,在 系统中实时新建大量目录,并将文
件数据按照规则存储,整个目录结构清晰有序、易识别;同时将这些目录自动分
配到系统中的所有元数据服务,由多个元数据服务同时负责这些目录的元数据访问,
AS13000 技术白皮书
12
浪潮专有和保密信息
版权所有 © 济南浪潮数据技术有限公司
通过高效的消息发送机制减少客户端与服务端重复信息通信,减少相关元数据的
通信压力,提高整个元数据系统的性能。
目录分片
当单个目录过大或者异常繁忙时,元数据服务无法快速响应对该目录的所有请求,
影响客户使用感知。为了提升单目录元数据性能,AS13000 供目录分片功能
供相比目录更小粒度的子文件集合,以目录分片为单位请求元数据服务,有效降低
从底层存储获取大量数据时的总体时延。目录分片对于用户/应用是透明的,在客
户端看到仍然是一个真实的目录整体。
AS13000 技术白皮书
13
浪潮专有和保密信息
版权所有 © 济南浪潮数据技术有限公司
4 系统可靠性技
在目前大规模的存储系统中经常出现各种异常因素导致故障发生,更糟糕的是严重
的故障会引起数据丢失和损坏。因此,随着数据量的增加和数据价值的提高,存储
系统可靠性问题变得越来越重要。
4.1 数据保护策略
AS13000 的数据保护技术支持副本、纠删码两种数据冗余保护方式,并支持软件定
义的数据冗余策
副本冗余保护模式
副本通过将数据写入到系统中多个位置来保护硬盘上的数据。AS13000 支持 2~8
本。可以使用副本策略,或者副本与纠删策略共存,数据可以根据用户要求设置为
不同的数据冗余策略,通常普通数据可采2+1的纠删策略,重要的数据采用三副
本策略。
纠删码冗余保护模式
AS13000 的纠删码保护是在数据存储的最小粒度——对象级别提供的。用户可以
创建不同纠删码保护等级的存储池,并指定给不同的应用目录,针对不同数据重要
性等级提供不同的保护能力。
AS13000 支持的 K+M 纠删码级别有:K+1K+2K+3 K+4对于这种 K+M
据模型,K代表数据块的数量K≤16M代表校验块的数量M≤4即在不发
生数据丢失的前提下,系统所允许的同时发生故障的节点数或硬盘数。例如,K+2
允许系统在不同的节点上丢失两块盘,或者丢失两个节点
同时,AS13000 支持纠删码 K+2:1 规则设置。例如,三个节点的系统,可以设置
4+21冗余策略,这样既可以支持单节点故障,也可以支持不同节点的两块磁盘
同时故障。
AS13000 不仅能支持硬盘级的故障,而且能够支持节点级的故障。只要系统中同时
/