Broadcom 可切换的 SAS 白皮书 仕様

タイプ
仕様
产品简介
LSI Corporation 软件规划和策略总监 Terry Gibbons
术语:“可切换的 SAS”或“SAS 交换机”都不是由国际信息技术标准委员会 (INCITS)
T10 技术 委员会定义的。 为便于讨论,在此将 SAS 交换机视为 SAS 扩展器设备的管理
集。同时,将可切 换的 SAS 视为概念化扩展器功能的方法,其中,T10(1) 说明了作为
连接路由器和连接管理器功 能的扩展器功能。
本白皮书将讨论各种不同的部署选择。 要了解部署模型,需要查看基础技术。图 1 展
示了 SAS 扩展器功能。这是一个多对多连接矩阵,请注意有人可能会连接启动器和启动
器,但这样做大 多没什么原因。
摘要
随着应用程序智能和数据保护新技
术的 不断发展,让存储更贴近服
务器这一课 题应运而生。直接连
接外部存储具有独 特的特性,可
以提供低延迟访问、故障 切换功
能以及良好的管理和部署特性。
本白皮书将介绍一些应用程序的发
展情 况,以及它们如何适应扩展
的串行连接 的 SCSI (SAS) 协议
功能。
为满足新兴应用要求,提供本地/
远程数 据副本、简化信息传递和
提高事务处理 能力,对可切换的
SAS 提出了新的重要 课题。 这一
不断发展的技术催生出新的 存储
连接方式,其方法是提高电缆吞吐
量,简化可扩展性,并在熟悉且
紧密连 结的存储模型中实施。应
用了这一可共 享、可扩展的架构
后,不用再担心日常 节制,因为
可以“购买更多的服务器来 增加
存储空间。”
可切换的 SAS
可共享、可扩展的 SAS 架构
SAS 扩展器
SAS 扩展器
连接管理器和路由
多对多连接
电缆连接(4 个物理链接)
磁盘连接(1 个物理链接)
图 1. 扩展器功能图 1. 扩展器功能
图 1. 扩展器功能
图 2. SAS 交换机模型
图 2 展示了 SAS 交换机及其如何用于范围较大拓扑的概览。请注意 SAS 如何通过每个 SAS 主机总
线适配器(HBA 或“启动器”)的两条电缆(端口)以及每条电缆的四个物理链接(物理)
进行部署。
举例说明将两个启动器连接至多
个基于扩展器的存储单元
每个启动器都可能位于单独的
主机中
SAS 扩展器 SAS 扩展器
SAS 交换
扩展器抽象化
产品简介
|
2
图 3 展示了区域划分概念。这是一个可用于 SAS 扩展器的方法,此方法允许单个设备或
设备组 隐藏在所选的基于主机的启动器后。在该图例中,我们看到区域 A 中有多个驱
动器与主机 1 隔离。通过同一个扩展器(JBOD 部分),我们看到区域 B 中有两个驱动
器与主机 2 隔离。如果通过 JBOD B 再添加一些驱动器,则这些驱动器可见于这两台主
机,它们单独位于一个区域,甚至可作为储备池隐藏在这两台主机后。直接连接到主机的
驱动器仅对该主机可见。
SAS 技术
SAS 是一种点对点技术,需要完全连接主机和目标(存储)设备才能进行事务处理。SAS
使用“端口”表示通常代表电缆通信的链接集合。根据拓扑的复杂性,事务处理可能需要
几个链接彼此连接才能完成与目标设备的连接。
SAS 的独特功能是将带宽构建到电缆。 对于代表四个 SAS 链接的各个电缆,表示每个端
口的吞吐量为 4800Mb/s,全双工链接速率为 6Gb/s。包含 16 个端口的 SAS 交换机(1U
/ 半角)可以提供的带宽为 768Gb/s。稍后,可以查看服务器环境下的 SAS 交换机总带
宽以及理论性能。
这种级别的带宽聚合有助于降低能耗。当通过 SAS、FC 和 GbE 技术使用的处理器软件包
总数、协议控制器总数以及机箱和材料的总数很接近时,SAS 能够在统一的软件包中支持
多个链接,从而使每个端口的功率通常低于 5W。
此电源配置文件支持 10m 无源铜线连接。2010 年产品介绍支持 25m 有源铜线功能,而
SCSI 贸易协会(3) 提供的未来路线图表明支持 100m 光缆。这些技术的实际/评估电源要
求也必须被视为公用域的一部分。
SAS 区域划分不是基于地址。而是遵循点对点概念,其中末端设备(启动器或目标设备)
可能或不能根据必须创建的物理链接的总数完成事务处理。
新兴应用
硬件和软件应用不断发展,能够在许多传统计算环境下支持新的功能和性能条件。分等级
存储(例如 数据库和搜索引擎中的变量访问要求)、分布式应用(例如 电子邮件应用)
和虚拟服务器(例如 超级数据中心的服务器机柜/机舱)在需要低延迟、高事务处理速率
的同时还需要极高的可用性、数据完整性或数据恢复能力。
为便于讨论,在此将分等级存储视为应用需要快速访问数据的概念。数据是热数据、暖数
据还是冷数据? 此时,新兴技术就是应用所设定的硬件及其访问参数。对于“热”数据
(如与数据库事务处理日志、高性能计算或数据挖掘关联的数据),SSD 可用于最大化
3. SAS 区域划分
SAS 交换
区域 A 区域 B
主机 1 主机 2
JBOD BJBOD A
图 3. SAS 区域划分
产品简介
|
3
IOPS,特别是在事务处理大小介于 2KB 至 16KB 之间时。如果性能是重要(而非关键)
的元素,则 SAS HDD 可用于下一级。最后,数据库或说明文件可能位于大容量 HDD 中(
如 SATA)。图 4 提供了一个分等级存储部署示例,其中 SSD 位于服务器中,SAS 驱动
器可提供最直接的外部访问,而 SATA 驱动器采用级联式构造。
分布式应用确实需要网络架构才能连接校园内或全球的计算资源。对于此类应用,需要提
供故障切换、高可用性和数据备份/恢复功 能。这些应用还需要具备极高的事务处理速
率,SAS 存储可妥善提供这一特性(作为大型架构的一部分)。新兴应用可提供本地和
远程 副本服务进行备份和灾难恢复。 此类服务的示例是群集和备用连续复制(2) (CCR/
SCR),其中本地数据库可以作为服务器连接的外部存储 项进行管理(见图 5)。此
时,HBA 的端口(或物理连接)、交换机或磁盘驱动器可能会出现故障,而备份路径可
用。 另外,这样还会 使无源节点存储与有源节点存储分离。
SAS 驱动器
SATA 驱动器
多个 SSD
图 4. 存储分层
图 5. 本地/持续复制
可用服务器
服务器 A
-工作量很大吗?
-VM 可以移动吗?
多端口 RAID 系统 ($$) 可以解决移动问题
?
VM
产品简介
|
4
图 6. 旧 DAS 模型
图 7. VM 移动和外部存储
可用服务器
服务器 A
-工作量很大吗?
-VM 可以移动吗?
多端口 RAID 系统 ($$) 可以解决移动问题
?
VM
虚拟服务器部署的示例是专为经济方案构建的大型同类服务器机柜 + 存储。这些机柜可
与其他机柜绑定在一起,以此形成“机舱”。当 许多机舱构成一个超级数据中心时,机
柜和机舱都可受益于外部连接的 SAS 存储(最有效的配置),因为在各服务器之间可以
共享存 储。请参阅图 6 和图 7 中显示的对比图。虚拟服务器移动性新兴应用有助于使
OpEx 和 CapEx 保持一致,为此,只需将工作量移至其他 物理服务器,而无需重新配置
硬件。
虚拟服务器移动性借助的概念是:通过 SAS 交换机对移动管理器显示所有存储。通过将
元数据置于指示存储虚拟服务器映像的磁盘驱动 器上,移动管理器可以在物理服务器级
别将虚拟服务器映像及其应用程序与虚拟机轻松地联系在一起。
服务器已关闭?
移动管理器将 VM 实例移至其
他服务器
带有多个 VM 的多台服务器
VM 磁盘映像 -
可通过 SAS 交换机访问所有服务器
VM
IT 要求
企业数据中心采用一套所有解决方案必须满足的核心准则。数据(见图 8)以及必须在严
格审查 CapEx 和 OpEx 预算的情况下进行管理的必需服务在不断增长。
产品简介
|
5
8. 存储工作量增长 (TB)
14,000,000
12,000,000
10,000,000
8,000,000
6,000,000
4,000,000
2,000,000
0
2009 2010 2012 20132011
业务处理
IT 架构
决策支持
Web 架构
协作
工业研发
应用程序开发
其他
可扩展/可共享。轻松实现存储扩展、重新配置或改变部署模型。在可切换的 SAS 模型
中,用户可以在不中断的情况下增加存储空间。广播事件会通知拓扑中的成员,告知他们
系统自动“发现”的更改和新的存储空间。存储空间可能会按带外管理公用程序进一步划
分给特定服务器或服务器集。表明存在可用空间和采取操作的简单原则,适用于将存储空
间重新指定给新功能或部署不同数量的服务器和存储单元的情况。只需插入组件,便可根
据所有实体了解拓扑。
SAS 标准已证明它在融合传统 SAS 技术方面具有极大的灵活性。如果这一趋势继续发
展,势必将采用更快的新技术进一步实现存储扩充,从而节省当前投资。所有 SAS 组件
在支持传统协议的同时,都可以低于其最大链接速率的速率运行。因此,可以在新的服务
器中部署一个吞吐量为 12Gb/s 的 SAS HBA,并连接一个吞吐量为 3、6 或 12Gb/s 的
SAS 交换机。可以将吞吐量为 12Gb/s 的 SAS 交换机与吞吐量为 3、6 或 12Gb/s 的
JBOD 相连。可以将 JBOD 与吞吐量为 3、6 或 12Gb/s 的存储设备相连。
轻松扩展功能适用于适度的设置或更复杂的设置,以便扩展为几十台服务器和数百个磁盘
驱动器。通过对 SAS 交换机分层并级联存储单元,便可访问数千台存储设备(见图 9)
。未来的 SAS 将朝更多的交换机端口数方向发展,以使大量配置不需要对交换机进行分
层。
高度可用性。图 10 展示了刀片部署方案。每台刀片服务器在服务器刀片内都有一个最适
合的自定义外形规格的 HBA。请注意如何使用多个 SAS 交换机形成一个单独的 IO 路径
(最好使用双端口 SAS 驱动器实现)。如有连接出现问题,则可重新路由工作负载。 此
外,该示例在外部存储单元中使用了 RAID 控制器,以此进一步保护数据。
图 8. 存储工作量增长 (TB)
产品简介
|
6
...8 服务...
8 JBODs X 24 HDD
. . . . . .
...8 台交换...
图 9. 吞吐量为 1,536Gb/s 的驱动器配置
图 10. 带有 SAS 交换机的刀片机箱
降低
成本
提高
带宽
SAS ROC
SAS ROC
LSI
SASx36
SAS Switch
LSI
SAS1068
LSI
SASx36
LSI
SAS1068
LSI
SASx36
RAID
Ctlr
LSI
SASx36
SAS Switch
LSI
SAS1064
Raleigh
Blade Server
Daughter Card
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
Raleigh
Blade Server
Daughter Card
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
Raleigh
Blade Server
Daughter Card
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
Daughter Card
LSI
SASx36
LSI
SASx36
LSI
LSI
SASx36
LSI
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
Daughter Card
LSI
SAS1064
LSI
SAS1064
Daughter Card
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
LSI
SAS1064
Daughter Card
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
LSI
SAS1064
Daughter Card
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
LSI
SAS1064
Raleigh
Daughter Card
LSI
SAS1064
Daughter Card
LSI
SAS1064
LSI
SAS1064
Daughter Card
LSI
SAS1064
Daughter Card
LSI
SAS1064
LSI
SAS1064
Daughter Card
LSI
SAS1064
Daughter Card
LSILSI
Daughter Card
LSI
SAS1064
刀片
服务
SAS
控制
子卡
SAS 交换
SAS 交换
扩展器
扩展器
扩展器
RAID 控制
RAID 控制
扩展器
外部
存储
可管理性。 SAS 架构易于管理。除了自动发现新增/移除的存储空间外,诸如软件/固件
更新和新的安装等管理任务也可以轻松实现。 在链接断开片刻后,性能良好的主机级软
件会通知操作系统,指示设备“忙”。升级时,固件可用于在最大程度上缩短重新发现的
时间,或者防止断开链接。用户可以复制安装,其方法是预指定连接属性,因为其中没有
涉及连接的特定于设备或地址的信息(例 如,为相同的服务器/存储机柜部署同一区域划
分的配置)。
区域划分配置(图 3)以及查看/管理拓扑的集中触点均需通过 SAS 交换机。通过提供网
络接口、TCP/IP 和 Telnet 服务,用户便可管 理带外交换机。此外,SAS 交换机是进行
物理存储维护的逻辑焦点。将交换机安装到位,可减少存储单元的层数,因此更易于更换
和 维修,无需通过一组复杂的连接跟踪电缆中继段。
理论性能
SAS 交换机性能问题以吞吐量和延迟为重心。在该讨论中,不会将 IOPS 视为磁盘驱动器
(或 SSD),而 HBA 对 IOPS 能力有重要影 响。 延迟以交换机/扩展器为中心,而吞吐
量是主机的 PCI-Express 带宽功能、SAS 链接速率、磁盘驱动器的能力以及交换机路由
通信 量的能力。
产品简介
|
7
交换机带宽。 16 个端口的 SAS 交换机可支持的数据并行速度如下:
12Gb/s(全双工)x 16 个端口 x 4 个物理链接/端口 = 768Gb/s
在额定 SAS 配置中,一个端口(即一个电缆)将连接四个 SAS 物理链接(物理)
以 16 个端口的 SAS 交换机为例,我们检查了最佳方案,其中有八个上行端口与主机
服务器相连,有八个下行端口与 JBOD 存储相 连。 在此以半双工形式讨论吞吐量(尽
管 SAS 具备全双工能力),以便适应服务器和存储单元在 SAS 架构中集成的实际预期方
式。
每个端口的吞吐量:
6Gb/s x 4 phys = 24Gb/s(每个端口)
(24Gb/s/每个端口)/(8b/10b 编码)= 2.4MB/s(每个端口)
2.4MB/s(每个端口)x 88.33%(适应仲裁延迟和附加组帧)= 2160MB/s(每个端口)
实际应用中的 SAS 交换机吞吐量:
2160MB/s(每个端口)x 8 个端口对 = 17,280MB/s(每个 SAS 交换机)
需要使用从启动器到 SAS 交换机的一个链接以及从该 SAS 交换机到下一个 SAS 交换
机或扩展器(即 JBOD)的链接, 才能完成从 服务器到存储单元的连接
建立物理连接的时间延迟会影响基于扩展器的 SAS 拓扑中的整个延迟。 每个扩展器在连
接路径中的预期延迟时间为 100ns 或 100ns 以下。 请参阅图 4,其中包含两个级别的
延迟。 请注意,每个 JBOD 都有一个扩展器,而 SAS 驱动器各自有两个“中继段”,一
个用于交换机,一个用于 JBOD。 在 SATA 驱动器堆栈中比较该 JBOD 和上一个 JBOD,
其中包含五个连接磁盘驱动器的中继段。 需要以最高级别扇出存储才能使性能最大化。
实际性能
测试设置:
Intel 白牌服务器
每台服务器配置一个 Intel Xeon® 5520 微处理器
LSISAS9200-8e® 6Gb/s SAS HBA“启动器”
Astek® 6Gb/s SAS JBOD
Seagate ST9146803SS®,固件版本 0006
一个 LSISAS6160® 6Gb/s SAS 交换机(完全配置)
用于客户机/服务器配置中的 IOmeter 2006
IO 队列深度为 8
磁盘驱动器受限于 1000 LBA,因此不能寻道运行
参见图 7 了解类似布局
测试案例(顺序读写 256KB 块大小):
1) 8 台服务器,每台服务器配备 1 个 HBA (x4 SAS),8 个 JBOD,每个 JBOD 配备 16
个 HDD
1:1 的服务器和 JBOD 配置比率(最佳执行解决方案)
产品简介
|
8
2) 4 台服务器,每台服务器配备 1 个 HBA (x4 SAS),12 个 JBOD,每个 JBOD 配备 16
个 HDD
处理能力欠佳,存储能力更优
3) 6 台服务器,每台服务器配备 2 个 HBA (x4 SAS),4 个 JBOD 对(级联),每个
JBOD 对配备 24 个 HDD
请注意级联 JBOD 如何增加更多中继段,同时降低对性能的影响
18,000
16,000
14,000
12,000
10,000
8,000
6,000
4,000
2,000
0
16 HDD/JBOD
1 个启动器/JBOD
16 HDD/JBOD
3 JBOD/启动器
24 HDD/JBOD
3 个启动器/JBOD
256K 顺序读取
1000LBA
队列深度为 8
256K 顺序写入
1000LBA
队列深度为 8
分析
使用最佳环境集时,读写测试经检测获得的吞吐量约为 16,400MB/s(完成 95% 的目标)
。 随着服务器和存储单元配置比率的改变,预期吞吐量减半。 这是由于这些实验的服务
器端或存储单元端限制使用四个端口。
总结
“只要需要更大的存储空间,就采购更多的服务器”这一观点不再适用。 利用 SAS 扩展
器设备核心的可共享特性,可以构建新产品(如 SAS 交换机),它能够管理拓扑中的通
信连接。 新连接器技术和扩展器连接管理能力的进一步提高为未来发展的更大可能性指
明方向。
此外,还可通过数据管理和复制的新技术提供 SAS。 这些新应用都有两面性: 首先,
提供新方法来提高可用性和可靠性; 其次,挑战现状,使事务处理能力和吞吐量打破记
录。
SAS 协议和 SAS 交换机通过以下特性提供特定功能来简化存储环境,降低操作费用:
简化电缆设置,以此减少增加性能延迟和物理布局问题的中继段
均衡所有驱动器和服务器之间的性能
通过 SAS 交换机的单个配置、报告和控制点
无身份的服务器: 多对多拓扑,实现虚拟移动
通过 SAS 区域划分访问控制
SAS 是一个用户买得起、易于管理、存储部署简洁的优秀架构,也是一个引人注目的基于
网络的存储设计备选方案。
For more information and sales office locations, please visit the LSI website at: www.lsi.com
LSI, the LSI & Design logo, and the Storage.Networking.Accelerated. tagline are trademarks or registered trademarks of LSI Corporation. All
other brand or product names may be trademarks or registered trademarks of their respective companies.
LSI Corporation reserves the right to make changes to any products and services herein at any time without notice. LSI does not assume any
responsibility or liability arising out of the application or use of any product or service described herein, except as expressly agreed to in
writing by LSI; nor does the purchase, lease, or use of a product or service from LSI convey a license under any patent rights, copyrights,
trademark rights, or any other of the intellectual property rights of LSI or of third parties.
Copyright ©2013 by LSI Corporation. All rights reserved. > 1213
North American Headquarters
San Jose, CA
T: +1.866.574.5741 (within U.S.)
T: +1.408.954.3108 (outside U.S.)
LSI Europe Ltd.
European Headquarters
United Kingdom
T: [+44] 1344.413200
LSI KK Headquarters
Tokyo, Japan
T: [+81] 3.5463.7165
产品简介
参考列表
(1) 工作草案计划美国国家 T10/2124-D 标准: 信息技术 – SAS 协议层 (SPL)
(2) 位于 technet.microsoft.com 上的 Microsoft® Exchange Server 2007® 概念
(3) SCSI 贸易协会 (www.scsita.org):高级连接解决方案释放 SAS 潜能 – SCSI 贸易协会白皮书(编写者: Harry Mason,贡献
者: Jay Neerd)
  • Page 1 1
  • Page 2 2
  • Page 3 3
  • Page 4 4
  • Page 5 5
  • Page 6 6
  • Page 7 7
  • Page 8 8
  • Page 9 9

Broadcom 可切换的 SAS 白皮书 仕様

タイプ
仕様