Dell PowerEdge T640 ユーザーガイド

Dell EMC NVDIMM-N 永久内存

用户指南

注、小心和警告

注: “注”表示帮助您更好地使用该产品的重要信息。

小心: “小心”表示可能会损坏硬件或导致数据丢失，并说明如何避免此类问题。

警告: “警告”表示可能会造成财产损失、人身伤害甚至死亡。

2018 - 04

Rev. A01

1 简介............................................................................................................................................................... 5

2 更改列表........................................................................................................................................................6

3 NVDIMM-N 概览............................................................................................................................................7

正常运行............................................................................................................................................................................. 7

备份到闪存.........................................................................................................................................................................8

从闪存恢复.........................................................................................................................................................................9

4 硬件............................................................................................................................................................. 10

高级硬件配置................................................................................................................................................................... 10

NVDIMM-N....................................................................................................................................................................... 13

电池....................................................................................................................................................................................14

5 BIOS.............................................................................................................................................................17

NVDIMM-N 的 BIOS 配置设置...................................................................................................................................... 17

BIOS 错误消息..................................................................................................................................................................21

6 iDRAC NVDIMM-N 管理.............................................................................................................................. 23

iDRAC 图形用户界面...................................................................................................................................................... 23

NVDIMM-N 状态....................................................................................................................................................... 23

BBU 状态.................................................................................................................................................................... 24

登录消息传送勘误表................................................................................................................................................25

远程管理...........................................................................................................................................................................25

NVDIMM-N 错误报告.....................................................................................................................................................25

7 安装 NVDIMM-N 后的服务器行为................................................................................................................28

关机................................................................................................................................................................................... 28

引导................................................................................................................................................................................... 28

自动关机并保存.............................................................................................................................................................. 29

8 DIMM 配置更改........................................................................................................................................... 30

9 Windows...................................................................................................................................................... 31

设置.................................................................................................................................................................................... 31

Windows 驱动程序...........................................................................................................................................................31

存储级内存........................................................................................................................................................................31

设备管理器..................................................................................................................................................................31

识别正确的 NVDIMM-N 磁盘................................................................................................................................. 32

NVDIMM-N 的运行状况和属性..............................................................................................................................35

块模式.........................................................................................................................................................................35

3

DAX 模式.................................................................................................................................................................... 35

存储空间支持............................................................................................................................................................ 36

运行和诊断记录信息................................................................................................................................................36

Windows 勘误表.............................................................................................................................................................. 37

10 Linux.......................................................................................................................................................... 38

识别和配置 PMEM — 永久内存设备.......................................................................................................................... 38

安装................................................................................................................................................................................... 39

验证现有文件系统.......................................................................................................................................................... 39

只读模式下的 NVDIMM-N............................................................................................................................................ 39

交叉存取...........................................................................................................................................................................39

交叉存取设置............................................................................................................................................................ 40

交叉存取验证............................................................................................................................................................ 40

只读模式 NVDIMM-N................................................................................................................................................41

管理公用程序................................................................................................................................................................... 41

ndctl..............................................................................................................................................................................41

mdadm.........................................................................................................................................................................42

Linux 勘误表.....................................................................................................................................................................43

11 ESXi............................................................................................................................................................44

设置................................................................................................................................................................................... 44

存储................................................................................................................................................................................... 45

模块............................................................................................................................................................................. 45

命名空间.....................................................................................................................................................................45

交叉存取集.................................................................................................................................................................46

数据存储..................................................................................................................................................................... 47

受支持的来宾 OS 和 NVDIMM 支持............................................................................................................................48

整体运行状况状态.......................................................................................................................................................... 48

运行和诊断记录信息...................................................................................................................................................... 48

过时的固件.................................................................................................................................................................48

NVDIMM-N 错误............................................................................................................................................................. 49

ESXi 勘误表......................................................................................................................................................................50

4

简介

DellEMC 的 NVDIMM-N 永久内存是一种颠覆性的存储级内存技术，它在传统存储技术的基础上，进行了前所未有的性能改进。每个

NVDIMM-N 都提供 16 GB 的非易失性内存，且具有与标准 288 针 DDR4 DIMM 相同的外形规格。NVDIMM-N 安装于标准 CPU 内存插

槽中，使数据更靠近处理器。由于 NVDIMM-N 能够以 2666MT/s DDR4 的数据率运行，因此可以充分利用内存总线所特有的高带宽

和极低延迟优势。下表提供了

DDR4 与其他服务器存储介质相比的近似数据访问时间。

表. 1: 存储技术

存储技术数据访问时间

15K SAS 磁盘大约 6,000,000 毫微秒

SATA SSD

大约 120,000 毫微秒

NVMe SSD

大约 60,000 毫微秒

DDR4 NVDIMM-N

大约 150 毫微秒

本说明文件提供了 DellEMC NVDIMM-N 永久内存解决方案的概览。它旨在帮助用户完成初始设置和配置，同时提供在安装 NVDIMM-

N 后有关系统行为的信息。本说明文件还将帮助用户熟悉 NVDIMM-N 的可管理性和错误处理。最后，它会为用户介绍在各种受支持

的操作系统中 NVDIMM-N 的基本设置和配置。

1

简介

5

更改列表

表. 2: 更改列表

Version（版本）更改

1.0

原始版本

1.1

添加了 ESXi 6.7 支持信息。移除了不再适用的 Linux 勘误表。编辑了文档的其余部分以表

达清楚。

2

6

更改列表

NVDIMM-N 概览

下图是 NVDIMM-N 的概览，其中显示了主要组件和系统接口。NVDIMM-N 的核心是 DDR4 DRAM 设备，这些设备支持 NVDIMM-N

作为 RDIMM 运行。支持 NVDIMM-N 存留数据的组件是控制器、闪存和调压器，这些组件也集成在 DIMM 上。

图

1: NVDIMM-N 概览

主题：

• 正常运行

• 备份到闪存

• 从闪存恢复

正常运行

NVDIMM-N 安装在服务器内存插槽中。从硬件角度来看，NVDIMM-N 好像是作为标准 DDR4 RDIMM 的处理器。它们会在 BIOS 开机

自测期间进行初始化，并且

CPU 可以使用标准 DDR4 内存载入/存储事务访问 NVDIMM-N 上的 DRAM 数据。

3

NVDIMM-N 概览

7

图 2: NVDIMM-N 正常运行

备份到闪存

倘若发生服务器关机、冷重新引导或断电的情况，将会向 NVDIMM-N 控制器发送保存信号，这将触发 NVDIMM-N 控制器将其所有

DRAM 内容备份到板载闪存存储。在服务器即将关机或 NVDIMM-N 临近断电时，随时会触发 NVDIMM-N 保存事件。完成此备份过

程大约需要 1 分钟。此持续时间与服务器中安装的 NVDIMM-N 数量无关，因为保存事件在所有 NVDIMM-N 中并行发生。

电池可为 NVDIMM-N 提供备份电源，这样，即使在交流电源断电后，也能完成备份操作。保存操作完成后，电池将取消激活，以便

服务器和 NVDIMM-N 完全关闭。

图 3: 保存操作

8

NVDIMM-N 概览

从闪存恢复

在服务器开机时，BIOS 将初始化 NVDIMM-N 上的 DRAM。BIOS 使用 SMBus 管理接口来命令 NVDIMM-N 控制器从闪存恢复其

DRAM 内容。完成此恢复过程大约需要 1 分钟。此持续时间独立于服务器中安装的 NVDIMM-N 数量，因为恢复过程跨所有 NVDIMM-

N

并行执行。之后，BIOS 会将 NVDIMM-N 呈现给服务器操作系统以作为永久内存。请注意，永久内存与正常操作系统操作所需的系

统内存截然不同。有关永久内存的操作系统支持的详情，请参阅相应的操作系统部分。

图 4: 恢复操作

NVDIMM-N 概览

9

硬件

主题：

• 高级硬件配置

• NVDIMM-N

• 电池

高级硬件配置

当前在 T640、R640、R740/R740XD 和 R940 PowerEdge 服务器中支持 NVDIMM-N。每个服务器支持从 1 个到最多 12 个 16 GB

NVDIMM-N，最大永久内容总容量为 192 GB。下面的表 1 提供了已针对 2 插槽服务器配置验证且完全受支持的 NVDIMM-N 配置。对

于 R940 PowerEdge 服务器中的 4 插槽配置，仅 CPU 1 和 CPU 2 内存插槽支持 NVDIMM-N。下面的表 2 提供了已在 R940 4 插槽配

置上验证且完全受支持的

NVDIMM-N 配置。

请参阅图 5，了解 R740/R740XD CPU 和 DIMM 插槽位置示例。有关内存安装原则，请参阅相应服务器的安装和服务手册。

表. 3: ：支持的 NVDIMM-N 配置，2 插槽

NVDIMM-N

NVDIMM-N 容量

RDIMM RDIMM

容量

DIMM 装入位置

1x 16 GB 12x 16 GB 192 GB

RDIMM：A1-A6、B1-B6

NVDIMM-N：A7

1x 16 GB 12x 32 GB 384 GB

RDIMM：A1-A6、B1-B6

NVDIMM-N：A7

1x 16 GB 23x 32 GB 736 GB

RDIMM：A1-A12、B1-B11

NVDIMM-N：B12

2x 32 GB 12x 16 GB 192 GB

RDIMM：A1-A6、B1-B6

NVDIMM-N：A7、B7

2x 32 GB 12x 32 GB 384 GB

RDIMM：A1-A6、B1-B6

NVDIMM-N：A7、B7

2x 32 GB 22x 32 GB 704 GB

RDIMM：A1-A11、B1-B11

NVDIMM-N：A12、B12

4x 64 GB 12x 16 GB 192 GB

RDIMM：A1-A6、B1-B6

4

10

硬件

NVDIMM-N

NVDIMM-N 容量

RDIMM RDIMM

容量

DIMM 装入位置

NVDIMM-N：A7-A8、

B7-B8

4x 64 GB 12x 32 GB 384 GB

RDIMM：A1-A6、B1-B6

NVDIMM-N：A7-A8、

B7-B8

4x 64 GB 20x 32 GB 640 GB

RDIMM：A1-A10、B1-

B10

NVDIMM-N：A11-A12、

B11-B12

6x 96 GB 12x 16 GB 192 GB

RDIMM：A1-A6、B1-B6

NVDIMM-N：A7-A9、

B7-B9

6x 96 GB 12x 32 GB 384 GB

RDIMM：A1-A6、B1-B6

NVDIMM-N：A7-A9、

B7-B9

6x 96 GB 18x 32 GB 576 GB

RDIMM：A1-A9、B1-B9

NVDIMM-N：A10-A12、

B10-B12

12x 192 GB 12x 16 GB 192 GB

RDIMM：A1-A6、B1-B6

NVDIMM-N：A7-A12、

B7-B12

12x 192 GB 12x 32 GB 384 GB

RDIMM：A1-A6、B1-B6

NVDIMM-N：A7-A12、

B7-B12

注意：尽管其他配置也可以运行，但这些配置未经过 DellEMC 完全验证，且当前不受支持。

表. 4: ：支持的 NVDIMM-N 配置，R940 4 插槽

NVDIMM-N

NVDIMM-N 容量

RDIMM RDIMM

容量

DIMM 装入位置

1x 16 GB 24x 16 GB 384 GB

RDIMM：A1-A6、B1-

B6、C1-C6、D1-D6

NVDIMM-N：A7

1x 16 GB 24x 32 GB 768 GB

RDIMM：A1-A6、B1-

B6、C1-C6、D1-D6

硬件

11

NVDIMM-N：A7

1x 16 GB 47x 32 GB 1504 GB

RDIMM：A1-A12、B1-

B11、C1-C12、D1-D12

NVDIMM-N：B12

2x 32 GB 24x 16 GB 384 GB

RDIMM：A1-A6、B1-

B6、C1-C6、D1-D6

NVDIMM-N：A7、B7

2x 32 GB 24x 32 GB 768 GB

RDIMM：A1-A6、B1-

B6、C1-C6、D1-D6

NVDIMM-N：A7、B7

2x 32 GB 46x 32 GB 1472 GB

RDIMM：A1-A11、B1-

B11、C1-C12、D1-D12

NVDIMM-N：A12、B12

4x 64 GB 24x 16 GB 384 GB

RDIMM：A1-A6、B1-

B6、C1-C6、D1-D6

NVDIMM-N：A7-A8、

B7-B8

4x 64 GB 24x 32 GB 768 GB

RDIMM：A1-A6、B1-

B6、C1-C6、D1-D6

NVDIMM-N：A7-A8、

B7-B8

4x 64 GB 44x 32 GB 1408 GB

RDIMM：A1-A10、B1-

B10、C1-C12、D1-D12

NVDIMM-N：A11-A12、

B11-B12

6x 96 GB 24x 16 GB 384 GB

RDIMM：A1-A6、B1-

B6、C1-C6、D1-D6

NVDIMM-N：A7-A9、

B7-B9

6x 96 GB 24x 32 GB 768 GB

RDIMM：A1-A6、B1-

B6、C1-C6、D1-D6

NVDIMM-N：A7-A9、

B7-B9

6x 96 GB 42x 32 GB 1344 GB

RDIMM：A1-A9、B1-

B9、C1-C12、D1-D12

NVDIMM-N：A10-A12、

B10-B12

12

硬件

12x 192 GB 24x 16 GB 384 GB

RDIMM：A1-A6、B1-

B6、C1-C6、D1-D6

NVDIMM-N：A7-A12、

B7-B12

12x 192 GB 24x 32 GB 768 GB

RDIMM：A1-A6、B1-

B6、C1-C6、D1-D6

NVDIMM-N：A7-A12、

B7-B12

12x 192 GB 36x 32 GB 1152 GB

RDIMM：A1-A6、B1-

B6、C1-C12、D1-D12

NVDIMM-N：A7-A12、

B7-B12

注

:

1 在 CPU 插槽 3 和 4 的内存插槽中不支持 NVDIMM-N

2 尽管其他配置也可以运行，但这些配置未经过 DellEMC 完全验证，且当前不受支持。

图 5: R740/R740XD 内存布局

NVDIMM-N

图 6 描绘了典型的 NVDIMM-N，它显示了 NVDIMM-N 上状态 LED 的位置。表 3 说明了处于不同操作模式时 NVDIMM-N 的 LED 行

为。

DIMM 具有以下重要特征：

• 符合 JEDEC 的 DDR4 288 针 NVDIMM-N

• 16 GB RDIMM，PC4-2666

硬件

13

• SLC 闪存用于备份

• 系统中运行状况监测和警报

• 带集成 SPD EEPROM 的板载 I

2

C 温度传感器

图 6: NVDIMM-N

表. 5: ：NVDIMM-N LED 的行为

NVDIMM-N 操作绿色 LED 蓝色 LED 琥珀色 LED

关机 O（关闭） O（关闭） O（关闭）

NVDIMM-N 进行开机和初始化 On（打开） O（关闭） On（打开）

NVDIMM-N 运行正常 On（打开）慢速闪烁（每隔 15 秒） O（关闭）

正在保存恢复操作 On（打开）快速闪烁 O（关闭）

电池

需要使用电池来提供备用电源以将内容从 DRAM 复制到闪存。尽管基于 JEDEC 的 NVDIMM-N 可以使用双电层电容器作为备用电

源，但 DellEMC 的电池是集中电源解决方案，可以提供更加小巧、可靠且集成的电源。将供电功能集成到系统板，无需使用单独的

电缆连接到每个 NVDIMM-N，从而摒弃了基于双电层电容器的解决方案的这种典型做法。

在第一次检测到交流电源断电时，服务器将激活电池并触发 NVDIMM-N 以将其 DRAM 内容保存到闪存。保存过程大约需要一分钟时

间即可完成，在此期间，需要使用电池作为备用电源。电池仅对为完成保存操作必须供电的服务器子系统供电。所有其他子系统将关

闭电源，或者置于低功率状态以延长电池寿命。保存操作完成后，电池将取消激活，并且将允许服务器完全关闭。

表. 6: 电池 LED 状态

电池操作绿色 LED 琥珀色 LED

关机 O（关闭） O（关闭）

空闲（在服务器处于开机状态时未充电且未启用） O（关闭） O（关闭）

维护充电 On（打开） O（关闭）

14

硬件

电池操作绿色 LED 琥珀色 LED

电量严重不足充电（电池容量低于执行 NVDIMM-N 保存操作所需的最低

值，服务器处于开机状态）

闪烁 O（关闭）

电池已启用并且正在放电（检测到交流电源断电，电池为 NVDIMM-N 保存

操作供电）

闪烁 O（关闭）

电池发生故障 O（关闭） On（打开）

如果未安装电池或电池未充满电，则 BIOS 会从其板载闪存恢复 NVDIMM-N DRAM 内容，但它会将 NVDIMM-N 置于只读模式。这

样，操作系统和应用程序将能够访问 NVDIMM-N 数据，同时，防止由于交流电源断电使 NVDIMM-N 发生可能丢失数据的情况。

NVDIMM-N 电池不可热插拔。为了防止数据丢失以及对系统造成潜在的损害，请确保先关闭系统、系统上的 LED、NVDIMM-N 上的

LED 以及 NVDIMM-N 电池上的 LED，然后再安装或卸下 NVDIMM-N 电池。

下面的图 7 显示了 R740/R740XD 中 NVDIMM-N 电池电缆的系统板连接（项目 36 和 38）。图 8 显示了如何在 R740/R740XD 中安装

和固定电池。有关如何安装或卸下电池的详细说明，请参考每个服务器的安装和服务手册。

图 7: R740/R740XD 系统板连接

注

: 每个服务器的连接器位置都不同。有关详情，请参阅特定服务器的安装和服务手册。

硬件

15

图 8: R740 电池安装说明

注: 每个服务器的电池安装位置都不同。有关说明，请参阅特定服务器的安装和服务手册。

16

硬件

BIOS

主题：

• NVDIMM-N 的 BIOS 配置设置

• BIOS 错误消息

NVDIMM-N 的 BIOS 配置设置

本部分仅重点介绍影响 NVDIMM-N 操作的 BIOS 设置选项。有关所有设置选项的说明，请参阅每个服务器的安装和服务手册。进入

BIOS 系统设置可配置永久内存 BIOS 设置。显示如下 BIOS 屏幕时，按下 F2 键即可进入 BIOS 系统设置。

图 9: BIOS 屏幕

选择 System BIOS > Memory Settings 以查看以下选项：

5

BIOS 17

图 10: Memory Settings（内存设置）

Node Interleaving

指定是否支持非一体化内存体系结构 (NUMA)。如果此字段为 Enabled（已启用），则在安装对称内存配置的

情况下支持内存交叉存取。如果为 Disabled（已禁用），则系统支持 NUMA（非对称）内存配置。该选项默认

设置为 Disabled（已禁用）。对于 NVDIMM-N 配置，Dell EMC 建议将该选项设置为 Disabled（已禁用）。

警告: 如果在 Persistent Memory System Setup（永久内存系统设置）页面中启用了 Persistent Memory

Interleaving

（永久内存交叉存取），则节点交叉存取设置也适用于永久内存交叉存取。

选择 Persistent Memory（永久内存）以配置 NVDIMM-N 设置选项：

永久内存清理设置永久内存清理模式。

自动：检测到多个错误时，系统在 POST 期间自动清理永久内存。

一次性：系统将在 POST 期间在整个永久内存范围清理永久内存一次。下一次引导时，系统将返回为“自

动”永久内存清理模式。

启用：系统将在每一次引导时在 POST 期间在整个永久内存范围清理永久内存。

注

: 在 POST 期间在整个永久内存范围清理永久内存的时间可能超过 60 分钟，具体取决于系统内存填

充。

18 BIOS

图 11: 永久内存屏幕

下表介绍了 BIOS 设置屏幕中可用的每个选项。

表. 7: BIOS 设置屏幕

选项说明

Node Interleaving

指定是否支持非一体化内存体系结构 (NUMA)。如果此字段为 Enabled（已启用），则在安装对称内

存配置的情况下支持内存交叉存取。如果为 Disabled（已禁用），则系统支持 NUMA（非对称）内

存配置。该选项默认设置为 Disabled（已禁用）。对于 NVDIMM-N 配置，Dell EMC 建议将该选项

设置为 Disabled（已禁用）。

警告

: 如果在 Persistent Memory System Setup（永久内存系统设置）页面中启用了

Persistent Memory Interleaving（永久内存交叉存取），则节点交叉存取设置也适用于永久内

存交叉存取。

该选项默认设置为 Disabled（已禁用）。

Persistent Memory

启用或禁用 NVDIMM-N 操作。如果将该选项设置为 Oﬀ（关），NVDIMM-N 将不会映射到系统物

理地址 (SPA) 并且不会提供给操作系统。NVDIMM 闪存永久保存的数据不受影响，并且在该选项恢

复为 Non-Volatile DIMM（非易失性 DIMM）时可供操作系统使用。

默认情况下，该选项设置为 Non-Volatile DIMM（非易失性 DIMM）。

NVDIMM-N Read-Only

当设置为 Enable（启用）时，这会将 NVDIMM 强制设置为只读。操作系统可以访问 NVDIMM-N 数

据，但禁止进行任何修改。只读状态专用于调试或维护操作。

该选项默认设置为 Disable（禁用）。

BIOS 19

选项说明

NVDIMM-N

Factory Reset and

Secure Erase All

DIMM

支持将 NVDIMM-N 重置为出厂默认设置并清除 NVDIMM-N 上的数据。如果设置为 Enable（启

用），则将擦除所有 NVDIMM-N 上的数据。此选项不会清除 NVDIMM 的运行状况信息，应该用于

移除数据和/或改变 NVDIMM-N 的用途。当 BIOS 确认应保存设置更改时，即会发生重置和数据擦

除。

该选项默认设置为 Disable（禁用）。

NVDIMM-N

Interleave

在 NVDIMM-N 上启用或禁用交叉存取。启用后，NVDIMM-N 交叉存取将遵循适用于 RDIMM 的相同

交叉存取策略。易失性 RDIMM 交叉存取策略不受此选项影响。RDIMM 系统内存和 NVDIMM-N 永

久内存将始终作为两个不同的内存区域。

该选项默认设置为 Disable（禁用）。

Battery Status

指示 NVDIMM-N 电池是否已就绪。Battery Status（电池状态）可以显示以下状态之一：

• 存在且已就绪

• 存在且脱机

• 不存在

以下设置适用于服务器中的每个 NVDIMM-N

表. 8: NVDIMM-N

选项说明

NVDIMM-N Memory

Location

指定 NVDIMM-N 的内存插槽位置。

NVDIMM-N Memory Size

指定有关 NVDIMM-N 容量的信息。

NVDIMM-N Memory Speed

指定有关 NVDIMM-N 运行速度的信息。

NVDIMM-N Memory

Firmware version

指定有关 NVDIMM-N 上当前固件版本的信息。

NVDIMM-N Memory Serial

Number

指定有关 NVDIMM-N 的序列号的信息。

剩余额定写入耐久性 [%] 以百分比的形式指定剩余 NVDIMM-N 快擦写寿命时间的信息。

NVDIMM-N Factory Reset

and Secure Erase

启用重置并清除特定 NVDIMM-N 上的数据，导致该特定 NVDIMM-N 上的数据丢失。

请注意，如果误更改了任何选项，请按 ESC 键退出每个设置屏幕，并在下面的屏幕中出现提示符时选择 No（否）以放弃所有更改。

此外，也可以先将选项恢复为正确的设置，然后在出现下面的提示符时选择 Yes（是）。

20 BIOS

ページが読み込まれています...

Dell PowerEdge T640 ユーザーガイド

このマニュアルも適しています

Dell PowerEdge T640 ユーザーガイド

関連論文

その他のドキュメント