Inspur AS5500G2-F ユーザーマニュアル

浪潮存储系统

Linux 系统多路径软件用户手册

文档版本 2.0

发布日期 2020-09-28

适用版本 Linux 系统自带多路径的所有版本及以上

Linux 系统多路径软件用户手册

ii

浪潮专有和保密信息

尊敬的用户：

衷心感谢您选用浪潮存储系统！浪潮存储秉承“云存智用运筹新数据”的新存储之道，致

力于为您提供符合新数据时代需求的存储产品和解决方案。

本手册用于帮助您更详细地了解和便捷地使用存储系统，涉及的截图仅为示例，最终界面

请以实际设备显示的界面为准。

由于产品版本升级或其他原因，本手册内容会不定期进行更新，如有变动恕不另行通知。

除非另有约定，本手册仅作为使用指导，本手册中的所有陈述、信息和建议不构成任何明

示或暗示的担保。

浪潮拥有本手册的版权，保留随时修改本手册的权利。未经浪潮许可，任何单位和个人不

得以任何形式复制本手册的内容。

如果您对本手册有任何疑问或建议，请向浪潮电子信息产业股份有限公司垂询。

技术服务电话：

4008600011

地址：

中国济南市浪潮路 1036 号

浪潮电子信息产业股份有限公司

邮编：

250101

Linux 系统多路径软件用户手册

iii

浪潮专有和保密信息

使用声明

在您正式使用本存储系统之前，请先阅读以下声明。只有您阅读并且同意以下声明后，方

可正式开始使用本存储系统。如果您对以下声明有任何疑问，请和您的供货商联系或直接

与我们联系。如您在开始使用本系统前未就以下声明向我们提出疑问，则默认您已经同意

了以下声明。

1. 请不要自行拆卸本存储系统机箱及机箱内任何硬件设备。在本存储系统出现任何硬件

故障或您希望对硬件进行任何升级时，请您将机器的详细硬件配置反映给我们的客户

服务中心。

2. 请不要将本存储系统的设备与任何其他型号的相应设备混用。本存储系统的内存、

CPU、CPU 散热片、风扇、硬盘托架、硬盘等都是特殊规格的。

3. 在使用本存储系统时遇到任何软件问题，请您首先和相应软件的提供商联系。由提供

商和我们联系，以方便我们共同沟通和解决您遇到的问题。对于数据库、网络管理软

件或其他网络产品的安装、运行问题，我们尤其希望您能够这样处理。

4. 上架安装本存储系统前，请先仔细阅读相关产品手册中的快速安装指南。我们致力于

产品功能和性能的持续提升，部分功能及操作与手册描述可能会有所差异，但不会影

响使用。如果您有任何疑难问题，请与我们的客户服务中心联系。

5. 我们特别提醒您：在使用过程中，注意对您的数据进行必要的备份。

6. 本存储系统为 A级产品，在生活环境中可能会造成无线电干扰，需要您对其干扰采取

切实可行的措施。

7. 请仔细阅读并遵守本手册的安全声明和安全细则。

8. 本手册中涉及的各软、硬件产品的标识、名称版权归产品的相应公司拥有。

以上声明中，“我们”指代浪潮电子信息产业股份有限公司；浪潮电子信息产业股份有限公

司拥有对以上声明的最终解释权。

Linux 系统多路径软件用户手册

iv

浪潮专有和保密信息

安全声明

我们非常重视数据安全和隐私，且一如既往地严密关注产品和解决方案的安全性，为您提

供更满意的服务。在您正式使用本存储系统之前，请先阅读以下安全声明。

1. 为了保护您的数据隐私，在调整存储产品用途或淘汰存储设备时，请您将存储系统软件

恢复固件出厂设置、删除信息、清除日志。同时，建议采用第三方安全擦除工具对存

储系统软件所在的系统盘进行全面安全擦除。

2. 您购买的存储产品业务运营或故障定位的过程中可能会获取或使用用户的某些个人数

据（如告警邮件接收地址、IP 地址）。因此，您有义务根据所适用国家或地区的法律法

规制定必要的用户隐私政策，并采取足够的措施以确保用户的个人数据受到充分的保护。

3. 如需获取存储系统开源软件声明，请直接联系浪潮客户服务人员。

4. 存储系统的某些安全特性需要您自行配置，如认证、传输加密、存储数据加密等，这些

配置操作可能会对存储系统的性能和使用方便性造成一定影响。您可以根据应用环境，

权衡是否进行安全特性配置。

5. 存储系统自带了部分用于生产、装备、返厂检测维修的接口、命令及定位故障的高级命

令，如使用不当，可能会导致设备异常或者业务中断，不建议您自行使用。如需使用，

请联系我们的客户服务人员。

6. 我们已全面建立产品安全漏洞应急和处理机制，确保第一时间处理产品安全问题。若您

在存储产品使用过程中发现任何安全问题，或者寻求有关产品安全漏洞的必要支持，请

直接联系我们的客户服务人员。

以上声明中，“我们”指代浪潮电子信息产业股份有限公司；浪潮电子信息产业股份有限公

司拥有对以上声明的最终解释权。

Linux 系统多路径软件用户手册

v

浪潮专有和保密信息

安全细则

在使用本存储系统时，若操作不当，可能会危及您的人身安全。为避免发生意外，在正式

使用本存储系统之前，请务必认真阅读以下安全细则，严格按照要求进行操作。

1. 本存储系统中的电源设备可能会产生高电压和危险电能，从而导致人身伤害。请勿自

行卸下主机盖以拆装、更换系统内部的任何组件。除非另外得到我们的通知，否则只

有经过我们培训的维修技术人员才有权拆开主机盖及拆装、更换内部组件。

2. 请将设备连接到适当的电源，仅可使用额定输入标签上指明的外部电源为设备供电。

为保护您的设备免受电压瞬间升高或降低所导致的损坏，请使用相关的稳压设备或不

间断电源设备。

3. 如果必须使用延长线缆，请使用配有正确接地插头的三芯线缆，并查看延长线缆的额

定值，确保插入延长线缆的所有产品的额定电流总和不超过延长线缆额定电流限制的

百分之八十。

4. 请务必使用随机配备的供电组件，如电源线、电源插座（如果随机配备）等。为了本

存储系统及使用者的安全，切勿随意更换电源线缆或插头。

5. 为防止因系统漏电而造成电击危险，请务必将本存储系统和外围设备的电源电缆插入

已正确接地的电源插座。在未安装接地导线及不确定是否已有适当接地保护的情况

下，请勿操作和使用本存储系统，并及时与电工联系。

6. 切勿将任何物体塞入本存储系统的开孔处，否则，可能会导致内部组件短路而引起火

灾或电击。

7. 请将本存储系统置于远离散热片和有热源的地方，切勿堵塞通风孔。

8. 切勿在高潮湿、高灰尘的环境中使用本存储系统，切勿让食物或液体散落在系统内部

或其它组件上。

9. 使用错误型号的电池会有爆炸的危险，需要更换电池时，请先向制造商咨询并使用与

制造商推荐型号相同或相近的电池。切勿拆开、挤压、刺戳电池或使其外部接点短

路。不要将其丢入火中或水中，也不要暴露在温度超过 60 摄氏度的环境中。请勿尝

试打开或维修电池，务必合理处置用完的电池，不要将用完的电池及可能包含电池的

电路板及其它组件与其它废品放在一起。有关电池回收政策请与当地废品回收处理机

构联系。

Linux 系统多路径软件用户手册

vi

浪潮专有和保密信息

以上内容中，“我们”指代浪潮电子信息产业股份有限公司；浪潮电子信息产业股份有限公

司拥有对以上内容的最终解释权。

                        Linux 系统多路径软件用户手册 
vii 
浪潮专有和保密信息 
版权所有 ©  浪潮电子信息产业股份有限公司 
目 录 
使用声明 ........................................................................................................................................ iii 
安全声明 ......................................................................................................................................... iv 
安全细则 .......................................................................................................................................... v 
概述 .............................................................................................................................................. 9 
安装 multipath-tools ................................................................................................................. 11 
1 安装方法................................................................................................................................. 11 
2 加载模块与服务 ..................................................................................................................... 14 
3 检查 multipath-tools 配置文件 .............................................................................................. 15 
4 设置 multipathd 服务开机启动 ............................................................................................. 16 
5 安装 inpath 管理工具 ............................................................................................................. 17 
配置管理 .................................................................................................................................... 18 
1 逻辑盘的创建与映射 ............................................................................................................. 18 
1.1 SAN switch 组网 ................................................................................................................ 18 
1.2 iSCSI 组网 .......................................................................................................................... 19 
2 扫描映射的逻辑盘 ................................................................................................................. 20 
2.1 SAN switch 组网 ................................................................................................................ 20 
2.2 iSCSI 组网 .......................................................................................................................... 20 
3 配置 multipath-tools 多路径工具 .......................................................................................... 21 
3.1 配置文件介绍 ..................................................................................................................... 21 
3.2 配置文件修改 ..................................................................................................................... 21 
4 配置 FC 目标端口设备丢失超时参数 .................................................................................. 23 
5 配置访问 SCSI block device 的超时时间 ............................................................................. 24 
6 Inpath 管理工具使用 ............................................................................................................. 25 
6.1 inpath aggregation ............................................................................................................... 25 
6.2 inpath config ....................................................................................................................... 25 
6.3 inpath delalias ..................................................................................................................... 26 
6.4 inpath delete ........................................................................................................................ 26 
6.5 inpath lsalias ........................................................................................................................ 27 
6.6 inpath lspathpolicy .............................................................................................................. 27 
6.7 inpath query......................................................................................................................... 28 
6.8 inpath restart ........................................................................................................................ 29 
6.9 inpath scan........................................................................................................................... 30 
6.10 inpath setalias ...................................................................................................................... 30 
6.11 inpath setpathpolicy ............................................................................................................ 31 
6.12 inpath setstate ...................................................................................................................... 32 
6.13 inpath start ........................................................................................................................... 32 

                        Linux 系统多路径软件用户手册 
viii 
浪潮专有和保密信息 
版权所有 ©  浪潮电子信息产业股份有限公司 
6.14 inpath status......................................................................................................................... 33 
6.15 inpath stop ........................................................................................................................... 33 
6.16 inpath version ...................................................................................................................... 34 
6.17 inpath -h .............................................................................................................................. 35 
故障分析与解决......................................................................................................................... 36 
1 多路径设备聚合问题 ............................................................................................................. 36 
1.1 问题描述 ............................................................................................................................. 36 
1.2 问题解答 ............................................................................................................................. 36 
2 分区表显示问题 ..................................................................................................................... 37 
2.1 问题描述 ............................................................................................................................. 37 
2.2 问题解答 ............................................................................................................................. 38 
3 Lustre 文件系统 block size 故障 ........................................................................................... 41 
3.1 故障描述 ............................................................................................................................. 41 
3.2 故障原因 ............................................................................................................................. 41 
3.3 故障处理 ............................................................................................................................. 41 
术语&缩略语 ............................................................................................................................. 43 
 

Linux 系统多路径软件用户手册

9

浪潮专有和保密信息

1 概述

Linux 系统平台通常会包含多路径模块：multipath-tools，根据多路径模块的版本号

不同，支持浪潮存储的多路径配置也不同：

 从版本 0.7.5 开始（包含 0.7.5），multipath-tools 的默认支持设备包含了浪潮

G2、G5 系列存储设备，无需修改配置文件，即可支持 G2、G5 系列存储设备

的多路径功能。

 当multipath-tools 模块的版本号低于 0.7.5 时，需要修改多路径模块的配置文

件，实现对 G2、G5 系列存储设备的多路径功能支持。

本文介绍在 Linux 系统下配置多路径工具 multipath-tools，以支持浪潮 G2、G5 系

列存储设备多路径功能。multipath-tools 是Linux 平台用于配置存储设备多路径支

持的工具，其作用是配置 Linux 内核模块 device-mapper，实现对存储设备的多路径

支持。

本文以 Linux 发行版 RHEL 6.6（Red Hat Enterprise Level 6.6）为例，介绍在 Linux

平台配置浪潮 G2、G5 系列设备多路径支持。

 RHEL 6.6发行版本基于 Linux 2.6.32 内核版本，其多路径工具版本为 multipath-

tools 0.4.9。

 其它 RHEL 发行版本的多路径工具，与此例类似，请参考其对应的模块说明。

 系统 CentOS、Oracle Linux、Kylin 3.2-4F、Ubuntu 与RHEL 系统类似，请参

考其对应的模块说明。

 系统 SuSE 与RHEL 存在差别，请参考文中备注对应的模块说明。

本文适用产品型号：

AS2150G2&AS2200G2&AS2600G2&AS5300G2&AS5500G2&AS5600G2&AS5800

G2&AS6800G2

AS2600G2-F&AS5300G2-F&AS5500G2-F&AS5600G2-F&AS5800G2-F&AS6800G2

-F

Linux 系统多路径软件用户手册

10

浪潮专有和保密信息

HF5500

AS5300G5&AS5500G5&AS5600G5&AS5800G5&HF5000G5&HF6000G5

Linux 系统多路径软件用户手册

11

浪潮专有和保密信息

2 安装 multipath-tools

2.1 安装方法

1. 执行以下命令，检查当前系统中是否已经安装多路径工具：

rpm -qa | grep device-mapper-multipath

SuSE 系统 multipath 相关 rpm 包是 multipath-tools-*.rpm，检查安装包时使用

如下命令：

rpm -qa | grep multipath

Linx-Rocky4.2 系统多路径工具的相关包名称为 multipath-tools-0.4.8-x86_64-

linx-Rocky4.2-TS.pkg.tar.gz，检查安装包时使用如下命令：

pkginfo -I | grep multipath

Ubuntu 系统 multipath 相关 deb 包是 multipath-tools_*.deb，检查安装包时使

用如下命令：

dpkg -l | grep multipath

2. 如果系统中已经安装了此模块，以上命令会列出模块名及版本。如果没有安装

此模块，请执行以下安装步骤，从系统安装光盘中安装多路径工具：

a. 将系统安装光盘装入光驱，并 mount 到一个挂载目录（例如：/mnt/cd0）。

请执行以下命令：

mount /dev/cdrom /mnt/cd0

b. 进入系统模块所在目录。参考表 2-1 查找目录，并执行以下命令，如：

cd /mnt/cd0/Packages

不同 Linux 发行版 RPM 包目录会有差异，以系统发布版本的实际情况为

准。如下表所示。

表2-1 不同 Linux 发行版的 RPM 包在光盘中的目录差异

发行版

RPM 包目录

Linux 系统多路径软件用户手册

12

浪潮专有和保密信息

RHEL5.x

/mnt/cd0/Server

RHEL6.x

/mnt/cd0/Packages

RHEL7.x

/mnt/cd0/Packages

CentOS6.x

/mnt/cd0/Packages

CentOS7.x

/mnt/cd0/Packages

SuSE

/mnt/cd0/suse/x86_64（选择相应的处理器）

Kylin 3.2-4F

/mnt/cd0/KYLIN

Ubuntu

Ubuntu 官方网站下载：https://ubuntu.com/

c. 执行 rpm 包安装命令。参考表 2-2 查找 rpm 包，并执行以下命令，如：

rpm -ivh device-mapper-multipath-libs-0.4.9-80.el6.x86_64.rpm

rpm -ivh device-mapper-multipath-0.4.9-80.el6.x86_64.rpm

不同 Linux 发行版 RPM 包会有差异，以系统发布版本的实际情况为准。

例如，不同 Linux发行版的 DM-Multipath模块 RPM 包对比如下表所示：

表2-2 不同 Linux 发行版的 RPM 包版本差异

发行版

device-mapper-

multipath-libs

device-mapper-

multipath

multipath-tools

RHEL5.1

0.4.7-12

-

RHEL5.2

0.4.7-17

-

RHEL5.8

0.4.7-48

-

RHEL6.2

0.4.9-46

-

RHEL6.3

0.4.9-56

-

RHEL6.4

0.4.9-64

-

RHEL6.5

0.4.9-72

-

RHEL6.6

0.4.9-80

-

RHEL6.7

0.4.9-87

-

RHEL6.8

0.4.9-93

-

RHEL7.0

0.4.9-66

-

Linux 系统多路径软件用户手册

13

浪潮专有和保密信息

RHEL7.1

0.4.9-77

-

RHEL7.2

0.4.9-85

-

CentOS7.2

0.4.9.85

-

CentOS6.4

0.4.9.64

-

CentOS6.5

0.4.9.72

-

SuSE-10

-

0.4.6-25.8

SuSE-11-SP1

-

0.4.8-40.21.1

SuSE-11-SP2

-

0.4.9-0.60.1

SuSE-11-SP3

-

0.4.9-0.83.2

SuSE-11-SP4

-

0.4.9-109.1

SuSE-12-SP1

-

0.5.0-46.1

Kylin 3.2-4F

0.4.9-64.ky3

-

Ubuntu16.04

-

0.5.0

Ubuntu18.04

-

0.7.4

Ubuntu19.04

-

0.7.4

3. 完成以上步骤后，需检查多路径工具是否已经安装成功。请执行以下命令：

rpm -qa | grep device-mapper-multipath

SuSE 系统 multipath 相关 rpm 包是 multipath-tools-*.rpm，检查安装包时使用

如下命令：

rpm -qa | grep multipath

Linx-Rocky4.2 系统多路径工具的相关包名称为 multipath-tools-0.4.8-x86_64-

linx-Rocky4.2-TS.pkg.tar.gz，检查安装包时使用如下命令：

pkginfo -I | grep multipath

Ubuntu 系统 multipath 相关 deb 包是 multipath-tools_*.deb，检查安装包时使

用如下命令：

dpkg -l | grep multipath

Linux 系统多路径软件用户手册

14

浪潮专有和保密信息

2.2 加载模块与服务

请逐步执行以下命令加载内核 device-mapper 模块，并启动 multipathd 服务。

1. modprobe dm-multipath

2. modprobe dm-service-time

3. service multipathd start (RHEL6.x、CentOS6.x、SuSE、Kylin 3.2-4F)

或systemctl start multipathd.service(RHEL7.x、CentOS7.x、Ubuntu)

Linx-Rocky4.2 系统请执行以下步骤：

1. 修改/etc/sysconfig/modules 配置文件，在文件最后一行添加 dm-multipath。

2. 创建 multipath 配置文件

a. 制作连接文件 ln -s /lib/udev/scsi_id /lib64/udev/scsi_id。

b. 执行 scsi_id -g -u -s /block/sdb,获取 sdb 的wwid。

c. 创建一个/etc/multipath.conf 的配置文件，该文件在安装后不会自动创建，

将步骤 b)中查看到的 wwid 写入到配置文件。配置文件内容如下：

defaults{

user_friendly_names yes

}

blacklist{

devnode ”^sda”

#不扫描本地磁盘，这里根据本地磁盘盘符来确定，该示例中假定本

地盘符为 sda

}

multipaths {

multipath {

wwid 3600508b4000156d70001200000b0000

alias mpatha

}

multipath {

wwid 3600508b4000156d70001200000b0001

alias mpathb

}

devices{

device{

Linux 系统多路径软件用户手册

15

浪潮专有和保密信息

vendor "INSPUR"

product "MCS"

path_grouping_policy group_by_prio

path_selector "round-robin 0"

features “1 queue_if_no_path”

prio alua

path_checker tur

failback immediate

no_path_retry “60”

rr_min_io 1

dev_loss_tmo 120

fast_io_fail_tmo 5

}

3. 启动服务：/etc/rc.d/init.d/multipathd start

2.3 检查 multipath-tools 配置文件

查看系统中/etc/multipath.conf 文件是否存在。

如果不存在，将/usr/share/doc/device-mapper-multipath-*/multipath.conf 文件拷贝一

份，文件命名为 multipath.conf 放置于/etc/目录下。

上述斜体部分“device-mapper-multipath-*”表示相应 DM-Multipath 版本。不同 Linux

发行版默认的配置文件会有差异，以系统发布版本的实际情况为准：

表2-3 不同 Linux 发行版的配置文件路径及文件名差异

发行版

配置文件路径及文件名

RHEL5.x

/usr/share/doc/device-mapper-multipath-

0.4.7/multipath.conf.synthetic

RHEL6.x

/usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf

RHEL7.x

/usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf

CentOS6.x

/usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf

CentOS7.x

/usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf

Linux 系统多路径软件用户手册

16

浪潮专有和保密信息

SuSE10

/usr/share/doc/packages/multipath-tools/multipath.conf.synthetic

SuSE11

/usr/share/doc/packages/multipath-tools/multipath.conf.synthetic

SuSE12

/usr/share/doc/packages/multipath-tools/multipath.conf.synthetic

Kylin 3.2-4F

/usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf

Ubuntu16.04

/usr/share/doc/multipath-tools/examples/multipath.conf.synthetic

Ubuntu18.04

请参考 RHEL/CentOS 系统上的 multipath.conf 文件

Ubuntu19.04

请参考 RHEL/CentOS 系统上的 multipath.conf 文件

2.4 设置 multipathd 服务开机启动

执行如下命令查看 multipathd 服务是否开机启动：

表2-4 不同 Linux 发行版查看 multipathd 服务是否开机启动命令差异

发行版

命令

RHEL5.x

chkconfig --list multipathd

RHEL6.x

chkconfig --list multipathd

RHEL7.x

systemctl is-enabled multipathd.service

CentOS6.x

chkconfig --list multipathd

CentOS7.x

systemctl is-enabled multipathd.service

SuSE10

chkconfig --list multipathd

SuSE11

chkconfig --list multipathd

SuSE12

chkconfig --list multipathd

Kylin 3.2-4F

chkconfig --list multipathd

Ubuntu16.04

systemctl is-enabled multipathd.service

Ubuntu18.04

systemctl is-enabled multipathd.service

Ubuntu19.04

systemctl is-enabled multipathd.service

若multipathd 未配置开机启动，执行如下命令，设置 multipathd 服务开机启动。

Linux 系统多路径软件用户手册

17

浪潮专有和保密信息

表2-5 不同 Linux 发行版设置 multipathd 服务开机启动命令差异

发行版

命令

RHEL5.x