AS5600G2-F

Inspur AS5600G2-F, AS2600G2-F, AS5300G2-F, AS5500G2-F, AS5800G2-F, AS6800G2-F, HF5500 ユーザーマニュアル

  • こんにちは!私は、浪潮のK8sCSIPluginプラグインに関するユーザーマニュアルを読み込み、その内容を理解しています。このマニュアルは、InStorageシリーズのストレージをKubernetesクラスタで使用する際に役立つ情報が満載です。ボリューム管理、スナップショット、クローン、オンライン拡張など、様々な機能について質問にお答えできますので、お気軽にご質問ください!
  • K8sCSIPluginプラグインをインストールするにはどうすればよいですか?
    多パス機能を有効にするにはどうすればよいですか?
    Kubernetesでストレージを使用するにはどうすればよいですか?
    エラーが発生した場合、どのようにトラブルシューティングできますか?
浪潮存储系统
K8sCSIPlugin 插件
用户手册
文档版本 1.0
发布日期 2020-09-28
适用版本 K8sCSIPlugin_V2.1.0 及以
K8sCSIPlugin 插件 户手册
ii
浪潮专有和保密信息
版权所有 © 浪潮电子信息产业股份有限公司
尊敬的用户:
衷心感谢您选用浪潮存储系统!浪潮存储秉承“云存智用 运筹新数据”的新存储之道,致
力于为您提供符合新数据时代需求的存储产品和解决方案。
本手册用于帮助您更详细地了解和便捷地使用存储系统,涉及的截图仅为示例,最终界面请
以实际设备显示的界面为准。
由于产品版本升级或其他原因,本手册内容会不定期进行更新,如有变动恕不另行通知。
非另有约定,本手册仅作为使用指导,本手册中的所有陈述、信息和建议不构成任何明示或
暗示的担保。
浪潮拥有本手册的版权,保留随时修改本手册的权利未经浪潮许可,任何单位和个人不得
以任何形式复制本手册的内容
如果您对本手册有任何疑问或建议,请向浪潮电子信息产业股份有限公司垂询。
技术服务电话:
4008600011
址:
中国济南市浪潮路 1036
浪潮电子信息产业股份有限公
编:
250101
K8sCSIPlugin 插件 户手册
iii
浪潮专有和保密信息
版权所有 © 浪潮电子信息产业股份有限公司
使用声明
在您正式使用本存储系统之前,请先阅读以下声明。只有您阅读并且同意以下声明后,方可
正式开始使用本存储系统。如果您对以下声明有任何疑问,请和您的供货商联系或直接与我
们联系。如您在开始使用本系统前未就以下声明向我们提出疑问,则默认您已经同意了以下
声明。
1. 请不要自行拆卸本存储系统机箱及机箱内任何硬件设备。在本存储系统出现任何硬
故障或您希望对硬件进行任何升级时,请您将机器的详细硬件配置反映给我们的客
服务中心。
2. 请不要将本存储系统的设备与任何其他型号的相应设备混用。本存储系统的内存、
CPUCPU 散热片、风扇、硬盘托架、硬盘等都是特殊规格的。
3. 在使用本存储系统时遇到任何软件问题,请您首先和相应软件的提供商联系。由提
商和我们联系,以方便我们共同沟通和解决您遇到的问题。对于数据库、网络管理
件或其他网络产品的安装、运行问题,我们尤其希望您能够这样处理。
4. 上架安装本存储系统前,请先仔细阅读相关产品手册中的快速安装指南。我们致力
产品功能和性能的持续提升,部分功能及操作与手册描述可能会有所差异,但不会
响使用。如果您有任何疑难问题,请与我们的客户服务中心联系
5. 我们特别提醒您:在使用过程中,注意对您的数据进行必要的备份。
6. 本存储系统为 A级产品,在生活环境中可能会造成无线电干扰,需要您对其干扰采取
切实可行的措施。
7. 请仔细阅读并遵守本手册的安全声明和安全细则
8. 本手册中涉及的各软、硬件产品的标识、名称版权归产品的相应公司拥有。
以上声明中,“我们”指代浪潮电子信息产业股份有限公司;浪潮电子信息产业股份有限公
司拥有对以上声明的最终解释权。
K8sCSIPlugin 插件 户手册
iv
浪潮专有和保密信息
版权所有 © 浪潮电子信息产业股份有限公司
安全声明
我们非常重视数据安全和隐私,且一如既往地严密关注产品和解决方案的安全性,为您提供
更满意的服务。在您正式使用本存储系统之前,请先阅读以下安全声明。
1. 为了保护您的数据隐私,在调整存储产品用途或淘汰存储设备时,请您将存储系统软
恢复固件出厂设置、删除信息、清除日志。 同时,建议采用第三方安全擦除工具对存
储系统软件所在的系统盘进行全面安全擦除。
2. 购买的存储产品业务运营或故障定位的过程中可能会获取或使用用户的某些个人
据(如告警邮件接收地址、IP 地址)因此,您有义务根据所适用国家或地区的法律法
规制定必要的用户隐私政策,并采取足够的措施以确保用户的个人数据受到充分的保护
3. 如需获取存储系统开源软件声明,请直接联系浪潮客户服务人员。
4. 存储系统的某些安全特性需要您自行配置,如认证、传输加密、存储数据加密等,这些
配置操作可能会对存储系统的性能和使用方便性造成一定影响。您可以根据应用环境,
权衡是否进行安全特性配置。
5. 存储系统自带了部分用于生产、装备、返厂检测维修的接口、命令及定位故障的高级命
令,如使用不当,可能会导致设备异常或者业务中断,不建议您自行使用。如需使用,
请联系我们的客户服务人员。
6. 我们已全面建立产品安全漏洞应急和处理机制,确保第一时间处理产品安全问题。若您
在存储产品使用过程中发现任何安全问题,或者寻求有关产品安全漏洞的必要支持,
直接联系我们的客户服务人员
以上声明中,“我们”指代浪潮电子信息产业股份有限公司;浪潮电子信息产业股份有限公
司拥有对以上声明的最终解释权。
K8sCSIPlugin 插件 户手册
v
浪潮专有和保密信息
版权所有 © 浪潮电子信息产业股份有限公司
安全细则
在使用本存储系统时,若操作不当,可能会危及您的人身安全。为避免发生意外,在正式使
用本存储系统之前,请务必认真阅读以下安全细则,严格按照要求进行操作
1. 本存储系统中的电源设备可能会产生高电压和危险电能,从而导致人身伤害。请勿
行卸下主机盖以拆装、更换系统内部的任何组件。除非另外得到我们的通知,否则
有经过我们培训的维修技术人员才有权拆开主机盖及拆装、更换内部组件。
2. 请将设备连接到适当的电源,仅可使用额定输入标签上指明的外部电源为设备供电
为保护您的设备免受电压瞬间升高或降低所导致的损坏,请使用相关的稳压设备或
间断电源设备。
3. 如果必须使用延长线缆,请使用配有正确接地插头的三芯线缆,并查看延长线缆的
定值,确保插入延长线缆的所有产品的额定电流总和不超过延长线缆额定电流限制
百分之八十。
4. 请务必使用随机配备的供电组件,如电源线、电源插座(如果随机配备)等。为了
存储系统及使用者的安全,切勿随意更换电源线缆或插头。
5. 为防止因系统漏电而造成电击危险,请务必将本存储系统和外围设备的电源电缆插
已正确接地的电源插座。在未安装接地导线及不确定是否已有适当接地保护的情况
下,请勿操作和使用本存储系统,并及时与电工联系。
6. 切勿将任何物体塞入本存储系统的开孔处,否则,可能会导致内部组件短路而引起
灾或电击。
7. 请将本存储系统置于远离散热片和有热源的地方,切勿堵塞通风孔。
8. 切勿在高潮湿、高灰尘的环境中使用本存储系统,切勿让食物或液体散落在系统内部
或其它组件上。
9. 使用错误型号的电池会有爆炸的危险,需要更换电池时,请先向制造商咨询并使用
制造商推荐型号相同或相近的电池。切勿拆开、挤压、刺戳电池或使其外部接点短
路。不要将其丢入火中或水中,也不要暴露在温度超过 60 摄氏度的环境中。请勿
试打开或维修电池,务必合理处置用完的电池,不要将用完的电池及可能包含电池
电路板及其它组件与其它废品放在一起。有关电池回收政策请与当地废品回收处理
构联系。
K8sCSIPlugin 插件 户手册
vi
浪潮专有和保密信息
版权所有 © 浪潮电子信息产业股份有限公司
以上内容中,“我们”指代浪潮电子信息产业股份有限公司;浪潮电子信息产业股份有限公
司拥有对以上内容的最终解释权。
K8sCSIPlugin 插件 户手册
vii
浪潮专有和保密信息
版权所有 © 浪潮电子信息产业股份有限公司
使用声明 ........................................................................................................................................ iii
安全声明 ......................................................................................................................................... iv
安全细则 .......................................................................................................................................... v
1 功能描述 ...................................................................................................................................... 1
1.1 基本介绍 .................................................................................................................................... 1
1.2 约束与限制 ................................................................................................................................ 2
1.3 应用场景 .................................................................................................................................... 3
2 安装与部署 .................................................................................................................................. 5
2.1 浪潮 K8sCSIPlugin 插件安装 ................................................................................................... 5
2.2 Kubernetes 集群搭建 ................................................................................................................. 8
3 功能配置与管理........................................................................................................................... 9
3.1 网络配置 .................................................................................................................................... 9
3.2 启用多路径 .............................................................................................................................. 10
3.3 完善 K8sCSIPlugin 插件存储配置文件 ................................................................................. 12
4 Kubernetes 中使用存储 ............................................................................................................ 15
4.1 通过新建卷创建 POD ............................................................................................................. 15
4.2 通过已有卷创建 POD ............................................................................................................. 18
4.3 通过 PVC 创建快照 ................................................................................................................ 20
4.4 通过 PVC 克隆 PVC ............................................................................................................... 21
4.5 通过快照克隆 PVC ................................................................................................................. 22
4.6 离线扩容 .................................................................................................................................. 23
4.7 在线扩容 .................................................................................................................................. 26
4.8 StorageClass 资源存储插件参数说明 .................................................................................... 26
5 故障分析与解决......................................................................................................................... 28
6 术语&缩略语 ............................................................................................................................. 29
附录一 Kubernetes 链接 .............................................................................................................. 31
附录二 双活卷扩容说明............................................................................................................... 32
K8sCSIPlugin 插件 户手册
1
浪潮专有和保密信息
版权所有 © 浪潮电子信息产业股份有限公司
1 功能描述
1.1 基本介绍
浪潮 K8sCSIPlugin 插件使得浪潮存储可以为 Kubernetes 集群中的应用自动的提供
持久化存储。K8sCSIPlugin 插件功能主要包含卷的创建、删除、挂载卸载、克隆,
快照的创建、删除。
Kubernetes 集群中的一个服务需要使用浪潮存储提供的卷时,用户会首先
Kubernetes 上创建一个 PVCPersistent Volume Claim资源信息,Kubernetes 根据
PVC 中的信息,通过接口,将消息传递instorage-csiinstorage-csi 收到消息后会
自动的在存储上创建满足要求的卷,并在 Kubernetes 上生成一PVPersistent
Volume信息,之后服务就可以使用该卷。当 Kubernetes 删除 PV 信息时,消息也
将传递给 instorage-csiinstorage-csi 根据里面的具体信息,自动的将存储上与之对
应的卷删除。
Kubernetes 集群中的一个使用持久化存储的服务启动时,首先需要将服务所使
用的持久化存储映射到某个主机的指定目录上然后服务才可以使用这些持久化存
储。在这个过程中,Kubernetes 会调用与相应 PV 信息对应的卷挂载/卸载插件,
K8sCSIPlugin 插件中也实现了该部分功能。当 Kubernetes 需要挂载一个卷时,
instorage-csi 会自动的在存储上完成卷与主机信息的绑定,并在主机端将对应的卷
扫描出来,根据需要,会自动对卷进行格式化,然后将卷上的文件系统挂载到
Kubernetes 指定的目录上,随后,Kubernetes 便可以将该目录映射到服务的容器中,
供服务使用。
当前插件实现的详细功能如下
1-1K8sCSIPlugin 插件实现的功能
序号
功能模块
操作
1
-主机操作
挂载卷到主机
K8sCSIPlugin 插件 户手册
2
浪潮专有和保密信息
版权所有 © 浪潮电子信息产业股份有限公司
2
mount 卷上的文件系统到主机
3
从主机上 unmount 卷上的文件系统
4
从主机上卸载卷
5
存储接口协议
iSCSI
6
FC
7
多路径
支持多路径设备
8
卷操作
创建卷(支持普通卷、镜像卷、双活卷
9
删除卷
10
克隆卷(支持基于卷克隆和基于快照
隆)
11
卷在线扩容
12
快照操作
创建快照
13
删除快照
1.2 约束与限制
1-2 约束与限制
支持 Kubernetes 版本
1.10 及以上
支持 Linux 内核版本
4.4 及以上
支持功能
1. 卷的创建、删除。
2. 卷的挂载、卸载(支持 FC/iSCSI支持多路径)
3. 卷的在线扩容。(需Kubernetes 版本支持)。
4. 快照的创建、删除。
适用存储产品类型
AS2150G2&AS2200G2&AS2600G2&AS5300G2&AS5500G2&AS5600G2&AS5800
G2&AS6800G2
HF5500
K8sCSIPlugin 插件 户手册
3
浪潮专有和保密信息
版权所有 © 浪潮电子信息产业股份有限公司
AS2600G2-F&AS5300G2-F&AS5500G2-F&AS5600G2-F&AS5800G2-
F&AS6800G2-F
AS5300G5&AS5500G5&AS5600G5&AS5800G5&HF5000G5&HF6000G5
1.3 应用场景
通过浪潮 K8sCSIPlugin 插件,在使用 Kubernetes 时,可以直接的利用 Kubernetes
的管理命令来自动的在浪潮InStorage 系列存储上创建卷、删除卷、克隆卷、挂
载卷、卸载卷、创建快照、删除快照,并可以将存储上的卷提供给应用服务使用,
用于服务的持久化数据存储。
K8sCSIPlugin 插件,主要包括 IdentityControllerNode 三个服务。Identity 服务
负责插件信息、能力、状态的获取,Controller 服务负责卷的创建、删除、克隆和
快照的创建、删除,Node 服务负责卷的挂载、卸载K8sCSIPlugin 插件拥有三种
工作模式,all-in-onecontrollernodeworkerall-in-one 模式包含上述三个服务,
部署在 Kubernetes Master 节点。controller 模式包含 Identity Controller 两个服
务,部署在 Kubernetes Master 节点。nodeworker 模式包含 Identity Node 两个
服务,部署在 Kubernetes 的所有节点。拓扑图如图 1-1 所示。
1-1 K8sCSIPlugin 插件应用拓扑图
Kubernetes 集群通过 sidecar 容器与 CSI 插件进行对接,sidecar 容器服务是为了
便插件与 Kubernetes 集群进行对接开发的桥接服务,本质上属于 Kubernetes CSI
接口支持的一部分。Sidecar 容器按照 Kubernetes 的实现机制与 Kubernetes 进行交
K8sCSIPlugin 插件 户手册
4
浪潮专有和保密信息
版权所有 © 浪潮电子信息产业股份有限公司
互,并将消息按照 CSI 接口定义的规范调用 CSI 插件
图中 controller 模式的 CSI 插件通过 csi-provisionercsi-attachercsi-snapshotter
csi-extender sidecar 服务接收 kubernetes 集群的任务,并与存储交互完成管理任
务。
nodeworker 模式CSI 插件通过 csi-driver-registrar 这个 sidecar 服务注册到
kubernetes 集群工作节点的 kubelet 服务中,后续 kubelet 服务直接调用 nodeworker
模式的 CSI 插件来完成工作节点卷挂载/卸载相关任务在挂载设备时,nodeworker
模式的 CSI 插件会根据主机信息在存储上映射卷,并在主机上扫描,挂载设备
卸载设备时,nodeworker 模式的 CSI 插件实现卸载,删除设备,并在存储上解除卷
映射。
K8sCSIPlugin 插件 户手册
5
浪潮专有和保密信息
版权所有 © 浪潮电子信息产业股份有限公司
2 安装与部署
为了在 Kubernetes 集群中使用浪潮存储,需要提前完成存储的初始化,并将浪潮存
储插件部署在集群中,all-in-one 模式和 controller 模式的插件部署在 Kubernetes
Master 节点。nodeworker 模式的插件部署Kubernetes 的所有节点。
在部署插件前,需要确保 Kubernetes 集群状态正常。
说明:署插件时,无需重启 Kubernetes 服务升级插件时,删除插件容器对应的 pods修改
部署文件,再重新创建 pods
2.1 浪潮 K8sCSIPlugin 插件安装
具体过程如下:
1. 打开浪潮存储随机光盘中的 K8sCSIPlugin 插件安装包。
解压并查看浪潮 K8sCSIPlugin 插件安装包中包含的文件:
root@lab:~/workspace$ ls
K8sPlugin_V2.1.0.Build20200114_amd64.tar.gz
root@lab:~/ K8sPlugin_V2.1.0.Build20200114_amd64# tree
├── csiplugin
└─ csiplugin
└─ Dockerfile
└─ deploy
└── configMap.yaml
└── csi-deploy.yaml
└── csi-rbac.yaml
└── centos-7.6.1810.base-for-csiplugin.docker-image
└── README.md
└─ demo
└── csi-pvc.yaml
└── csi-storageClass.yaml
可以看到安装包中包含两个文件和两个目录,文./csiplugin/csiplugin CSI
插件,文件./csiplugin/Dockerfile 制作 CSI 插件镜像的 Dockerfile,目
./csiplugin/deploy 放置部署文件,目录./csiplugin/demo 放置示例文件。
K8sCSIPlugin 插件 户手册
6
浪潮专有和保密信息
版权所有 © 浪潮电子信息产业股份有限公司
2. 部署过程如下:
a. 拉取镜像。
docker pull quay.io/k8scsi/csi-snapshotter:v1.2.2
docker pull quay.io/k8scsi/csi-resizer:canary
docker pull quay.io/k8scsi/csi-provisioner:canary
docker pull quay.io/k8scsi/csi-attacher:canary
docker pull quay.io/k8scsi/csi-node-driver-registrar:canary
拉取完成后,可通过命令 docker images | grep csi 查看已拉取的镜像。
b. 加载镜像。
docker load -i centos-7.6.1810.base-for-csiplugin.docker-image
加载完成后,可通过命令 docker images | grep centos 查看已加载的镜
像。
c. 制作镜像。
chmod -R 777 csiplugin
docker build -t csiplugin:2.1.0 -f Dockerfile .
制作完成后,可通过命令 docker images | grep csiplugin 查看已制作的镜
像。
d. 增加服务 kube-apiserver 的启动参数。
文件/etc/kubernetes/manifests/kube-apiserver.yaml 中增
--feature-gates=VolumeSnapshotDataSource=true
--feature-gates=VolumePVCDataSource=true
--feature-gates=ExpandInUsePersistentVolumes=true
--feature-gates=ExpandCSIVolumes=true
增加完成后,服务 kube-apiserver 会自动重启。通过命令
ps aux | grep kube-apiserver 查看是否生效
e. 增加服务 kube-controller-manager 的启动参数。
文件/etc/kubernetes/manifests/kube-controller-manager.yaml 中增加
--feature-gates=ExpandInUsePersistentVolumes=true
--feature-gates=ExpandCSIVolumes=true
K8sCSIPlugin 插件 户手册
7
浪潮专有和保密信息
版权所有 © 浪潮电子信息产业股份有限公司
增加完成后,服务 kube-controller-manager 会自动重启。通过命
ps aux | grep kube-controller-manager 查看是否生效。
f. 增加服务 kubelet 的启动参数。
文件/usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf 中增加
--feature-gates=ExpandInUsePersistentVolumes=true
--feature-gates=ExpandCSIVolumes=true
增加完成后,服务 kubelet 需要手动重启。可通过命
systemctl daemon-reload systemctl restart kubelet 完成重启。通过命令
ps aux | grep kubelet 查看是否生效。
g. 创建 socket 目录。
在目录/var/lib/kubelet/plugins/下创建文件夹 csi-instorage
h. 创建 RBAC 权限信息。
通过命令 kubectl create -f csi-rbac.yaml 创建 RBAC 权限信息。
i. 创建存储配置信息。
修改 configMap.yaml 中存储信息(参考 3.3 节)。通过命令 kubectl
create f configMap.yaml 创建存储配置信息。
j. 部署 CSI 插件。
通过命令 kubectl create -f csi-deploy.yaml 部署 CSI 件。通过命令
kubectl get pods 查看插件部署是否成功。
说明:需要用户修改 csi-deploy.yaml 文件中的 instorage-csi 部分的镜像名称(参
步骤 c的镜像命名)。
2-1 查看部署结果
k. 至此,浪潮 K8sCSIPlugin 插件部署完毕,后续可参考功能配置与管理部
分。
说明:插件是以容器方式部署的,可通过命令 kubectl logs ${pod_name} c instorage-csi
K8sCSIPlugin 插件 户手册
8
浪潮专有和保密信息
版权所有 © 浪潮电子信息产业股份有限公司
看日志。
2.2 Kubernetes 集群搭建
Kubernetes 是一个开源的容器编排管理平台。Kubernetes 集群的搭建过程,使用方
法,请参考官方网站 https://kubernetes.io/中的介绍。同时作为一个开源系统,各厂
商可以基于 Kubernetes 发行自己的版本,针对厂商版本的使用方法,请参考各厂商
提供的使用手册及相关文档。
K8sCSIPlugin 插件 户手册
9
浪潮专有和保密信息
版权所有 © 浪潮电子信息产业股份有限公司
3 功能配置与管理
为了在 Kubernetes 集群中使用浪潮存储,首先需要确保浪潮存储本身已经完成了
初始化,并且完成存储池的创建。存储可以在集中的各节点被访问,存储数据
层通道(iSCSIFC)可以正常使用,然后根据集群的具体信息对配置文件进行
修改。
3.1 网络配置
管理 IP
驱动需要访问浪潮存储的管理接口,驱动使用 SSH 的方式与管理接口通信。驱动
需要配置浪潮存储系统的 IPSSH 端口。
注意
确保插件所在节点具有存储系统的 SSH 访问权限。
浪潮存储设备必须配置有 iSCSIFC,两者至少有一种,或者两者兼有
iSCSI 网络配置
如果使用 iSCSI则需要每个浪潮存储节点至少有一iSCSI IP 地址。插件会直
接从存储系统中获取 iSCSI IP用户不需要给插件单独提供 iSCSI IP虽然不需要
单独为驱动分配 iSCSI IP但是要在存储管理系统中设定 iSCSI 端口的 IP“设
> 网络 > 以太网端口”中,选择已经连通的端口单击鼠标右键,“修改
IP”,填写有效的 IP、子网掩码、网关。如图 3-1 所示
K8sCSIPlugin 插件 户手册
10
浪潮专有和保密信息
版权所有 © 浪潮电子信息产业股份有限公司
3-1 添加 iSCSI 端口 IP
注意
如果使用 iSCSI,确保各工作节点与存储系统有畅通的 iSCSI 网络可供访问。
FC 网络配置
如果使用 FC,则需要每个浪潮存储节点至少配置有一个 WWPN 端口。插件会使
所有可用WWPN 端口将卷挂载目标主机。插件将直接从存储系统中获取
WWPN,用户无需为驱动单独提WWPN
注意
如果使用 FC,确保各工作节点与存储系统有 FC 连接。
3.2 启用多路径
为了提升 SAN 存储卷的可靠性,在生产环境中,通常会启用多路径。
Kubernetes 环境中,如果多路径相关配置设置不恰当,在实际使用中有可能会使
用到单路径设备,如果该路径出现损坏,则可能会产生 I/O 错误。
Linux 环境下,浪潮存储利用 Linux 系统自带的 device-mapper-multipath 服务进
行多路径聚合,如果需要启用多路径,首先需要保Kubernetes 中各工作节点均按
照要求部署安装 multipathd 服务。然后对 Kubernetes 环境中的各工作节点多路径相
关的配置,请参考下面的描述,以正确使用多路径。
1. multipath.conf 配置中正确设置设备黑名单。
K8sCSIPlugin 插件 户手册
11
浪潮专有和保密信息
版权所有 © 浪潮电子信息产业股份有限公司
Kubernetes 环境中,一个工作节点上会同时挂载非常多的卷,每个卷又会有
条路径,从而使得节点上sdX 设备会非常多。多路径的配置文件中 blacklist 配置
组中的参数会过滤符blacklist 条件的路径。如果该配置过滤的设备不恰当,可能
会导致部分路径无法进行多路径聚合。
例如,如果 devnode 参数配置成类似^sda时,会导致 sdaasdab 等路径无法进
行路径聚合,以致路径缺失,正确的应该是“^sda$”,即仅将 sda 设备屏蔽掉。
针对 multipath.conf 配置文件的具体用法,Linux 用户可以通过 man 5 multipath.conf
获取帮助。请确保不会将浪潮存储提供的设备路径加入设备黑名单。
注意
multipath.conf 配置文件的具体路径,请咨Kubernetes 器平台提供商,linux 系统下该文件默
认路径为/etc/multipath.conf
2. multipath.conf 配置文件中,正确设置浪潮存储推荐的设备配置参数。
目前浪潮存储的推荐多路径配置已经合入到多路径工具的社区版本中,针对使用旧
版本多路径工具的场景,需要在配置文件中加入浪潮推荐的多路径配置。即在
devices 配置组中增加浪潮存储device 配置内容,devices 配置组中可能会存在
个存储厂商的 device 配置。通常配置信息如下:
device{
vendor "INSPUR"
product "MCS"
path_grouping_policy group_by_prio
path_selector "round-robin 0"
features 1 queue_if_no_path
prio alua
path_checker tur
failback immediate
no_path_retry 60
rr_min_io 1
dev_loss_tmo 120
K8sCSIPlugin 插件 户手册
12
浪潮专有和保密信息
版权所有 © 浪潮电子信息产业股份有限公司
fast_io_fail_tmo 5
}
3.3 完善 K8sCSIPlugin 插件存储配置文件
浪潮 K8sPlugin CSI插件存储配置文件为插件目录中的 deploy/configMap.yaml
件。文件为 yaml 格式。
具体配置如下:
apiVersion: v1
kind: ConfigMap
metadata:
name: inspur-instorage-01
data:
instorage.yaml: |
log:
enabled: false
logdir: log
level: ""
logrotatemaxsize: 0
host:
link: iscsi
forceUseMultipath: false
scsiScanRetryTimes: 3
scsiScanWaitInterval: 1
iscsiPathCheckRetryTimes: 3
iscsiPathCheckWaitInterval: 1
multipathSearchRetryTimes: 3
multipathSearchWaitInterval: 1
multipathResizeDelay: 1
storage:
- name: storage-01
type: AS18000
host: 10.0.0.1:22
username: username
password: password
shadow: <shadow of the password, can be generated by instorage flexvolume driver. like
K8sCSIPlugin 插件 户手册
13
浪潮专有和保密信息
版权所有 © 浪潮电子信息产业股份有限公司
'./instorage ext-encrypt-password [password]'>
barrierPath: ""
配置说明如下:
3-1 配置说明
配置名称
说明
log.enabled
是否打开插件日志。
true 打开,false 不打开。
log.logdir
日志输出目录。
log.level
日志输出级别。debug/info/warning/error
Log.logrotatemaxsize
日志文件滚动大小阈
host.link
数据通道连接类型。
iscsi 使用 iSCSI 连接方式。
fc 使用 FC 连接方式。
host. forceUseMultipath
是否强制使用多路径
true 强制,false 不强制。
host. scsiScanRetryTimes
SCSI 设备扫描尝试次数。
host. scsiScanWaitInterval
SCSI 设备扫描失败后等待间隔。单位为秒。
host. iscsiPathCheckRetryTimes
iSCSI 路径烧苗检查尝试次数。
host. iscsiPathCheckWaitInterval
iSCSI 路径扫描失败后等待间隔,单位为秒。
host. multipathSearchRetryTimes
多路径设备查找重试次数。
host. multipathSearchWaitInterval
多路径设备查找失败后等待间隔,单位为秒。
host. multipathResizeDelay
在线扩容时,多路resize 命令延迟时间。
位为秒。
host. attachExtendFileLockPath
挂载卸载扩容操作并发控制文件锁路径。
认使用配置文件。
storage[].name
存储名称。配置文件范围内唯一,区分多个存
储。当前只支持一个存储。
Storage[].type
存储类型,必须配置。类型为 AS18000
/