Inspur InCloud Sphere ユーザーマニュアル

  • InCloud Sphere 6.5.1 のユーザーマニュアルについてご質問があれば、お気軽にお尋ねください。このマニュアルのシステム構成、ユーザー管理、計算プール、ネットワークプールに関する情報を基に、ご質問にお答えします。例えば、ユーザーの追加方法、ライセンスの管理方法、ログの確認方法など、様々な疑問にお答えできます。
  • ユーザーログインの方法を教えてください。
    ライセンスを追加するにはどうすればよいですか?
    システムログをエクスポートするにはどうすればよいですか?
    新しいユーザーを追加するにはどうすればよいですか?
    計算プールのホストを追加するにはどうすればよいですか?
InCloud Sphere 6.5.1
用户手
济南浪潮数据技术有限公
2022 年 5 月
I
版权声明
版权所有©济南浪潮数据技术有限公司 保留所有权利(包括但不限于增加、删除、
改动等),济南浪潮数据技术有限公司拥有最终解释权。
本文件及本文件的相关内容所包含或涉及的(包括但不限于 文字、图表、商标、
标识或名称、按钮图标、图像、照片、页面设计、数据及 软件等)的所有知识产
权(包括但不限于版权、商标权、专利权、商业秘密等) 及相关权利,均归济南
浪潮数据技术有限公司或其关联公司所有。未经济南浪潮 数据技术有限公司书面
许可,任何人不得擅自对本文件及其内容进行使用(包括 但不限于转载、修改、
复制、发行、出售、发表、或以其他方式展示、传播等)。
特别提示
您购买的产品、服务或特性等应受济南浪潮数据技术有限 公司商业合同和条款的
约束,本文档中描述的全部或部分产品、服务或特性可能不在 您的购买或使用范
围之内。除非合同另有约定,济南浪潮数据技术有限公司 对本文档内容不做任何
明示或默示的声明或保证。
由于产品版本升级或其他原因,本文档内容会不定期进行 更新,如有变更,恕不
另行通知。除非另有约定,本文档仅作为使用指导,本文 档中的所有陈述、信息
和建议不构成任何明示或暗示的担保,济南浪潮数据技术有限公司 不对本文档中
的遗漏、变更及错误所导致的损失和损害承担任何责任。
联系我们
售前咨询热线:400-8606708
售后服务热线:400-8600011
浪潮官网:https://www.inspur.com
II
目录
目录 ......................................................................................................................................II
1概述 ................................................................................................................................... 1
1.1 产品简介 ................................................................................................................. 1
1.2 适用对象 ................................................................................................................. 1
1.3 参考文档 ................................................................................................................. 1
2系统管理和配置 ............................................................................................................... 3
2.1 系统界面管理 .........................................................................................................3
2.1.1 用户登录 ...............................................................................................3
2.1.2 系统界面简介 .......................................................................................4
2.1.3 系统主界面 ...........................................................................................5
2.1.4 大屏展示 .............................................................................................. 6
2.1.5 系统换肤 .............................................................................................. 6
2.1.6 用户信息 .............................................................................................. 7
2.1.7 帮助 ...................................................................................................... 8
2.1.8 巡检 ...................................................................................................... 9
2.2 策略管理 ...............................................................................................................10
2.2.1 密码策略 ............................................................................................. 10
2.2.2 锁定策略 ............................................................................................. 11
2.2.3 会话策略 .............................................................................................12
2.2.4 用户策略 .............................................................................................12
III
2.2.5 访问策略 .............................................................................................13
2.2.6 认证策略 .............................................................................................17
2.3 许可证管理 ........................................................................................................... 17
2.3.1 复制机器码 ......................................................................................... 18
2.3.2 增加许可证 .........................................................................................18
2.3.3 删除许可证 .........................................................................................19
2.3.4 废弃许可证 .........................................................................................20
2.4 系统配置管理....................................................................................................... 21
2.4.1 日志配置 ............................................................................................. 21
2.4.2 告警参数 ............................................................................................ 23
2.4.3 时间配置 ............................................................................................ 24
2.4.4 管理端服务状态.................................................................................25
2.4.5 iCenter 管理 ..........................................................................................26
2.4.6 DNS 配置 ..............................................................................................40
2.4.7 页面配置 .............................................................................................41
2.4.8 节点网络配置.....................................................................................46
2.4.9 第三方认证 .........................................................................................49
2.4.10 系统虚拟机配置 ............................................................................... 52
2.4.11 IP 冲突防御 ........................................................................................ 53
2.4.12 AccessKey .............................................................................................55
2.5 系统日志管理 .......................................................................................................58
2.5.1 收集日志 .............................................................................................58
IV
2.5.2 导出/删除日志 ................................................................................... 60
2.6 标签 ...................................................................................................................... 60
2.6.1 增加标签 ............................................................................................. 61
2.6.2 编辑标签 .............................................................................................61
2.6.3 分配标签 ............................................................................................ 62
2.6.4 删除标签 ............................................................................................ 63
2.7 其他功能 ...............................................................................................................64
2.7.1 搜索 .....................................................................................................64
2.7.2 系统备份 ............................................................................................ 65
2.7.3 表格定制 ............................................................................................ 70
2.7.4 导出列表 ............................................................................................ 70
3用户管理和配置 ..............................................................................................................72
3.1 角色 .......................................................................................................................72
3.1.1 增加角色 ............................................................................................. 73
3.1.2 克隆角色 .............................................................................................74
3.1.3 编辑角色 .............................................................................................74
3.1.4 删除角色 .............................................................................................75
3.2 授权 ...................................................................................................................... 75
3.2.1 增加权限 .............................................................................................76
3.2.2 删除权限 ............................................................................................ 78
3.3 用户和组 ...............................................................................................................78
3.3.1 用户 .....................................................................................................78
V
3.3.2 ........................................................................................................ 82
3.4 资源分配 ...............................................................................................................86
4计算池管理和配置 ..........................................................................................................87
4.1 计算池简介 ........................................................................................................... 87
4.2 主机 ...................................................................................................................... 87
4.2.1 增加主机 .............................................................................................88
4.2.2 主机-摘要 ...........................................................................................97
4.2.3 主机-监控...........................................................................................98
4.2.4 主机-虚拟机.......................................................................................99
4.2.5 主机-数据存储..................................................................................100
4.2.6 主机-附加\分离数据存储 ................................................................. 101
4.2.7 主机-挂载\卸载数据存储 ................................................................. 101
4.2.8 主机-存储适配器..............................................................................103
4.2.9 主机-网卡 ......................................................................................... 104
4.2.10 主机-GPU .........................................................................................106
4.2.11 主机-FPGA ....................................................................................... 107
4.2.12 主机-BMC ........................................................................................ 107
4.2.13 主机-设备资源 ................................................................................ 108
4.2.14 主机-高级配置 .................................................................................110
4.2.15 打开/关闭主机电源 ......................................................................... 121
4.2.16 关闭/重启主机 .................................................................................122
4.2.17 主机维护模式 ..................................................................................123
VI
4.2.18 主机控制台 ......................................................................................123
4.2.19 删除主机 ..........................................................................................124
4.2.20 开启/关闭主机 SSH ......................................................................... 125
4.2.21 主机修改密码 ..................................................................................125
4.3 集群 ..................................................................................................................... 126
4.3.1 增加集群 ........................................................................................... 126
4.3.2 集群-主机......................................................................................... 129
4.3.3 集群-虚拟机 ......................................................................................131
4.3.4 集群-GPU ......................................................................................132
4.3.5 集群-配置 HA 服务 ...........................................................................138
4.3.6 集群-配置 DRS 策略 ......................................................................... 140
4.3.7 集群-配置 DRS ............................................................................. 142
4.3.8 集群-配置 DRS 规则 ......................................................................... 146
4.3.9 集群-计划任务 ..................................................................................151
4.3.10 扫描所有适配器 .............................................................................. 154
4.3.11 删除集群 .......................................................................................... 155
4.4 数据中心 ............................................................................................................. 155
4.4.1 增加数据中心 ....................................................................................155
4.4.2 数据中心摘要................................................................................... 156
4.4.3 编辑数据中心 ................................................................................... 156
4.4.4 配置 NFS 二级存储 ............................................................................157
4.4.5 上传镜像到 NFS 二级存储 ................................................................158
VII
4.4.6 数据中心-主机 ..................................................................................159
4.4.7 数据中心-集群 ..................................................................................159
4.4.8 删除数据中心 ................................................................................... 160
5网络池管理和配置 .........................................................................................................161
5.1 网络池简介 .......................................................................................................... 161
5.2 网络池 iCenter ...................................................................................................... 161
5.3 网络池-数据中心 ................................................................................................162
5.3.1 数据中心-摘要 ..................................................................................162
5.3.2 数据中心-交换机 ..............................................................................163
5.3.3 数据中心-网络 ..................................................................................163
5.3.4 数据中心-网元拓扑 ..........................................................................164
5.3.5 数据中心-安全组 ..............................................................................164
5.3.6 数据中心-分布式路由器 .................................................................. 164
5.3.7 数据中心-分布式 NAT 网关............................................................. 165
5.3.8 数据中心-分布式防火墙 .................................................................. 165
5.3.9 数据中心-IP 报表 ..............................................................................165
5.3.10 数据中心-网络可视化 .....................................................................166
5.4 虚拟交换机 ......................................................................................................... 167
5.4.1 普通虚拟交换机 ................................................................................167
5.4.2 macvtap 虚拟交换机 ............................................................................213
5.4.3 SR-IOV 虚拟交换机 ............................................................................221
5.4.4 存储虚拟交换机 ............................................................................... 232
VIII
5.4.5 SDN 分布式交换机 .............................................................................240
5.4.6 第三方 SDN 交换机 ...........................................................................250
5.4.7 虚拟交换机配置 ............................................................................... 254
5.4.8 端口监控 ...........................................................................................268
5.4.9 拓扑 .................................................................................................. 268
5.5 物理网卡 .............................................................................................................269
5.5.1 SR-IOV ................................................................................................269
5.5.2 MTU .................................................................................................... 271
5.5.3 上行链路 ...........................................................................................272
5.6 负载均衡器 ......................................................................................................... 273
5.6.1 导入负载均衡器模板 ........................................................................274
5.6.2 认证信息 ...........................................................................................280
5.6.3 登录负载均衡器 ............................................................................... 281
5.6.4 接口 .................................................................................................. 282
5.6.5 服务节点 ...........................................................................................283
5.6.6 服务池 ...............................................................................................284
5.6.7 虚拟服务...........................................................................................286
5.6.8 保存配置 ...........................................................................................288
5.7 SDN ....................................................................................................................... 288
5.7.1 SDN 初始化 .........................................................................................288
5.7.2 SDN 配置管理 .................................................................................... 292
5.7.3 分布式路由器 ................................................................................... 302
IX
5.7.4 分布式 NAT 网关.............................................................................. 308
5.7.5 安全组 ............................................................................................... 313
5.7.6 分布式防火墙................................................................................... 318
5.7.7 清除 SDN ........................................................................................... 326
5.7.8 网元拖拽 ...........................................................................................326
5.8 物理交换机 ......................................................................................................... 332
5.8.1 增加物理交换机 ................................................................................332
5.8.2 删除物理交换机 ............................................................................... 332
5.8.3 配置物理交换机 ............................................................................... 333
5.8.4 交换机可视化 ................................................................................... 336
6存储池管理和配置 ........................................................................................................346
6.1 InCloud Sphere 存储简介 ........................................................................................346
6.2 本地存储 .............................................................................................................346
6.2.1 增加本地存储池 ............................................................................... 346
6.2.2 卸载本地存储池 ............................................................................... 350
6.2.3 挂载本地存储池 ............................................................................... 351
6.2.4 删除本地存储池 ............................................................................... 352
6.3 CFS 存储池 ........................................................................................................... 352
6.3.1 通过 FC 适配器扫描磁盘 ..................................................................353
6.3.2 通过 ISCSI 适配器扫描磁盘 ............................................................. 353
6.3.3 通过 FCoE 适配器扫描磁盘 ..............................................................355
6.3.4 存储多路径配置 ............................................................................... 356
X
6.3.5 增加存储域 .......................................................................................356
6.3.6 导入存储域 .......................................................................................360
6.3.7 编辑存储域.......................................................................................363
6.3.8 存储域增加主机成员 ....................................................................... 365
6.3.9 存储域移出主机成员 ....................................................................... 366
6.3.10 存储域增加数据盘 ..........................................................................367
6.3.11 存储域移出数据盘 .......................................................................... 368
6.3.12 存储域进入维护模式 ......................................................................369
6.3.13 存储域退出维护模式...................................................................... 369
6.3.14 存储域增加心跳设备...................................................................... 369
6.3.15 存储域移出心跳设备...................................................................... 370
6.3.16 删除存储域 ......................................................................................371
6.3.17 增加 CFS 存储 ..................................................................................371
6.3.18 卸载 CFS 存储 ..................................................................................373
6.3.19 挂载 CFS 存储 ..................................................................................373
6.3.20 CFS 存储扩容 ................................................................................... 373
6.3.21 CFS 存储修改挂载数 ........................................................................374
6.3.22 CFS 存储附加主机 ........................................................................... 375
6.3.23 CFS 存储分离主机 ........................................................................... 375
6.3.24 CFS 更改后端存储 ........................................................................... 375
6.3.25 删除 CFS 存储 ................................................................................. 378
6.4 NFS 存储 ...............................................................................................................378
XI
6.4.1 增加 NFS 存储 ................................................................................... 379
6.4.2 卸载 NFS 存储 ................................................................................... 381
6.4.3 挂载 NFS 存储 ................................................................................... 381
6.4.4 NFS 存储附加主机 ............................................................................. 381
6.4.5 NFS 存储分离主机 ............................................................................. 382
6.4.6 删除 NFS 存储 ...................................................................................382
6.5 裸设备存储 ......................................................................................................... 382
6.5.1 增加裸设备存储池 ............................................................................383
6.5.2 编辑裸设备存储池 ........................................................................... 387
6.5.3 \卸载裸设备存储池 ...................................................................... 389
6.5.4 附加\分离主机到裸设备存储池 .......................................................390
6.5.5 裸设备存储池监控 ............................................................................391
6.5.6 删除裸设备存储池 ............................................................................391
6.6 裸磁盘 ................................................................................................................. 391
6.6.1 裸磁盘的创建与映射 ........................................................................392
6.6.2 裸磁盘的共享 ...................................................................................396
6.6.3 裸磁盘的使用 ................................................................................... 398
6.6.4 裸磁盘删除.......................................................................................399
6.6.5 裸磁盘冷扩容 ................................................................................... 399
6.7 存储重命名......................................................................................................... 399
6.8 存储镜像库 ......................................................................................................... 400
6.8.1 增加镜像库 ....................................................................................... 400
XII
6.8.2 管理镜像库 .......................................................................................402
6.8.3 删除镜像库 .......................................................................................405
6.8.4 增加镜像库容量 ............................................................................... 405
6.9 虚拟磁盘管理 ..................................................................................................... 406
6.9.1 增加虚拟磁盘 ................................................................................... 407
6.9.2 搜索虚拟磁盘 ...................................................................................408
6.9.3 配置虚拟磁盘 ................................................................................... 409
6.9.4 复制虚拟磁盘................................................................................... 410
6.9.5 移动虚拟磁盘 ....................................................................................411
6.9.6 共享虚拟磁盘 ................................................................................... 412
6.9.7 删除虚拟磁盘 ................................................................................... 415
6.9.8 强制删除虚拟磁盘............................................................................417
6.10 强制删除存储 .................................................................................................... 417
6.11 存储监控 ............................................................................................................ 418
6.12 备份存储池 ........................................................................................................ 419
6.12.1 创建备份存储池 .............................................................................. 419
6.12.2 删除备份存储池 .............................................................................. 421
6.12.3 强制删除备份存储池 ......................................................................422
6.13 导入存储池........................................................................................................422
6.14 存储清理............................................................................................................425
6.15 容灾................................................................................................................... 426
6.15.1 浪潮统一存储双活兼容存储型号 ...................................................427
XIII
6.15.2 浪潮统一存储双活配置 .................................................................. 427
6.15.3 容灾................................................................................................. 428
6.15.4 容灾恢复验证..................................................................................428
6.16 双活存储池(技术预览版) .............................................................................428
6.16.1 增加双活存储池 .............................................................................. 429
6.16.2 删除双活存储池 .............................................................................. 431
6.16.3 增加双活存储池数据存储 ...............................................................431
6.16.4 删除双活存储池数据存储 .............................................................. 432
6.16.5 为双活存储池数据存储分配标签 ...................................................432
6.16.6 重命名双活存储池数据存储 .......................................................... 432
6.16.7 增加双活虚拟磁盘 ..........................................................................433
6.17 仲裁盘 ................................................................................................................434
6.17.1 统一存储创建仲裁盘 ...................................................................... 434
7虚拟机管理和配置 ........................................................................................................442
7.1 InCloud Sphere 虚拟机简介 ....................................................................................442
7.2 虚拟机创建 ......................................................................................................... 442
7.2.1 创建虚拟机 ....................................................................................... 442
7.2.2 镜像部署虚拟机 ............................................................................... 447
7.2.3 虚拟机控制台 ................................................................................... 450
7.2.4 安装 ICS VM Tools ..............................................................................450
7.3 虚拟机配置 ......................................................................................................... 452
7.3.1 虚拟机信息查看 ............................................................................... 452
XIV
7.3.2 虚拟机 CPU ....................................................................................... 458
7.3.3 虚拟机内存 ....................................................................................... 461
7.3.4 虚拟机网卡 .......................................................................................463
7.3.5 虚拟机磁盘 .......................................................................................469
7.3.6 虚拟机光驱.......................................................................................474
7.3.7 虚拟机 USB 设备 ...............................................................................478
7.3.8 虚拟机软驱设备 ............................................................................... 479
7.3.9 虚拟机 GPU 设备 ...............................................................................481
7.3.10 虚拟机 FPGA 设备 ...........................................................................483
7.3.11 虚拟机显卡设备 .............................................................................. 484
7.3.12 虚拟机 PCIE 设备 ............................................................................ 485
7.4 虚拟机管理 ......................................................................................................... 485
7.4.1 虚拟机电源管理 ................................................................................485
7.4.2 虚拟机克隆 .......................................................................................487
7.4.3 虚拟机迁移 .......................................................................................490
7.4.4 虚拟机多副本容灾 ............................................................................501
7.4.5 虚拟机录影机 ................................................................................... 507
7.4.6 删除虚拟机....................................................................................... 513
7.4.7 强制删除虚拟机 ................................................................................515
7.4.8 部署大数据集群 ................................................................................516
7.4.9 重置密码........................................................................................... 521
7.4.10 虚拟机版本升级与降级 .................................................................. 522
XV
7.4.11 闲置虚拟机检测 .............................................................................. 525
7.4.12 虚拟机磁盘回收 ..............................................................................527
7.4.13 启动/关闭虚拟机 .............................................................................527
7.5 虚拟机快照 ......................................................................................................... 530
7.5.1 虚拟机快照创建 ............................................................................... 530
7.5.2 虚拟机快照编辑 ............................................................................... 533
7.5.3 虚拟机快照恢复 ............................................................................... 534
7.5.4 虚拟机快照删除 ............................................................................... 535
7.6 虚拟机模板......................................................................................................... 536
7.6.1 虚拟机与虚拟机模板转换 ................................................................ 536
7.6.2 模板部署虚拟机 ............................................................................... 538
7.6.3 修改模板属性................................................................................... 544
7.6.4 删除虚拟机模板............................................................................... 547
7.6.5 导出虚拟机模板............................................................................... 548
7.6.6 模板分配标签 ................................................................................... 550
7.7 虚拟机 vApp........................................................................................................ 550
7.7.1 虚拟机 vApp 创建.............................................................................. 551
7.7.2 虚拟机 vApp 管理 ............................................................................. 552
7.7.3 虚拟机 vAPP 模板 .............................................................................559
7.8 虚拟机导入导出 ..................................................................................................561
7.8.1 虚拟机导入 ........................................................................................561
7.8.2 虚拟机导出 .......................................................................................566
XVI
7.9 虚拟机崩溃恢复策略..........................................................................................569
7.10 虚拟机备份 ........................................................................................................570
7.10.1 创建虚拟机备份 .............................................................................. 570
7.10.2 恢复为原虚拟机 ..............................................................................576
7.10.3 恢复为新虚拟机 ..............................................................................579
7.10.4 删除虚拟机备份 ..............................................................................583
7.11 DRX ......................................................................................................................583
7.11.1 编辑 DRX .......................................................................................... 584
7.11.2 启用 DRX ..........................................................................................585
7.11.3 关闭 DRX ..........................................................................................586
7.11.4 查看支持系统 .................................................................................. 587
7.11.5 查看 DRX 成员 ................................................................................. 588
7.11.6 增加 DRX 成员 .................................................................................588
7.11.7 DRX 移出成员 ...................................................................................589
7.12 回收站 ............................................................................................................... 589
7.12.1 还原虚拟机 ......................................................................................590
7.12.2 销毁虚拟机 ..................................................................................... 590
7.12.3 设置最长保存时间 .......................................................................... 591
7.12.4 清空回收站 ..................................................................................... 592
7.13 虚拟机计划任务................................................................................................592
7.13.1 启动计划 ..........................................................................................593
7.13.2 强制关闭虚拟机计划 ......................................................................595
XVII
7.13.3 迁移虚拟机计划..............................................................................597
7.13.4 备份虚拟机计划..............................................................................600
7.13.5 生成虚拟机快照计划...................................................................... 603
7.13.6 批量生成虚拟机快照计划 .............................................................. 605
7.13.7 批量备份虚拟机计划 ......................................................................607
8任务事件 ........................................................................................................................614
8.1 InCloud Sphere 任务事件简介 ................................................................................ 614
8.2 任务 ..................................................................................................................... 614
8.2.1 查看近期任务 ....................................................................................614
8.2.2 查看资源任务 ................................................................................... 614
8.2.3 查看所有任务 ................................................................................... 615
8.2.4 搜索任务........................................................................................... 616
8.2.5 导出任务列表 ................................................................................... 616
8.2.6 日志分析 ........................................................................................... 617
8.3 事件 ..................................................................................................................... 618
9监控告警 ........................................................................................................................621
9.1 InCloud Sphere 监控告警简介 ................................................................................ 621
9.2 物理监控 ............................................................................................................. 621
9.2.1 ISPIM ...................................................................................................621
9.2.2 ICRM ...................................................................................................622
9.3 告警列表 .............................................................................................................624
9.4 告警阈值 .............................................................................................................626
XVIII
9.5 告警通知 .............................................................................................................629
9.5.1 告警通知配置 ................................................................................... 629
9.5.2 告警通知方式 ...................................................................................632
9.6 告警屏蔽 .............................................................................................................643
9.6.1 增加告警屏蔽 ................................................................................... 643
9.6.2 删除告警屏蔽 ................................................................................... 645
9.7 性能报表.............................................................................................................645
9.8 管理节点 .............................................................................................................646
9.9 监控中心 .............................................................................................................647
9.9.1 增加监控面板 ................................................................................... 648
9.9.2 编辑监控面板 ................................................................................... 648
9.9.3 增加监控项 .......................................................................................649
9.9.4 导出监控中心性能报表/图表 ...........................................................650
9.9.5 配置监控时长 ................................................................................... 651
9.9.6 删除监控项 .......................................................................................652
9.9.7 删除监控面板 ...................................................................................652
10 裸金属服务器 .............................................................................................................. 653
10.1 创建裸金属服务器 ............................................................................................ 653
10.2 编辑裸金属服务器 ............................................................................................ 655
10.3 部署裸金属服务器 ............................................................................................ 656
10.4 裸金属服务器维护模式 .................................................................................... 657
10.5 删除裸金属服务器 ............................................................................................ 658
XIX
11 多云管理 ...................................................................................................................... 659
11.1 增加站点 ............................................................................................................ 659
11.2 编辑站点 ............................................................................................................660
11.3 登录站点 ............................................................................................................ 661
11.4 删除站点 ............................................................................................................ 661
11.5 跨云迁移 ............................................................................................................ 661
12 系统拓扑 ...................................................................................................................... 668
12.1 力导向图 ............................................................................................................668
12.1.1 综合视图 .......................................................................................... 668
12.1.2 物理视图 ..........................................................................................669
12.1.3 虚拟视图 ..........................................................................................670
12.1.4 网络视图 ..........................................................................................670
12.2 树形图 ................................................................................................................671
12.2.1 综合视图 ..........................................................................................671
12.2.2 物理视图 ......................................................................................... 672
12.2.3 虚拟视图 ......................................................................................... 672
12.2.4 网络视图 ......................................................................................... 672
13 系统升级 ...................................................................................................................... 674
13.1 配置下载源 ........................................................................................................ 674
13.2 更新包 ............................................................................................................... 675
13.3 更新对象 ............................................................................................................676
13.4 更新日志 ............................................................................................................677
/