2. Dell
  3. OpenManage Enterprise-Modular
OpenManage Enterprise-Modular

Dell OpenManage Enterprise-Modular, PowerEdge MX7000 ユーザーガイド

  • こんにちは！Dell EMC OpenManage Enterprise-Modular Edition PowerEdge MX7000 ユーザーズガイドの内容を理解しています。MX7000シャーシの設定、管理、ファームウェアアップデート、マルチシャーシ管理、SmartFabricサービスなどに関するご質問にお答えできます。どのような点にご興味がありますか？
  • OpenManage Enterprise-Modular Editionとは何ですか？
    このバージョンで追加された主な機能は何ですか？
    ファームウェアアップデートはどのように行いますか？
    マルチシャーシ管理（MCM）とは何ですか？
PowerEdge MX7000 シャーシ用 Dell EMC
OpenManage Enterprise-Modular Edition バー
ジョン 1.30.00
ユーザーズ ガイド
2021
年 4 月
Rev. A00
Identifier GUID-5B8DE7B7-879F-45A4-88E0-732155904029
Version 15
Status Translation Validated
メモ、注意、警告
メモ: 製品を使いやすくするための重要な情報を説明しています。
注意: ハードウェアの損傷やデータの損失の可能性を示し、その危険を回避するための方法を説明しています。
警告: 物的損害、けが、または死亡の原因となる可能性があることを示しています。
©2018 -2021 Dell Inc.またはその関連会社。All rights reserved.（不許複製・禁無断転載）Dell、EMC、およびその他の商標は、Dell Inc. またはその子
会社の商標です。その他の商標は、それぞれの所有者の商標である場合があります。
変更履歴
日付 文書のリビジョン 変更の説明
2021 年 4 月 A00 新機能と機能拡張のためのアップデート
変更履歴 3
変更履歴.......................................................................................................................................................................................3
章 1: 概要.......................................................................................................................................10
主な機能............................................................................................................................................................................... 10
New in this release................................................................................................................................................................11
対応プラットフォーム...................................................................................................................................................... 12
対応 Web ブラウザー.........................................................................................................................................................13
その他の必要マニュアル.................................................................................................................................................. 13
Dell サポート サイトからの文書へのアクセス.............................................................................................................14
OME–Modular とその他 Dell EMC アプリケーションとの位置づけ........................................................................14
章 2: PowerEdge MX ソリューションのファームウェアのアップデート................................................ 15
MX7000 ソリューション ベースライン........................................................................................................................ 15
個々のパッケージ方法のコンポーネント アップデート順序.............................................................................17
カタログベースのコンプライアンス方法を使用してファームウェアをアップデートする方法............... 18
OME-M ファームウェア アップデート マトリックス......................................................................................... 19
個別のパッケージ方法を使用した Lifecycle Controller 搭載 iDRAC のアップデート.....................................19
OME-Modular の 1.30.00 へのアップデート........................................................................................................... 20
DUP を使用した Ethernet スイッチのアップグレード..............................................................................................22
DUP を使用したネットワーキング OS10 のアップグレード............................................................................. 22
DUP を使用したファームウェアおよび ONIE のアップグレード..................................................................... 22
OS10 ファームウェア アップデート マトリックス..............................................................................................22
10.5.0.7 からアップグレードするための前提条件................................................................................................24
章 3: OME-Modular のライセンス....................................................................................................25
ライセンスのインポート................................................................................................................................................. 25
ライセンスの詳細の表示................................................................................................................................................. 25
章 4: OME-Modular へのログイン....................................................................................................26
ローカルユーザー、Active Directory ユーザー、または LDAP ユーザーとしての OME–Modular へのロ
グイン ............................................................................................................................................................................. 26
OME-Modular でのディレクトリー サービスの統合............................................................................................27
Active Directory サービスの追加...............................................................................................................................28
LDAP サービスの追加................................................................................................................................................. 29
ディレクトリのユーザー資格情報による OME–Modular へのログイン......................................................... 30
Active Directory グループと LDAP ユーザー グループのインポート................................................................30
シングル　サインオンを使用した OME-Modular へのログイン.............................................................................30
OpenID Connect を使用した OME-Modular へのログイン.........................................................................................31
OpenID Connect プロバイダーの追加......................................................................................................................32
OpenID Connect プロバイダーの編集......................................................................................................................32
OpenID Connect プロバイダーの有効化..................................................................................................................33
OpenID Connect プロバイダーの無効化..................................................................................................................33
OpenID Connect プロバイダーの削除......................................................................................................................33
OME-Modular ホームページ............................................................................................................................................ 33
OME-Modular の検索機能...........................................................................................................................................34
目次
4 目次
アラートの表示............................................................................................................................................................ 36
ジョブおよびアクティビティの表示.......................................................................................................................36
マルチシャーシ管理ダッシュボード.......................................................................................................................36
デバイス正常性の表示......................................................................................................................................................37
シャーシのセットアップ................................................................................................................................................. 38
初期設定...............................................................................................................................................................................38
シャーシの設定..................................................................................................................................................................39
シャーシ電源の設定....................................................................................................................................................39
シャーシ管理ネットワークの設定...........................................................................................................................40
シャーシ ネットワーク サービスの設定................................................................................................................ 42
ローカル アクセスの設定.......................................................................................................................................... 44
シャーシの位置の設定................................................................................................................................................46
簡易展開の設定............................................................................................................................................................ 47
シャーシの管理..................................................................................................................................................................48
シャーシフィルターの作成....................................................................................................................................... 48
シャーシ概要の表示....................................................................................................................................................49
シャーシの配線............................................................................................................................................................50
シャーシグループ...............................................................................................................................................................51
有線グループを作成するための前提条件...............................................................................................................51
シャーシグループの作成........................................................................................................................................... 52
シャーシ グループの編集.......................................................................................................................................... 56
グループの削除............................................................................................................................................................56
MCM ダッシュボード.................................................................................................................................................56
シャーシの電源制御..........................................................................................................................................................57
シャーシのバックアップ................................................................................................................................................. 57
シャーシの復元..................................................................................................................................................................58
シャーシプロファイルのエクスポート........................................................................................................................ 58
シャーシフェールオーバーの管理.................................................................................................................................59
シャーシのトラブルシューティング............................................................................................................................ 59
LED の点滅.......................................................................................................................................................................... 59
OME-Modular にアクセスするためのインタフェース.............................................................................................. 59
シャーシハードウェアの表示..........................................................................................................................................61
シャーシ スロットの詳細........................................................................................................................................... 61
シャーシアラートの表示.................................................................................................................................................. 61
シャーシのハードウェアログの表示............................................................................................................................ 62
OME-Modular の設定.........................................................................................................................................................62
現在の設定の表示........................................................................................................................................................62
ユーザーおよびユーザー設定................................................................................................................................... 66
ログインセキュリティの設定................................................................................................................................... 69
アラートの設定............................................................................................................................................................ 70
章 5: コンピュートスレッドの管理................................................................................................... 73
コンピュートの概要の表示............................................................................................................................................. 73
コンピュート設定..............................................................................................................................................................75
コンピュートネットワークの設定...........................................................................................................................75
コンピュート スレッドの交換........................................................................................................................................75
コンピュートハードウェアの表示................................................................................................................................. 77
コンピュートファームウェアの表示.............................................................................................................................77
コンピュートハードウェアログの表示.........................................................................................................................77
コンピュートアラートの表示......................................................................................................................................... 77
目次 5
章 6: プロファイルの管理................................................................................................................79
プロファイルの作成..........................................................................................................................................................79
プロファイルの表示..........................................................................................................................................................80
プロファイルの編集..........................................................................................................................................................80
プロファイル名の変更................................................................................................................................................80
プロファイルの編集....................................................................................................................................................80
プロファイルの割り当て.................................................................................................................................................. 81
プロファイルの割り当て解除.........................................................................................................................................82
プロファイルの再導入......................................................................................................................................................82
プロファイルの移行..........................................................................................................................................................82
プロファイルの削除..........................................................................................................................................................83
章 7: ストレージの管理................................................................................................................... 84
ストレージの概要..............................................................................................................................................................84
ハードウェア詳細の表示................................................................................................................................................. 86
コンピュートスレッドへのドライブの割り当て........................................................................................................86
コンピュートスレッドへのストレージエンクロージャの割り当て.......................................................................87
ストレージ スレッドの交換............................................................................................................................................ 87
エンクロージャファームウェアのアップデート........................................................................................................88
DUP を使用したファームウェアのアップデート.................................................................................................88
カタログベースのコンプライアンスを使用したファームウェアのアップデート....................................... 88
ストレージエンクロージャのファームウェアのダウングレード.......................................................................... 89
SAS IOM の管理................................................................................................................................................................. 89
SAS IOM の概要............................................................................................................................................................89
強制有効化.................................................................................................................................................................... 90
構成のクリア................................................................................................................................................................ 90
IOM ログの抽出.............................................................................................................................................................91
章 8: テンプレートの管理................................................................................................................92
テンプレートの詳細の表示............................................................................................................................................. 92
テンプレートの作成..........................................................................................................................................................93
テンプレートのインポート....................................................................................................................................... 93
テンプレートの編集..........................................................................................................................................................93
テンプレートのクローニング.........................................................................................................................................94
テンプレートのエクスポート.........................................................................................................................................94
テンプレートの削除..........................................................................................................................................................94
テンプレートネットワークの編集.................................................................................................................................94
テンプレートの導入..........................................................................................................................................................95
テンプレートの詳細 ページからのテンプレートの導入.................................................................................... 96
章 9: ID プールの管理..................................................................................................................... 97
ID プールの作成..................................................................................................................................................................97
ID プールの表示................................................................................................................................................................. 98
ID プールの編集................................................................................................................................................................. 99
ID プールのエクスポート.................................................................................................................................................99
ID プールの削除................................................................................................................................................................. 99
章 10: イーサネット IO モジュール..................................................................................................100
6 目次
ハードウェア詳細の表示.................................................................................................................................................101
IOM の設定......................................................................................................................................................................... 101
IOM ネットワークの設定..........................................................................................................................................102
OS10 管理者パスワードの設定................................................................................................................................103
SNMP の設定...............................................................................................................................................................103
詳細設定....................................................................................................................................................................... 104
ポートの設定...............................................................................................................................................................104
章 11: MX の拡張性の高いファブリック アーキテクチャ.....................................................................106
推奨される物理トポロジ................................................................................................................................................107
制約事項およびガイドライン....................................................................................................................................... 108
推奨される接続順序........................................................................................................................................................ 108
章 12: SmartFabric サービス.......................................................................................................... 110
SmartFabric モードで動作する場合のガイドライン..................................................................................................111
SmartFabric ネットワークトポロジ............................................................................................................................... 111
スイッチ間ケーブル接続.................................................................................................................................................113
アップストリームネットワークスイッチの要件.......................................................................................................113
NIC チーミングの制限..................................................................................................................................................... 114
SmartFabric モードで使用可能な OS10 CLI コマンド................................................................................................114
ファブリックの概要.........................................................................................................................................................115
ファブリックの詳細の表示.......................................................................................................................................115
ファブリックの詳細の編集.......................................................................................................................................115
ファブリック スイッチの交換................................................................................................................................. 115
SmartFabric の追加......................................................................................................................................................116
ファブリックの削除................................................................................................................................................... 118
トポロジ詳細の表示.........................................................................................................................................................118
マルチキャスト VLAN の表示........................................................................................................................................ 119
SmartFabric および FCoE 用 VLAN................................................................................................................................ 119
FCoE 用 VLAN の定義.................................................................................................................................................119
VLAN の編集................................................................................................................................................................120
VLAN のスケーリングのガイドライン.................................................................................................................. 120
章 13: ネットワークの管理............................................................................................................. 122
SmartFabric VLAN 管理および自動 QoS......................................................................................................................122
ネットワークの定義........................................................................................................................................................ 123
VLAN の編集......................................................................................................................................................................124
VLAN のエクスポート..................................................................................................................................................... 124
VLAN のインポート......................................................................................................................................................... 124
VLAN の削除......................................................................................................................................................................124
章 14: ファイバチャネル IOM の管理............................................................................................... 125
章 15: ファームウェアの管理.......................................................................................................... 126
カタログの管理.................................................................................................................................................................127
カタログの表示...........................................................................................................................................................127
カタログの追加...........................................................................................................................................................128
ベースラインの作成........................................................................................................................................................ 129
ベースラインの編集........................................................................................................................................................ 129
目次 7
コンプライアンスの確認................................................................................................................................................130
Updating firmware..............................................................................................................................................................131
ファームウェアのロールバック................................................................................................................................... 132
ファームウェアの削除.................................................................................................................................................... 133
章 16: アラートとログの監視.......................................................................................................... 134
アラートログ.....................................................................................................................................................................134
アラートログのフィルタリング..............................................................................................................................134
アラートログの確認.................................................................................................................................................. 135
アラートログの未確認化..........................................................................................................................................135
アラートログの無視.................................................................................................................................................. 135
アラートログのエクスポート..................................................................................................................................135
アラートログの削除.................................................................................................................................................. 136
アラートポリシー............................................................................................................................................................ 136
アラートポリシーの作成..........................................................................................................................................136
アラートポリシーを有効にする..............................................................................................................................137
アラートポリシーの編集.......................................................................................................................................... 137
アラートポリシーを無効にする..............................................................................................................................137
アラートポリシーの削除.......................................................................................................................................... 138
アラートの定義.................................................................................................................................................................138
アラート定義のフィルタリング..............................................................................................................................138
章 17: 監査ログの監視....................................................................................................................139
監査ログのフィルタリング............................................................................................................................................139
監査ログのエクスポート................................................................................................................................................140
ジョブの監視.....................................................................................................................................................................140
ジョブのフィルタリング..........................................................................................................................................140
Viewing job details........................................................................................................................................................142
ジョブの実行...............................................................................................................................................................143
ジョブの停止...............................................................................................................................................................143
ジョブの有効化...........................................................................................................................................................143
ジョブの無効化...........................................................................................................................................................143
ジョブの削除...............................................................................................................................................................143
章 18: 使用事例シナリオ................................................................................................................ 144
MCM リードへのバックアップの割り当て................................................................................................................144
バックアップ リードを持つシャーシ グループの作成......................................................................................144
MCM グループの監視................................................................................................................................................145
バックアップ リードがリード シャーシとして引き継ぎを行うシナリオ.......................................................... 146
リード シャーシのディザスター リカバリー.......................................................................................................147
リード シャーシの廃棄............................................................................................................................................. 148
章 19: トラブルシューティング.......................................................................................................150
ストレージ.........................................................................................................................................................................150
ファームウェアアップデートの失敗.....................................................................................................................150
ストレージ割り当ての失敗......................................................................................................................................150
SAS IOM のステータスのダウングレード............................................................................................................. 151
SAS IOM の正常性のダウングレード..................................................................................................................... 151
コンピュートスレッドのドライブが表示されない.............................................................................................151
8 目次
ストレージ構成を SAS IOM に適用できない場合................................................................................................151
OpenManage 内のドライブが表示されない..........................................................................................................151
iDRAC と OpenManage のドライブ情報が一致しない....................................................................................... 152
ストレージスレッドの割り当てモードが不明である........................................................................................152
シャーシ ダイレクトを使用して OME-Modular にアクセスできない..................................................................152
リード シャーシの障害のトラブルシューティング.................................................................................................152
付録 A: IOM の推奨スロット構成.................................................................................................... 153
IOM のサポートされているスロット構成.................................................................................................................. 153
付録 B: 異なる OS10 DUP バージョンを使用したネットワーキング スイッチのアップグレード...............156
DUP を使用したネットワーキング スイッチの 10.5.0.7 へのアップグレード................................................... 156
10.5.0.5 からアップグレードするための前提条件....................................................................................................156
Prerequisites for upgrading from versions earlier than 10.5.0.5.................................................................................. 157
付録 C: Upgrading networking switch using CLI..............................................................................158
目次 9
Identifier GUID-452F9894-F2E2-41A6-801E-41C5ACFAEFA3
Version 2
Status Translation Validated
概要
Dell EMC OpenManage Enterprise Modular（OME-Modular）アプリケーションは、PowerEdge M9002m 管理モジュール（MM）ファ
ームウェアで実行されます。OME-Modular を使用すると、スタンドアロンの PowerEdge MX シャーシまたは MX シャーシグループ
を、1 つのグラフィカルユーザーインタフェース（GUI）から簡単に設定および管理することができます。サーバの導入とファーム
ウェアのアップデートに、OME-Modular を使用できます。シャーシに加えて、コンピュートスレッド、ネットワークデバイス、入
出力モジュール（IOM）、ストレージデバイスなどのシャーシコンポーネントを含めた全体的な正常性管理も実施できます。また、
OME-Modular を使用すると、ハードウェアで次の作業も実行できます。
● 管理ネットワークの接続。
● 検出とインベントリ。
● 監視および電源制御操作とサーマル機能。
OME-Modular を使用して、MX7000 プラットフォームの次のような主要ワークロードを管理できます。
● 大規模かつ非構造のデータおよび分析
● ハイパーコンバージドおよび従来のワークロード
● データベースのワークロード
● ソフトウェア定義型ストレージ
● HPC およびパフォーマンスのワークロード
マルチシャーシ管理（MCM）のリードシャーシでは、次のタスクを実行できます。
● 複数の MX シャーシにまたがるサーバの管理。
● メンバーシャーシの Web インタフェースを起動せずに、リードシャーシからサーバを導入またはアップデート。
● OME-Modular Web インタフェースからファブリックモードでファブリックスイッチエンジンを管理。
● アラートログおよびアクションの管理。
● 仮想 MAC/WWN ID プールの管理。
● サーバプロファイルとテンプレートを使用してコンピュートスレッドを簡単に導入。
OME-Modular では、シャーシ管理者、コンピュート管理者、ファブリック管理者、ストレージ管理者、閲覧者など、シンプルで静
的なロールが用意されています。一方、OpenManage Enterprise では、ロールベースアクセス制御（RBAC）により、静的なグルー
プと動的グループを利用できます。
トピック：
• 主な機能
• New in this release
• 対応プラットフォーム
• 対応 Web ブラウザー
• その他の必要マニュアル
• Dell サポート サイトからの文書へのアクセス
• OME–Modular とその他 Dell EMC アプリケーションとの位置づけ
Identifier
GUID-3CA07BEB-A646-4A49-B4BD-545778E94ACC
Version 3
Status Translation Validated
主な機能
OME-Modular には、次の主な機能があります。
● サーバ、ストレージ、ネットワーキングのエンド ツー エンドのライフサイクル管理。
● サーバ、ストレージ、およびネットワークの容量を追加するための新しいシャーシの追加。
● 単一のインターフェイス（Web または RESTful インターフェイス）を使用した複数のシャーシ管理。
1
10 概要
● ネットワーク IOM と SmartFabric サービスの管理。
● iDRAC9 の自動化およびセキュリティ機能の使用。
Identifier GUID-2AF6A628-4636-4AE3-A0CD-EB67698D781C
Version 8
Status Released
New in this release
This release of OME-Modular supports:
● Group configuration option on the Home page in multichassis environment.
● Profiles menu to create, assign, edit, and redeploy profiles with identities separately from templates.
● Editing templates.
● Advanced license for:
○ Chassis telemetry for power, thermal, and fans. For more information, see the OpenManage Enterprise Modular Edition RESTful
API Guide.
○ OpenID Connect Provider for delegated authentication.
● Redfish alert forwarding. For more information, see the OpenManage Enterprise Modular Edition RESTful API Guide.
● Ethernet IOM switch replacement wizard for easy replacement of faulty fabric switches.
● L2 Multicast in SmartFabric Services.
● LCD enhancement using PIN entry to unlock emergency access to local actions such as chassis power off.
● Reminder to select backup chassis.
● Same SSO login session sharing in tabs and not counting against the limit on number of sessions.
● Fabric creation progress banner.
● OS10 DUP to be posted in the validated stack catalog.
● Link to Release Notes from the info icon on the Compliance Report page.
● Displaying pre-requisites and dependencies for components in compliance report.
● Automatic restoration of configuration to Right Control Panel (RCP) on replacement. For more information, see the Dell EMC
PowerEdge MX7000 Enclosure Field Service Manual.
1.20.10
This release of OME-Modular supports:
● Added support for Quad-Port Ethernet adapters in up to 5 MX7000 chassis in a Scalable Fabric
● Increased the VLAN scale for SmartFabric services
● Additional topologies for Fabric Expander Module connectivity
● Added a compliance status Unknown in the Compliance Report. The Unknown status highlights the component or device firmware
that is missing from the catalog and must be compared manually for compliance.
1.20.00
This release of OME-Modular supports:
● Deploying templates on empty slots or slots that compute sleds occupy.
● Reclaiming MAC identities after removing profiles that are associated with blade servers.
● Synchronizing VLAN definitions of OME-Modular and OpenManage Enterprise.
● Alert notifications when a chassis is onboarded.
● Configuring Forward Error Correction (FEC) for SmartFabric.
● Propagating VLANs without server reboot.
● Deploying operating system using Boot to ISO after applying profile.
● Enhancements to Uplink Failure Detection.
● Enabling racadm connect to Brocade MXG610s.
● Performing Hard Reset only on iDRAC instead of whole sled.
● Setting Name field as the default sort order in device grids.
● Enhanced alert pop-ups to appear on the upper right corner of the user interface.
● New SmartFabric Uplink type—Ethernet - No Spanning Tree.
概要 11
● Reduction in alert volumes API to replace failed Ethernet switch Autodetection of Scalable Fabric expansion from one to two chassis.
1.10.20
This release of OME-Modular supports:
● Customization of chassis backup file name.
● Customization of host operating system reboot if a template deployment fails.
● Hard reset of slot-based iDRAC interface from the Chassis Slots page.
● Updating MX7000 components.
1.10.00
This release of OME-Modular supports:
● Group management through LCD.
● Assigning member chassis in MCM as backup chassis and promoting backup chassis as lead chassis.
● Configuring hot spare for the chassis.
● Accessing chassis using USB.
● Customizing strings that are displayed on the chassis LCD.
● Configuring network session inactivity timeout.
● Extracting logs to a local drive on your system.
● Downloading the Management Information Base (MIB) file to a local drive on your system.
1.00.10
This release of OME-Modular supports:
● Twenty chassis in a multichassis management (MCM) group.
● Editing VLANs that are already deployed to a server, using a template.
● Federal Information Processing Standard (FIPS) 140-2 standards. For details, see certificate #2861 at csrc.nist.gov/projects/
cryptographic-module-validation-program/Certificate/2861.
Identifier
GUID-B1D2B683-896D-4C9C-8679-93F0FD409737
Version 3
Status Translation approved
対応プラットフォーム
OME - Modular では、次のプラットフォームとコンポーネントをサポートしています。
プラットフォーム：
● PowerEdge MX7000
● PowerEdge MX740c
● PowerEdge MX840c
● PowerEdge MX5016s
● PowerEdge MX5000s SAS スイッチ
● PowerEdge MX 25 Gb イーサネット パススルー モジュール
● MX 10GBASE-T イーサネットパススルーモジュール
● Dell EMC MX9116n ファブリックスイッチングエンジン
● Dell EMC MX5108n Ethernet スイッチ
● Dell EMC MX7116n ファブリック エクスパンダー モジュール
● Dell EMC MXG610s ファイバー チャネル スイッチ モジュール
● PowerEdge MX9002m 管理モジュール
12 概要
Identifier GUID-D1E1F5A5-37AB-44B2-9821-4AAAF94A64A8
Version 4
Status Translation approved
対応 Web ブラウザー
OME–Modular は、次の Web ブラウザーでサポートされています。
● Google Chrome バージョン 88
● Google Chrome バージョン 89
● Mozilla Firefox バージョン 85
● Mozilla Firefox バージョン 86
● Microsoft EDGE 88
● Microsoft EDGE 89
● Microsoft Internet Explorer 11
● Safari バージョン 13
● Safari バージョン 14
Web ブラウザーに適切にロードするための OME–Modular Web インターフェイスでは、Active X または Java スクリプトとフォント
のダウンロード オプションが有効になっていることを確認してください。
メモ: OME–Modular は TLS 1.2 以降のバージョンをサポートしています。
Identifier GUID-FCC805EE-5ACE-488B-AE88-21BBAF267803
Version 2
Status Translation Validated
その他の必要マニュアル
システムの管理に関する詳細については、次のドキュメントにアクセスしてください。
表 1. その他の参照ドキュメントのリスト
ドキュメントの名前 ドキュメントの概要
OpenManage Enterprise Modular RACADM
コマンドライン
リフ
ァレンス
ガイド
この文書には、RACADM サブコマンド、サポートされているイ
ンターフェイス、プロパティ データベース グループ、およびオ
ブジェクト定義に関する情報が含まれています。
OpenManage Enterprise Modular
リリース
ノート
この文書では、システムまたはマニュアルへの最新アップデー
ト、または専門知識をお持ちのユーザーや技術者向けの高度な
技術資料を提供します。
OpenManage Enterprise および OpenManage Enterprise -
Modular RESTful API ガイド
この文書では、RESTful API コマンドを使用して、OpenManage
Enterprise Modular とアプリケーションを統合する方法につい
て説明します。
Integrated Dell Remote Access Controller
（
iDRAC
）ユーザーズ
ガ
イド
この文書では、管理対象システムでの iDRAC のインストール、
設定、および保守について説明します。
OS10 Enterprise Edition
ユーザーズ
ガイド
この文書では、OS10 スイッチの機能についての情報、および
IOM CLI のコマンドを使用してスイッチを設定する方法につい
て説明します。
PowerEdge MX SmartFabric
設定およびトラブルシューティン
グ
ガイド
この文書では、PowerEdge MX システムで実行されている
SmartFabric サービスの設定とトラブルシューティングについ
て説明します。
Dell EMC PowerEdge MX7000
エンクロージャ設置およびサー
ビス
マニュアル
この文書では、PowerEdge MX7000 エンクロージャのコンポー
ネントの取り付けと交換に関する情報を提供します。
Dell EMC PowerEdge MX5016s
および
MX5000s
設置およびサー
ビス
マニュアル
この文書では、PowerEdge MX5016s ストレージスレッドおよび
PowerEdge MX5000s SAS IOM のコンポーネントの取り付けと
交換に関する情報を提供します。
概要 13
Identifier GUID-2707BA36-34DE-49BE-92FE-4D049002D6FE
Version 6
Status Translation Validated
Dell サポート サイトからの文書へのアクセス
必要なドキュメントにアクセスするには、次のいずれかの方法で行います。
● 次のリンクを使用します。
○ OpenManage のドキュメント -https://www.dell.com/openmanagemanuals
○ iDRAC および Lifecycle Controller のドキュメント -https://www.dell.com/idracmanuals
○ すべてのエンタープライズ システム管理のドキュメント - https://www.dell.com/esmmanualsDell.com/
SoftwareSecurityManuals
○ OpenManage Connections エンタープライズ システム管理のドキュメント -https://www.dell.com/esmmanuals
○ サービス化ツールのドキュメント -https://www.dell.com/serviceabilitytools
○ Client Command Suite システム管理のドキュメント -https://www.dell.com/omconnectionsclient
○ SmartFabric OS10 のドキュメント - infohub.delltechnologies.com
● Dell サポートサイトから入手します。
1. https://www.dell.com/support にアクセスします。
2. ［すべての製品を参照］ をクリックします。
3. サーバー、ソフトウェア、ストレージなど、目的の製品カテゴリをクリックします。
4. 必要な製品をクリックし、該当する場合は必要なバージョンをクリックします。
メモ: 一部の製品では、さらにサブカテゴリを選択していく必要があります。
5. ［マニュアルおよび文書］ をクリックします。
Identifier
GUID-CB51B83B-6740-49C4-AC48-673DCBE3E629
Version 3
Status Translation Validated
OME–Modular とその他 Dell EMC アプリケーションとの
位置づけ
OME–Modular は、次のアプリケーションと連携して、操作を管理、簡素化、合理化します。
● OME–Modular は、OME–Modular REST API コマンドを使用して、データ センター内の MX7000 シャーシを検出し、インベント
リーします。
● Integrated Dell Remote Access Controller（iDRAC） — OME–Modular は iDRAC を介して仮想コンソールを管理します。
● Repository Manager - OME–Modular は Repository Manager を使用して、共有ネットワークにカスタムリポジトリを作成し、カタ
ログを作成します。カタログは、ファームウェアアップデートに使用されます。
● OME–Modular は、OpenManage SupportAssist ログを iDRAC から抽出して、問題を解決します。
14 概要
Identifier GUID-7FD58DE0-B9CD-4A8B-AE48-09E303B61B62
Version 2
Status Translation approved
PowerEdge MX ソリューションのファームウェ
アのアップデート
MX ソリューションのコンポーネントおよびデバイスのファームウェアは、検証済みのソリューション スタックまたはファームウ
ェア ベースラインとして厳密にテストされています。詳細は、現在と以前のベースラインを含む OME-Modular を使用した
MX7000 コンポーネントのアップデートの表にリストされています。Dell Update Packages（DUP）が https://www.dell.com/support
で利用可能になると、それらを参照するシャーシ ファームウェア カタログの検証済みソリューション スタックが公開されます。
OME-M は、コンプライアンス レポートを使用して、アップデート パッケージを現在インストールされているバージョンと比較し
ます。詳細については、「ファームウェアの管理」の章を参照してください。
カタログを使用してアップデートを実行するために OME-M を使用する利点は次のとおりです。
● サポート サイトから、DUP を自動的にダウンロードします。
● 必要な順序ですべてのコンポーネントを同時にアップデートします。
コンポーネントおよびデバイスを手動でアップデートするための順序については、「コンポーネントのアップデート順序」セクシ
ョンを参照してください。OME-M をアップデートするための前提条件となるファームウェア バージョンについては、「ファームウ
ェア アップデート マトリックス」を参照してください。
MCM 環境で、リード シャーシからすべてのデバイスのファームウェア アップデートを実行します。また、IOM とストレージ ス
レッドをシャーシ コンポーネントとしてではなく個別のデバイスとして選択すると、ファームウェア アップデートに成功します。
トピック：
• MX7000 ソリューション ベースライン
• DUP を使用した Ethernet スイッチのアップグレード
Identifier
GUID-C9C95003-D6A4-489F-972C-2E4074E75B94
Version 11
Status Translation approved
MX7000 ソリューション ベースライン
OME-Modular Web インターフェイスを使用して、MX7000 の次のコンポーネントをアップグレードすることができます。次の表
に、MX7000 コンポーネントの新しいバージョンを示します。
表 2. MX7000 OME-Modular 1.30.00 以前のソリューション ベースライン
コンポーネン
ト
v1.10.20 v1.20.00 v1.20.10 v1.30.00 カタログの例外
Lifecycle
Controller 搭載
iDRAC
4.11.11.11 4.20.20.20 4.22.00.00 4.40.10.00
Dell EMC サー
バー BIOS
PowerEdge
MX740c
2.5.4 2.8.2 2.9.4** 2.10.2
Dell EMC サー
バー BIOS
PowerEdge
MX840c
2.5.4 2.8.2 2.9.4** 2.10.2
2
PowerEdge MX ソリューションのファームウェアのアップデート 15
表 2. MX7000 OME-Modular 1.30.00 以前のソリューション ベースライン （続き）
コンポーネン
ト
v1.10.20 v1.20.00 v1.20.10 v1.30.00 カタログの例外
QLogic 26XX
シリーズ ファ
イバー チャネ
ル アダプター
15.05.12 15.05.14 15.15.06 15.20.14
QLogic 27XX
シリーズ ファ
イバー チャネ
ル アダプター
15.05.12 15.05.13 15.15.06 15.20.14
QLogic 41xxx
シリーズ アダ
プター
15.05.14 15.05.18 15.15.11 15.20.16
Broadcom
57504 クワッ
ド ポート デ
バイス アダプ
ター
該当なし 該当なし 21.65.33.33 21.80.16.92 — 工場出
荷時のインストールの
み
Mellanox
ConnectX-4 Lx
Ethernet アダ
プター ファー
ムウェア
14.25.80.00 14.26.60.00 14.27.61.22 14.28.45.12
X710、XXV710、
XL710 各アダ
プター用 Intel
NIC ファミリ
ー バージョン
19.5.x ファー
ムウェア
19.5.12 19.5.12 19.5.12 20.0.17
Emulex ファイ
バー チャネル
アダプター フ
ァームウェア
32G
03.02.18 03.02.18 03.03.37 03.04.24
OpenManage
Enterprise
Modular
1.10.20 1.20.00 1.20.10 1.30.00
MX9116n ファ
ブリック スイ
ッチング エン
ジン OS10
10.5.0.5* 10.5.0.7 10.5.1.6 および 10.5.1.7
10.5.2.3
— 工場出荷時のイン
ストールのみ
10.5.2.4
— 推奨のアップグレ
ード バージョン
MX5108n
Ethernet スイ
ッチ OS10
10.5.0.5* 10.5.0.7 10.5.1.6 および 10.5.1.7
10.5.2.3
— 工場出荷時のイン
ストールのみ
10.5.2.4
— 推奨のアップグレ
ード バージョン
16 PowerEdge MX ソリューションのファームウェアのアップデート
表 2. MX7000 OME-Modular 1.30.00 以前のソリューション ベースライン （続き）
コンポーネン
ト
v1.10.20 v1.20.00 v1.20.10 v1.30.00 カタログの例外
MX5016s スト
レージ スレッ
ド
2.40 2.40 2.40 2.40
MX5000s SAS
IOM
1.0.9.6 1.0.9.8 1.0.9.8 1.0.9.8
MXG610s 8.1.0_lnx3 8.1.0_lnx3 8.1.0_lnx3 9.0.1a カタログのアップデー
トも DUP もなし
ネットワーク
IOM ONIE
該当なし 該当なし 該当なし 3.35.5.1-23
Delta PSU 68.5F 68.5F 68.5F 68.5F 手動 DUP
Artesyn PSU 36.6C 36.6C 36.6C 36.6C 手動 DUP
10.5.1.X は、10.5.1.6 と 10.5.1.7 の両方の OS10 バージョンを示します。
*オペレーティング システム 10.5.0.7 にアップデートしてから、10.5.1.X にアップデートします。
**BIOS 2.9.4 のアップデートは、個別の DUP を使用して実行するか、「Dell.com にある最新コンポーネント ファームウェア バージ
ョン」カタログから取得して実行します。
MX7000 をアップデートする前に、PSU バージョンを確認してください。PSU バージョンが 00.36.6B の場合は、PSU をアップデ
ートします。詳細については、『https://www.dell.com/support/home/en-us/drivers/driversdetails?
driverid=5tc17&oscode=naa&productcode=poweredge-mx7000』を参照してください。
メモ: MXG610s FC IOM のアップデートは、OME-Modular ユーザー インターフェイスからはサポートされていません。IOM で
は、Brocade インターフェイスを使用します。
メモ: カタログを使用して MX9116n または MX5108n をアップデートする方法は、OME-M バージョン 1.20.10 以前ではサポート
されていません。この方法は、1.30.00 以降でサポートされます。
メモ: これらのアップデート手順には、ソリューションのさまざまなコンポーネントのアップデートが含まれているため、既
存のワークロードへのトラフィックの影響が発生する可能性があります。アップデートは、通常の単一のメンテナンス ウィン
ドウ中にのみ適用することをお勧めします。
メモ: 1.20.00 より前のベースラインからアップグレードする場合、適用可能なすべてのソリューション コンポーネントをアッ
プデートした後で、最後のトラブルシューティング手順として、MX7000 シャーシの電源サイクル（コールド ブート）が必要
になる場合があります。詳細については、「シャーシの電源制御」を参照してください。
Identifier GUID-44AFF228-4ABE-42D7-8637-DA9C826EBD46
Version 3
Status Translation approved
個々のパッケージ方法のコンポーネント アップデート順序
警告: アップデート手順を実施する前に、アップデート手順を読みます。ご使用の環境にある MX7000 コンポーネントの現在
のバージョンを照合して、アップデート手順で呼び出される可能性のある特別な手順を書き留めます。
メモ: MX ソリューションのアップデート プロセスに必要なメンテナンス ウィンドウの間に、コンピュート スレッドのアップ
デートを実行するために、コンピュート スレッド ワークロードの一括移行がサポートされます。
MX7000 コンポーネントのアップグレードは複雑な手順であるため、必要に応じて、Dell サポートにお問い合わせください。スケ
ジュール設定された単一のメンテナンス時間内ですべてのコンポーネントをアップデートすることをお勧めします。
アップデートに進む前に、OME-Modular［アラート］ページで報告される重複ポート アラートを確認し、解決します。
メモ: ［動作可能］なポートのメッセージ ID は［NINT0001］で、［動作しない］ポートの場合は［NINT0002］です。
次の順序でコンポーネントをアップデートします。
1. オペレーティング システム ドライバー
PowerEdge MX ソリューションのファームウェアのアップデート 17
● デバイス アダプターのオペレーティング システム ドライバーの後にデバイス アダプター ファームウェアをアップデート
します。デバイス アダプターおよびサポートされているファームウェア バージョンについては、「OME-Modular 1.30.00 を
使用した MX7000 コンポーネントのアップデート」を参照してください。
2. 計算スレッド
メモ: 計算スレッドのアップデートに依存関係はなく、「OME-Modular 1.30.00 を使用した MX7000 コンポーネントのアップ
デート」の表 2 で特定された、対応する OME-Modular 1.30.00 ベースライン バージョンに直接アップデートすることがで
きます。
3. OME-Modular のアプリケーション
4. ファブリック スイッチ エンジン MX9116n および/または Ethernet スイッチ MX5108n
MXG610s IOM をアップデートするには、『MXG610s ファイバー チャネル スイッチ モジュール インストール ガイド』の第 6 章に
ある「ソフトウェアのアップグレードまたはダウングレード」のセクションを参照してください。このガイドは、https://
downloads.dell.com/manuals/all-products/esuprt_ser_stor_net/esuprt_networking/networking-mxg610s_install-guide_en-us.pdf で入手
できます。
メモ: MX5016s ストレージ スレッドまたは MX5000s SAS IOM がインストールされている場合は、コンピュート スレッドまた
は IOM コンポーネントの順序でそれぞれアップデートします。
メモ: Intel デバイス アダプターおよび BOSS ファームウェアをアップデートするには、まず OME-Modular を 1.10.10 以降にア
ップグレードするか、iDRAC Web インターフェイスを使用します。
Identifier GUID-250D3350-496A-4C97-9DEA-E42ABECA6FCB
Version 1
Status Translation approved
カタログベースのコンプライアンス方法を使用してファームウェアをア
ップデートする方法
メモ: MX ソリューションのアップデート プロセスに必要なメンテナンス ウィンドウの間に、コンピュート スレッドのアップ
デートを実行するために、コンピュート スレッド ワークロードの一括移行がサポートされます。
カタログベースのコンプライアンスを使用してファームウェアをアップデートする方法は、ベスト プラクティスとして推奨される
アップデート プロセスです。
カタログベースのコンプライアンス方法を使用してファームウェアをアップデートするには、次の手順を実行します。
1. デバイス アダプターのオペレーティング システム ドライバーの後にデバイス アダプター ファームウェアをアップデートしま
す。
メモ: デバイス アダプター ファームウェアのバージョンについては、それぞれのユーザーズ ガイドおよびリリース ノート
を参照してください。
2. ［設定ファームウェア］ページに移動して、検証済みのスタック カタログを使用してカタログとベースラインを作成します。
3. ベースラインを選択して、［レポートの表示］をクリックします。［コンプライアンス レポート］ページが表示されます。
4. 次の順序でデバイスをアップデートします。
a. ［演算］
i. ［詳細フィルター］で［タイプ］から［コンピュート］を選択します。コンピュート デバイスのリストが表示されます。
ii. ［すべて選択］チェック ボックスをクリックして、［順守させる］をクリックします。
iii. ［監視］ > ［ジョブ］ページに移動して、ジョブのステータスを表示します。
iv. コンピュート アップデートの完了を待ってから、シャーシのアップデートを開始します。
b. ［シャーシ］
i. ［詳細フィルター］で［タイプ］から［シャーシ］を選択し、［コンポーネントの内容］ボックスに［OpenManage Enterprise
Modular］と入力します。
ii. ［すべて選択］チェック ボックスをクリックして、［順守させる］をクリックします。
iii. ［監視］ > ［ジョブ］ページに移動して、ジョブのステータスを表示します。
iv. シャーシ アップデートの完了を待ってから、ネットワーク IOM のアップデートを開始します。
c. ［ネットワーク IOM］
i. ［詳細フィルター］で［デバイス タイプ］から［ネットワーク IOM］を選択します。ネットワーク IOM デバイスのリス
トが表示されます。
ii. 必要な数の IOM を選択して、［順守させる］をクリックします。
メモ: アップデート可能な IOM の組み合わせを表示するには、「ファームウェアのアップデート」の項で「IOM ファ
ームウェア アップデート マトリックス」と「ファームウェア アップデートのための IOM のグループ化」を参照し
てください。
18 PowerEdge MX ソリューションのファームウェアのアップデート
iii. ［監視］ > ［ジョブ］ページに移動して、ジョブのステータスを表示します。
iv. ネットワーク IOM アップデートの完了を待ってから、ONIE コンポーネントのアップデートを開始します。
d. ［ONIE コンポーネント］
i. ベースラインを選択して、［レポートの表示］をクリックします。［コンプライアンス レポート］ページが表示されま
す。すべてのアップデートを実行した後は、アップデート対象の ONIE コンポーネントのリストのみを表示できます。
メモ: ONIE コンポーネントは、すべての IOM が 1.30.00 ベースラインにアップデートされた場合にのみ一覧表示さ
れます。
ii. ［すべて選択］チェック ボックスをクリックして、［順守させる］をクリックします。
iii. ［監視］ > ［ジョブ］ページに移動して、ジョブのステータスを表示します。
Identifier GUID-170EE06F-5153-4B0F-9C4A-6F4A8A106B0C
Version 2
Status Translation approved
OME-M ファームウェア アップデート マトリックス
表 3. OME-M ファームウェア アップデート マトリックス
宛先
OME-M
1.00.01
OME-M
1.00.10
OME-M
1.10.00
OME-M
1.10.10
OME-M
1.10.20
OME-M
1.20.00
OME-M
1.20.10
OME-M
1.30.00
開始日時
OME-M
1.00.01
はい はい
OME-M
1.00.10
はい はい はい
OME-M
1.10.00
はい はい はい はい はい はい
OME-M
1.10.10
はい はい はい はい はい
OME-M
1.10.20
はい はい はい はい
OME-M
1.20.00
はい はい はい
OME-M
1.20.10
はい はい
OME-M
1.30.00
はい
メモ: 以前のバージョンの OME-M をインストールすると、設定が工場出荷時のデフォルトに効果的にリセットされます。こ
のオプションを使用すると、特定のファームウェア レベルを維持できます。
Identifier GUID-4C1D7B2F-8BCD-4197-A46E-5F1E64D4B8C7
Version 6
Status Translation approved
個別のパッケージ方法を使用した Lifecycle Controller 搭載 iDRAC のア
ップデート
1. OME-Modular がシャーシ グループを管理している場合は、リード シャーシの OME-Modular インターフェイスにログインしま
す。
2. ［デバイス］ > ［コンピュート］をクリックします。シャーシまたはシャーシ グループ内の使用可能なコンピューティング デ
バイスのリストが表示されます。
3. リスト ヘッダーで、チェックボックスをオンにして、現在のページのすべてのコンピューティング デバイスを選択します。複
数のページがある場合は、各ページに移動し、チェックボックスをオンにします。
PowerEdge MX ソリューションのファームウェアのアップデート 19
4. コンピューティング デバイスをすべて選択したら、［アップデート］をクリックします。
5. ［デバイス アップデート］ウィザードで、個々のパッケージを選択し、［参照］をクリックして［Lifecycle Controller 搭載
iDRAC］の DUP を選択します。
6. DUP がアップロードされたら、［次へ］をクリックし、［コンプライアンス］チェックボックスをオンにします。
7. ［完了］をクリックして、すべてのコンピューティング デバイス上でアップデートを開始します。
8. ジョブが完了するのを待ってから、Dell EMC サーバー BIOS PowerEdge MX740c および MX840c コンポーネントのアップデー
トに進みます。
メモ: 個別の DUP を使用して iDRAC を OME-M バージョン 1.10.20 以前から 4.40.10.00 にアップデートすると、コンプライアン
スの詳細が表示されず、失敗する場合があります。推奨されるカタログ アップデート方法を使用してください。
メモ: コンピュート ホストやストレージ スレッドをアップデートするもう 1 つの方法として、カタログがベースライン バージ
ョンでアップデートされた後に、カタログ ベースのアップデートを実装することができます。詳細は、「カタログの管理」を
参照してください。
PowerEdge MX740c および MX840c サーバー BIOS のアップデート
該当する場合は、「OME-Modular
を使用した
Lifecycle Controller
搭載
iDRAC
のアップデート
」の手順を繰り返して、DELL EMC サ
ーバー BIOS PowerEdge MX740c および MX840c をアップデートします。
アダプターのアップデート
デバイス アダプター ファームウェアと一緒にリリースされたデバイス アダプター用のオペレーティング システム ドライバーを
ダウンロードしてインストールします。お使いのオペレーティング システムのデバイス アダプター ドライバーのインストール手
順に従ってください。
この項に記載されている手順を繰り返して、次のアダプター ファームウェアをアップデートします。
この項に従ってください CLI を使用してファームウェアをアップデートするには、
OME-Modular を使用した Lifecycle Controller 搭載 iDRAC のアッ
プデート
QLogic 26XX シリーズ ファイバー チャネル アダプター
QLogic 27XX シリーズ ファイバー チャネル アダプター
QLogic 41xxx シリーズ アダプター
Broadcom 57504 クワッド ポート デバイス アダプター
Mellanox ConnectX-4 Lx Ethernet アダプター ファームウェア
X710、XXV710、XL710 各アダプター用 Intel NIC ファミリー バー
ジョン 19.5.x ファームウェア
Emulex Picard-16/Picard-32 アダプター
Dell.com にアクセスして、ファームウェアのアップデートに関連付けられている最新のデバイス ドライバーをダウンロードしま
す。
Identifier
GUID-79F32009-E0BE-4A17-9938-F8DEAAB0C10E
Version 4
Status Translation approved
OME-Modular の 1.30.00 へのアップデート
OME-Modular 1.30.00 には異なるバージョンからアップデートすることができます。詳細については、「OME-M ファームウェア ア
ップデート マトリックス」セクションを参照してください。
メモ: MCM グループ内で管理モジュールをすべて選択した場合、OME-M は必要な順序でこれらをアップデートします。
メモ: 1.10.x 以降にアップデートすると、アラート ログにアラート HWC7522 が発生する場合があります。場合によっては、
MX7116n またはパススルー モジュール（PTM）IOM で、電源の抜き差しを行う必要があります。
20 PowerEdge MX ソリューションのファームウェアのアップデート
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
/