インテル
®
イーサネットアダプターとデバイス
ユーザーガイド
概要
インテル® イーサネット・アダプターおよびデバイスのユーザーガイドにようこそ。このガイドでは、インテル® ネッ
トワーク・アダプター、接続、および他のデバイスに関する、ハードウェアとソフトウェアのインストール、設定手
順、およびトラブルシューティングのヒントについて説明します。
ネットワーク アダプターのインストール方法
ネットワーク アダプターをインストールするには、手順 1 から以下の手順に従います。
ドライバー・ソフトウェアをアップグレードするには、手順 4 から開始します。
注：ファームウェアをアップデートする場合、ドライバー・ソフトウェアを同じファミリーバージョンに更新す
る必要があります。
1. システム要件を調べます。
2. PCI Express アダプター、メザニンカード、またはネットワーク・ドーター・カードをサーバーに挿入します。
3. ネットワーク銅ケーブル、ファイバーケーブル、またはダイレクト接続ケーブルを慎重に接続します。
4. ネットワーク・ドライバー、およびその他のソフトウェアのインストール
l Windows* の手順
l Linux* の手順
5. アダプターのテスト。
始める前に
対応デバイス
サポートされている 40 ギガビット・ネットワーク・アダプター
l インテル® イーサネット 40G 2P XL710 QSFP+ rNDC
l インテル® イーサネット・コンバージド・ネットワーク・アダプター XL710-Q2
注：2 つの 40 Gb/s 接続を通じて接続されている場合でも、インテル XL710 ベースのアダプターでサポートされ
るトータル・スループットは 40 Gb/s です。
サポートされている 25 ギガビット・ネットワーク・アダプター
l インテル® イーサネット 25G 2P XXV710 Mezz
l インテル® イーサネット 25G 2P XXV710 アダプター
サポートされている 10 ギガビット・ネットワーク・アダプター
l インテル® イーサネット 10G 2P X520 アダプター
l インテル® イーサネット 10G X520 LOM
l インテル® イーサネット X520 10GbE デュアルポート KX4-KR Mezz
l インテル® イーサネット 10G 2P X540-t アダプター
l インテル® イーサネット 10G 2P X550-t アダプター
l インテル® イーサネット 10G 4P X550 rNDC
l インテル® イーサネット 10G 4P X550/I350 rNDC
l インテル® イーサネット 10G 4P X540/I350 rNDC
l インテル® イーサネット 10G 4P X520/I350 rNDC
l インテル® イーサネット 10G 2P X520-k bNDC
l インテル® イーサネット 10G 4P x710-k bNDC
l インテル® イーサネット 10G 2P X710-k bNDC
l インテル® イーサネット 10G X710-k bNDC
l インテル® イーサネット・コンバージド・ネットワーク・アダプター X710
l インテル® イーサネット・コンバージド・ネットワーク・アダプター X710-T
l インテル® イーサネット 10G 4P x710/l350 rNDC
l インテル® イーサネット 10G 4P X710 SFP+ rNDC
l インテル® イーサネット 10G X710 rNDC
l OCP 向けインテル® イーサネット・サーバー・アダプター X710-DA2
注：X710 および XXV710 ベースのアダプターの 1 番目のポートには、正しいブランドの文字列が表示されま
す。同一デバイス上にある他のすべてのポートは、ノーブランドの文字列が表示されます。
サポートされているギガビット・ネットワーク・アダプターとデバイス
l インテル® ギガビット 2P I350-t アダプター
l インテル® ギガビット 4P I350-t アダプター
l インテル® ギガビット 4P X550/I350 rNDC
l インテル® ギガビット 4P I350-t rNDC
l インテル® ギガビット 4P X540/I350 rNDC
l インテル® ギガビット 4P X520/I350 rNDC
l インテル® ギガビット 4P I350-t Mezz
l インテル® ギガビット 4P X710/l350 rNDC
l インテル® ギガビット 4P I350 rNDC
l インテル® イーサネット・コネクション I354 1.0 GbE バックプレーン
l インテル® ギガビット 2P I350-t LOM
l インテル® ギガビット I350-t LOM
l インテル® ギガビット 2P I350 LOM
互換性に関する注意事項
XL710 コントローラー・ベースのアダプターのすべての性能を活用するには、PCIe* Gen3 x8 スロットに取り付ける必
要があります。短いスロットや、Gen2 または Gen1 のスロットに取り付けた場合、アダプターのスループットが制限
されます。
対応するオペレーティング システム
サポートされているインテル® 64 アーキテクチャーのオペレーティング・システム
l Microsoft* Windows Server * 2012 R2
l Microsoft* Windows Server* 2016
l Microsoft* Windows Server* 2016 Nano Server
l VMWare* ESXi 6.0 U3
l Red Hat* Enterprise Linux* (RHEL*) 6.9
l Novell* SUSE Linux* Enterprise Server (SLES*) 12 SP3
注：次のデバイスは、Microsoft* Windows* 7 x64、Windows* 8.1 x64、Windows® 10 x64、RHEL* 7.3
x64、SLES* 12 SP2 x64 もサポートしています。このリリースでは、Microsoft* Windows* 32 ビット・オペ
レーティング・システムはサポートされていません。
l インテル® ギガビット 4P I350-t rNDC
l インテル® ギガビット 4P X550/I350 rNDC
l インテル® ギガビット 4P X710/I350 rNDC
l インテル® イーサネット 10G 4P X550/I350 rNDC
l インテル® イーサネット 10G 4P X710/I350 rNDC (Windows* 8.1 x64 ではサポートされていません)
ハードウェアの互換性
アダプターをインストールする前に、以下の点についてシステムを確認します。
l システムの最新 BIOS
l 1 つの空き PCI Express* スロット (スロットの互換性については、カードの仕様を参照)
ケーブルの要件
インテル® ギガビット アダプター
光ファイバーケーブル
l レーザー波長：850 ナノメートル (不可視)。
l SC ケーブルのタイプ：
l 直径 50 ミクロンのマルチモード光ケーブル、最大長 550 メートル。
l 直径 62.5 ミクロンのマルチモード光ケーブル、最大長 275 メートル。
l コネクターのタイプ：SC。
銅ケーブル
l カテゴリー 5 またはカテゴリー 5e のツイスト 4 対銅線による 1000BASE-T または 100BASE-TX。
l 必ず TIA-568 ワイヤー仕様に準拠したカテゴリー 5 のケーブルを使用してください。この仕様に関する
詳細は、次の Telecommunications Industry Association (通信業界組合) の Web サイト、
www.tiaonline.org を参照してください。
l 最大長は 100 メートルです。
l カテゴリー 3 のワイヤーは 10 Mbps のみに対応。
インテル 10 ギガビット アダプター
光ファイバーケーブル
l レーザー波長：850 ナノメートル (不可視)。
l SC ケーブルのタイプ：
l 直径 50 ミクロンのマルチモード光ケーブル、最大長 550 メートル。
l 直径 62.5 ミクロンのマルチモード光ケーブル、最大長 275 メートル。
l コネクターのタイプ：SC。
銅ケーブル
l カテゴリー 6、カテゴリー 6a、またはカテゴリー 7 ワイヤー、ツイスト 4 ペア銅線上の 10GBASE-T を使用す
るインテル® 10 ギガビット・サーバー・アダプターおよびコネクションの最大長
l カテゴリー 6 の最大長は 55 メートルです。
l カテゴリー 6a の最大長は 100 メートルです。
l カテゴリー 7 の最大長は 100 メートルです。
l CISPR 24 と EU の EN55024 への準拠を確保するために、インテル® 10 ギガビット・サーバー・アダプ
ターおよびコネクションでは、EN50174-2 で推奨されている通りに終端されたカテゴリー 6a のシール
ドケーブルのみを使用してください。
l 10 ギガビット イーサネット SFP+ ダイレクト接続ケーブル (二軸)
l 最長 10 メートル。
インテル® 40 ギガビットアダプター
光ファイバーケーブル
l レーザー波長：850 ナノメートル (不可視)。
l SC ケーブルのタイプ：
l 直径 50 ミクロンのマルチモード光ケーブル、最大長 550 メートル。
l 直径 62.5 ミクロンのマルチモード光ケーブル、最大長 275 メートル。
l コネクターのタイプ：SC。
l LC ケーブルのタイプ：
l 直径 50 ミクロンのマルチモード光ケーブル、最大長 550 メートル。
l 直径 62.5 ミクロンのマルチモード光ケーブル、最大長 275 メートル。
l コネクターのタイプ：LC
銅ケーブル
l 40 ギガビット・イーサネット SFP+ ダイレクト接続ケーブル (二軸)
l 最長 7 メートル
インストールの概要
アダプターのインストール方法
1. コンピュータの電源を切り、電源コードをコンセントから抜きます。
2. コンピュータのカバーを外し、アダプターに該当するスロットからアダプター スロット カバーを取り外しま
す。
3. アダプターのエッジコネクターをスロットに差し込み、ブラケットをシャーシにしっかりと取り付けます。
4. コンピュータのカバーを取り付け、電源プラグを差し込みます。
注：使用しているアダプターをサポートしている PCI Express* スロットの識別方法については、Dell EMC シス
テムガイドを参照してください。
ドライバーおよびソフトウェアのインストール
Windows* オペレーティング システム
ドライバーをインストールするには、オペレーティング システムに対する管理者権限が必要です。
1. カスタマーサポートから最新の Dell EMC Update Package (DUP) をダウンロードします。
2. 実行可能な DUP を実行し、[Install (インストール)] をクリックします。
3. 以降は、画面上の指示に従ってください。
ソースコードからの Linux* ドライバーのインストール
1. ベースドライバーの tar ファイルをダウンロードして展開します。
2. ドライバーモジュールをコンパイルします。
3. modprobe コマンドを使用してモジュールをインストールします。
4. ifconfig コマンドを使用して IP アドレスを割り当てます。
詳細については、本ユーザーガイドの Linux セクションを参照してください。
その他のオペレーティング システム
他のドライバーをインストールするには、カスタマーサポートのウェブサイト http://www.support.dell.com を参照
してください。
パフォーマンスの最適化
インテル ネットワーク アダプターの詳細設定を設定して、サーバーのパフォーマンスの最適化を促進することができま
す。
以下の例は、サーバーの 3 つの使用モデルの手引きです。
l 迅速な反応と短い待ち時間を実現するために最適化 - ビデオ、オーディオ、High Performance Computing
Cluster (HPCC) サーバーに役立ちます
l スループットの最適化 – データのバックアップ/取得およびファイルサーバーに役立ちます
l CPU 使用率の最適化 – アプリケーション、ウェブ、メール、およびデータベース・サーバーに役立ちます
注：
l 以下の推奨事項はガイドラインとして利用してください。インストールされたアプリケーション、バス
タイプ、ネットワーク トポロジー、およびオペレーティング システムなどのその他の要素もシステムの
パフォーマンスに影響を与えます。
l これらの調整は、熟練したネットワーク管理者によって行われる必要があります。パフォーマンスの向上
は保証されません。ここに示すすべての設定が、ネットワーク・ドライバーの設定、オペレーティング・
システム、またはシステム BIOS で使用可能なわけではありません。Linux ユーザーは、Linux ドライ
バー パッケージにある README ファイルで Linux 特有のパフォーマンス向上の詳細について参照してく
ださい。
l パフォーマンス・テスト・ソフトウェアを使用するときは、最適な結果を得るためそのアプリケーション
のマニュアルを参照してください。
一般的な最適化
l 適切なスロットにアダプターを取り付けます。
注：PCI-E x8 スロットのいくつかは、実際には x4 スロットとして設定されています。これらのスロット
は、一部のデュアル・ポート・デバイスでは完全な回線速度に対する帯域幅が不十分です。ドライバーは
この状況を検出でき、システムログに次のメッセージを書き込みます。“PCI-Express bandwidth
available for this card is not sufficient for optimal performance. (このカードで使用できる PCI-
Express 帯域幅は最適なパフォーマンスを得るには十分ではありません。)For optimal performance a
x8 PCI-Express slot is required. (最適なパフォーマンスを得るには、x8 PCI-Express スロットが必要で
す。)”このエラーが発生した場合は、真の x8 スロットにアダプターを移動すると問題が解決します。
l インテル® X710/XL710 ベースのネットワーク・アダプターの能力を最大限に活用するには、PCIe* Gen3 x8
スロットに取り付ける必要があります。短いスロット (Gen2 または Gen1 スロット) に取り付けると、アダプ
ターのスループットに影響します。
l デバイスに適切なケーブルを使用してください。
l 他のネットワーク・コンポーネントもジャンボフレーム用に設定できる場合は、ジャンボパケットを有効にしま
す。
l TCP とソケットのリソースの数値をデフォルト値より大きくします。Windows* ベースのシステムでは、当社
では、パフォーマンスにかなりの影響を与える TCP ウィンドウ サイズ以外のシステム パラメータ以外を識別し
ていません。
l ドライバー リソースの割り当てサイズ (送信/受信バッファー) を増やします。ただし、TCP トラフィック パ
ターンの多くは送信バッファーをデフォルト値、受信バッファーを最小値に設定した場合に最適に機能します。
l システムの大半またはすべてのコアで実行する I/O アプリケーションを使用して複数のネットワーク・ポートで
トラフィックを転送する場合に、該当アプリケーションの CPU アフィニティーをより少数のコアに設定するこ
とを考慮してください。これによって、CPU 使用率が減少し、場合によってはデバイスのスループットが向上す
ることがあります。CPU アフィニティーに選択したコアは、影響を受けるネットワーク・デバイスのプロセッ
サー・ノード/グループに対してローカルであることが必要です。PowerShell* コマンド Get-NetAdapterRSS
を使用することで、デバイスにとってローカルなコアを表示できます。スループットを最大限に高めるために、
アプリケーションに割り当てられるコア数を増やすことが必要になる場合があります。CPU アフィニティーの設
定の詳細については、オペレーティング・システムのドキュメントを参照してください。
l システムに複数の 10 Gpbs 以上のポートが取り付けられている場合、各アダプターポートの RSS キューは、ア
ダプターのローカル NUMA ノード/ソケットの非重複プロセッサー・セットを使用するように調整できます。
ベース・プロセッサーと最大数の RSS プロセッサー設定の組み合わせでコアが重複しないように、各アダプ
ターポートの RSS ベース・プロセッサー数を変更します。
1. Get-NetAdapterRSS PowerShell* cmdlet を使用して、該当する RssProcessorArray で調整および調
査すべきアダプターポートを識別します。
2. NUMA 距離が 0 のプロセッサーを識別します。こうしたプロセッサーは、アダプターのローカル NUMA
ノード/ソケットのコアで、最高のパフォーマンスを提供します。
3. ローカル・プロセッサー・セット内の重複しないプロセッサー・セットを使用するように、各ポート上
の RSS ベース・プロセッサーを調整します。これは、手動または次の PowerShell* コマンドを使用して
行うことができます。
Set-NetAdapterAdvancedProperty -Name <アダプター名> -DisplayName "RSS Base
Processor Number" -DisplayValue <RSS ベース・プロセッサー値>
4. 適切な値が設定されていることを確認するために、Get-NetAdpaterAdvancedproperty cmdlet を使用
します。
Get-NetAdpaterAdvancedproperty -Name <アダプター名>
例：ローカル・プロセッサー 0、2、4、6、8、10、12、14、16、18、20、22、24、26、28、および
30 の 4 ポートアダプターで、「最大 RSS プロセッサー」が 8 の場合、RSS ベース・プロセッサーを
0、8、16、および 24 に設定します。
迅速な反応と短い待ち時間を実現するために最適化
l 割り込み加減率の最小化または無効化。
l TCP セグメンテーションのオフロードの無効化。
l ジャンボ パッケージの無効化。
l 送信ディスクリプタの増加。
l 受信ディスクリプタの増加。
l RSS キューの増加。
スループットの最適化
l ジャンボパケットの有効化。
l 送信ディスクリプタの増加。
l 受信ディスクリプタの増加。
l NUMA をサポートするシステムで、各アダプターで優先 NUMA ノードを設定して、NUMA ノード全体でのス
ケーリングを向上させることができます。
CPU 使用率の最適化
l 割り込み加減率の最大化。
l 受信ディスクリプタ数のデフォルト設定を保持し、受信ディスクリプタの数を増やして設定することを防ぐこと
ができます。
l RSS キューの減少。
l Hyper-V 環境で RSS CPU の最大数を減らします。
リモートストレージ
リモートストレージ機能により、イーサネット・プロトコルを使用して、SAN または他のネットワーク接続ストレージ
にアクセスできます。これには、データセンター・ブリッジング (DCB)、iSCSI over DCB、およびファイバーチャネ
ル・オーバー・イーサネット (FCoE) が含まれます。
データセンター・ブリッジング (DCB)
データセンター・ブリッジング (DCB) は、従来のイーサネットへの標準規格に基づいたエクステンションのコレクショ
ンです。これは、単一のユニファイド・ファブリック上に LAN と SAN のコンバージェンスを有効にする損失のない
データセンター・トランスポート・レイヤーを提供します。
さらに、データセンター・ブリッジング (DCB) は、ハードウェアでの設定サービス・クオリティー (QoS) の実装で
す。VLAN 優先タグ (802.1p) によってトラフィックがフィルタリングされます。つまり、トラフィックは 8 種類の優先
度に基づいてフィルタリングされます。また、ネットワーク負荷が高い間にドロップされるパケットの数を制限または
排除できる優先フロー制御 (802.1Qbb) も可能になります。これら優先度のそれぞれに帯域幅が割り当てられ、ハード
ウェア・レベルで適用されます (802.1Qaz)。
アダプター・ファームウェアは LLDP および DCBX プロトコル・エージェントをそれぞれ 802.1AB と 802.1Qaz 向け
に実装します。ファームウェア・ベースの DCBX エージェントはウィリングモードでのみ動作し、DCBX 対応ピアから
の設定を受け入れることができます。dcbtool/lldptool による DCBX パラメーターのソフトウェア設定はサポートされ
ていません。
注：Microsoft* Windows* が稼働している X710 ベースのデバイスで、データセンター・ブリッジング (DCB)
はファームウェア・バージョン 17.0.12 以降でのみサポートされています。より古い NVM バージョンは、更新
しなければ Windows* でアダプターが DCB をサポートできるようになりません。
対応デバイス
以下のアダプターは、iSCSI over DCB および FCoE over DCB を使用するリモートストレージをサポートしています。
l インテル® イーサネット 10G 2P X520 アダプター
l インテル® イーサネット X520 10GbE デュアルポート KX4-KR Mezz
l インテル® イーサネット 4P X520/I350 rNDC
l インテル® イーサネット 10G X520 LOM
l インテル® イーサネット 10G 2P X520-k bNDC
l インテル® イーサネット 10G 2P X540-t アダプター
l インテル® イーサネット 10G 4P X540/I350 rNDC (I350 ポートのみ)
l インテル® イーサネット 10G 2P X550-t アダプター
l インテル® イーサネット 10G 4P X550 rNDC
‡
l インテル® イーサネット 10G 4P X550/I350 rNDC
‡
l インテル® イーサネット 10G 4P X710-k bNDC
‡
l インテル® イーサネット 10G 2P X710-k bNDC
‡
l インテル® イーサネット 10G X710-k bNDC
‡
l インテル® イーサネット・コンバージド・ネットワーク・アダプター X710
‡
l インテル® コンバージド・ネットワーク・アダプター X710-T
‡
l インテル® イーサネット 10G 4P X710/l350 rNDC
‡
l インテル® イーサネット 10G 4P X710 SFP+ rNDC
‡
l インテル® イーサネット 10G X710 rNDC
‡
l OCP 向けインテル® イーサネット・サーバー・アダプター X710-DA2
‡
l インテル® イーサネット 25G 2P XXV710 アダプター
‡
l インテル® イーサネット 25G 2P XXV710 Mezz
‡
l インテル® イーサネット 40G 2P XL710 QSFP+ rNDC
‡
l インテル® イーサネット・コンバージド・ネットワーク・アダプター XL710-Q2
‡
‡ このデバイスは FCoE over DCB をサポートしていません。
注：インテル® 710 シリーズベースのアダプターが NPar モードの場合、DCB はシステム設定/BIOS でのみ構
成できます。
iSCSI Over DCB
インテル® イーサネット・アダプターでは、基本オペレーティング・システムに固有の iSCSI ソフトウェア・イニシ
エーターがサポートされています。Windows の場合、Microsoft iSCSI ソフトウェア・イニシエーターによって、
Windows ホストから、インテル® イーサネット・アダプターを使用する外部 iSCSI ストレージアレイへの接続が可能
になります。
オープンソース・ディストリビューションの場合、実質的にすべてのディストリビューションがオープン iSCSI ソフト
ウェア・イニシエーターのサポートを組み込み、インテル® イーサネット・アダプターはそれらをサポートします。特
定のオープン iSCSI イニシエーターでの詳細な追加設定については、ディストリビューションのマニュアルを参照して
ください。
インテル® 82599 と X540 ベースアダプターは、データセンター・ブリッジング・クラウド内の iSCSI をサポートしま
す。iSCSI/DCB アプリケーション TLV をサポートするスイッチおよびターゲットと併せて使用することによって、こ
のソリューションはホストとターゲットの間の iSCSI トラフィックの最低保証帯域幅を提供することができます。この
ソリューションでは、ストレージ管理者が iSCSI トラフィックを LAN トラフィックからセグメント分けすることがで
きます。このことは、現在 FCoE トラフィックを LAN トラフィックからセグメント分けする方法と似ています。DCB
サポート環境内の iSCSI トラフィックは、以前はスイッチベンダーによって LAN トラフィックとして扱われていまし
た。スイッチおよびターゲットベンダーに問い合わせて iSCSI/DCB アプリケーション TLV をサポートすることを確認
してください。
インテル
®
イーサネット FCoE (Fibre Channel over Ethernet)
Fibre Channel over Ethernet (FCoE) は標準ファイバーチャネル (FC) プロトコルフレームを標準イーサネット・フ
レーム内でデータとしてカプセル化したものです。このリンクレベルのカプセル化は、FCoE 対応 Ethernet-to-FC ゲー
トウェイとともに、イーサネット・ベースのホストを接続するために FC ファブリックを拡張するために機能します。
FCoE 仕様はファイバーチャネル FC-4 FCP 仕様で定義されたとおりに、ストレージ・クラス・トラフィック特有の FC
フレームのカプセル化に焦点を当てます。
注：新しいオペレーティング・システムが FCoE で新たにサポートされることはありません。FCoE をサポート
する最新のオペレーティング・システムのバージョンは以下のとおりです。
l Microsoft* Windows Server* 2012 R2
l SLES 11 SP4
l Vmware* ESX 6.0 U3
ジャンボ フレーム
ベースドライバーは [LAN Jumbo Frames] (LAN ジャンボ フレーム) 設定に依存しない FCoE ミニ・ジャンボ・フレー
ム (2.5k バイト) をサポートします。
FCoE VN to VN (VN2VN) のサポート
FCoE VN to VN (VN2VN) は、FCoE を使用して 2 つのエンドノード (ENodes) を直接接続するための標準規格です。
ENode は、別のリモート ENode との間に FC または FCoE スイッチ (FCFs) に接続せずに VN2VN 仮想リンクを作成で
きるので、ポートのゾーン化または高度なファイバー・チャネル・サービスを必要としません。ストレージ・ソフト
ウェアは、LUN マスキングを使用して LUN のアクセスとセキュリティを制御します。VN2VN ファブリックは、
ENodes 間の損失なしイーサネット・スイッチを持つことがあります。これにより、複数の ENodes が VN2VN ファブ
リックに複数の VN2VN 仮想リンクを作成するのに関与できます。VN2VN には、Point to Point (PT2PT) と Multipoint
の 2 つの操作モードがあります。
注：操作モードは初期化中のみ使用されます。
Point to Point (PT2PT) モード
Point to Point モードでは、ENode は 2 つしか存在せず、その 2 つは直接または損失なしイーサネット・スイッチで接
続されています。
MultiPoint モード
VN2VN ファブリックに 2 つ以上の ENodes が検出された場合は、すべてのノードは Multipoint モードで稼働されなけ
ればなりません：
Microsoft Windows で VN2VN を有効化
Microsoft Windows で VN2VN を有効化するには、以下の操作をします。
1. Windows デバイス・マネージャーを起動します。
2. 適切な FCoE ミニポートのプロパティシート (通常はストレージ・コントローラー下にある) を開き、
[Advanced(詳細設定)] タブをクリックします。
3. VN2VN 設定を選択し、[Enable (有効化)] を選びます。
リモートブート
リモートブートでは、イーサネット・アダプターのみを使用してシステムを起動できます。オペレーティング・システ
ム・イメージを含むサーバーに接続し、そのイメージを使用してローカルシステムを起動します。
インテル
®
Boot Agent
インテル® Boot Agent は、リモートサーバ提供のプログラム・コード・イメージを使い、ネットワーク・クライアン
ト・コンピューターによる起動を可能とするソフトウェアです。インテル® Boot Agent は、Pre-boot eXecution
Environment (PXE) バージョン 2.1 仕様に準拠しています。BOOTP プロトコルを使うレガシー Boot Agent 環境とも
互換性があります。
対応デバイス
BootUtil を使用すると、ほとんどのインテル・サーバー・アダプターでフラッシュ ROM を有効にできます。ただし以
下のアダプターでは、PXE が UEFI 環境で有効化されるため、Bootutil でブートイメージを更新できません。
l インテル® ギガビット 2P I350-t アダプター
l インテル® ギガビット 4P I350-t アダプター
l インテル® ギガビット 4P I350-t rNDC
l インテル® ギガビット 2P I350-t LOM
l インテル® ギガビット I350-t LOM
l インテル® ギガビット 2P I350 LOM
l インテル® ギガビット 4P I350-t Mezz
l インテル® イーサネット 10G 2P X520 アダプター
l インテル® イーサネット 10G 2P X520-k bNDC
l インテル® イーサネット 4P X520/I350 rNDC
l インテル® ギガビット 4P I350 rNDC
l インテル® イーサネット 10G X520 LOM
l インテル® イーサネット X520 10GbE デュアルポート KX4-KR Mezz
l インテル® イーサネット 10G 2P X540-t アダプター
l インテル® イーサネット 10G 4P X540/I350 rNDC
l インテル® イーサネット 10G 2P X550-t アダプター
l インテル® イーサネット 10G 4P X550 rNDC
l インテル® イーサネット 10G 4P X550/I350 rNDC
l インテル® イーサネット・コンバージド・ネットワーク・アダプター X710
l インテル® イーサネット 10G 4P x710-k bNDC
l インテル® イーサネット 10G 2P X710-k bNDC
l インテル® イーサネット 10G X710-k bNDC
l インテル® イーサネット 10G 4P x710/l350 rNDC
l インテル® イーサネット 10G 4P X710 SFP+ rNDC
l インテル® イーサネット 10G X710 rNDC
l インテル® コンバージド・ネットワーク・アダプター X710-T
l OCP 向けインテル® イーサネット・サーバー・アダプター X710-DA2
l インテル® イーサネット 25G 2P XXV710 アダプター
l インテル® イーサネット 25G 2P XXV710 Mezz
l インテル® イーサネット・コンバージド・ネットワーク・アダプター XL710-Q2
l インテル® イーサネット 40G 2P XL710 QSFP+ rNDC
インテル
®
イーサネット iSCSI ブート
インテル® イーサネット iSCSI ブートは、iSCSI ベースのストレージ・エリア・ネットワーク (SAN) にあるリモート
iSCSI ディスクボリュームからクライアント・システムを起動する機能を提供します。
対応デバイス
l インテル® ギガビット 2P I350-t アダプター
l インテル® ギガビット 4P I350-t アダプター
l インテル® ギガビット 4P I350-t rNDC
l インテル® ギガビット 4P I350 rNDC
l インテル® ギガビット 2P I350-t LOM
l インテル® ギガビット I350-t LOM
l インテル® ギガビット 2P I350 LOM
l インテル® ギガビット 4P I350-t Mezz
l インテル® イーサネット X520 10GbE デュアルポート KX4-KR Mezz
l インテル® イーサネット 10G 2P X520 アダプター
l インテル® イーサネット 10G 2P X520-k bNDC
l インテル® イーサネット 10G X520 LOM
l インテル® イーサネット 4P X520/I350 rNDC
l インテル® イーサネット 10G 2P X540-t アダプター
l インテル® イーサネット 10G 4P X540/I350 rNDC
l インテル® イーサネット 10G 2P X550-t アダプター
l インテル® イーサネット・コンバージド・ネットワーク・アダプター XL710-Q2
l インテル® イーサネット 10G 4P X550 rNDC
l インテル® イーサネット 10G 4P X550/I350 rNDC
l インテル® イーサネット・コンバージド・ネットワーク・アダプター X710
l インテル® イーサネット 10G 2P X710-k bNDC
l インテル® イーサネット 10G 4P x710-k bNDC
l インテル® イーサネット 10G X710-k bNDC
l インテル® イーサネット 10G 4P x710/l350 rNDC
l インテル® イーサネット 10G 4P X710 SFP+ rNDC
l インテル® イーサネット 10G X710 rNDC
l インテル® コンバージド・ネットワーク・アダプター X710-T
l OCP 向けインテル® イーサネット・サーバー・アダプター X710-DA2
l インテル® イーサネット 25G 2P XXV710 アダプター
l インテル® イーサネット 25G 2P XXV710 Mezz
l インテル® イーサネット 40G 2P XL710 QSFP+ rNDC
インテル
®
イーサネット FCoE ブート
インテル® イーサネット FCoE ブートは、ファイバー・チャネル・ストレージ・エリア・ネットワーク (SAN) にあるリ
モート・ディスク・ボリュームからクライアント・システムを起動する機能を提供します。
Windows デバイス・マネージャー用インテル
®
PROSet の使用
Windows デバイス・マネージャーで FCoE プロパティーをナビゲートするには、アダプターのプロパティー・シートに
ある [Data Center] (データセンター) タブを使用するか、インテル® [FCoE ストレージ・コントローラー対応インテル®
イーサネット・バーチャル・ストレージ・ミニポート・ドライバー] プロパティー・シートを使用する 2 つの方法があ
ります。
対応デバイス
インテル® FCoE は次のインテル® ネットワーク・アダプターでサポートされています。
l インテル® イーサネット 10G 2P X520 アダプター
l インテル® イーサネット 10G 2P X520-k bNDC
l インテル® イーサネット 4P X520/I350 rNDC
l インテル® イーサネット 10G X520 LOM
l インテル® イーサネット X520 10GbE デュアルポート KX4-KR Mezz
l インテル® イーサネット 10G 2P X540-t アダプター
l インテル® イーサネット 10G 4P X540/I350 rNDC (X540 ポートのみ)
l インテル® イーサネット 10G 2P X550-t アダプター
注：
l インテル ネットワーク・アダプターで FCoE ブートを使用するときには、システムに Brocade Host Bus
Adapter (HBA) がインストールされていないことを確認してください。
l アダプターによっては、サポートされていないオペレーティング・システムがあります。
仮想サポート
仮想化により、同一の物理的システムで、仮想マシンとして 1 つ以上のオペレーティング システムを同時に実行するこ
とを可能にします。これにより、異なるオペレーティング システムを実行している場合も、いくつかのサーバーを 1 つ
のシステムに統合できます。インテル® ネットワーク・アダプターは標準ドライバーとソフトウェアを使用して、仮想
マシンとともに、およびその仮想マシン内で機能します。
注：
l アダプター/オペレーティング・システムの組み合わせによっては、使用できない仮想化オプションがあ
ります。
l 仮想マシン内でのジャンボフレームの設定は、物理ポート上の設定と同じか、それ以下の値にする必要が
あります。
l 仮想マシンを仮想スイッチ上の仮想 NIC ポートを通じてテナント・オーバーレイ・ネットワークに接続
すると、カプセル化ヘッダーが Maximum Transmission Unit (MTU) のサイズを増加させます。カプセ
ル化オーバーヘッド機能はこの増加を補うため物理ポートの MTU サイズを自動調整します。
l 仮想化された環境でのインテル® ネットワーク・アダプターの使用の詳細については、
http://www.intel.com/technology/advanced_comm/virtualization.htm を参照してください。
Microsoft* Hyper-V* 環境でのインテル
®
ネットワーク アダプターの使
用
Hyper-V Virtual NIC (VNIC) インターフェイスが親パーティションに作成されるときに、VNIC は基礎となる物理的
NIC の MAC アドレスを使用します。VNIC がチームまたは VLAN 上に作成された場合も同様です。VNIC は基礎となる
インターフェイスの MAC アドレスを使用するので、そのインターフェイスの MAC アドレスが変更されるあらゆる操作
(たとえば、そのインターフェイス上に LAA を設定する、チーム内のプライマリー・アダプターを変更する、など) を行
うと、VNIC の接続が失われます。接続を保つために、インテル® PROSet では、MAC アドレスが変更される設定を
ユーザーが変更することはできません。
注：
l Fibre Channel over Ethernet (FCoE)/データセンター・ブリッジング (DCB) がポートに存在する場合、
デバイスを仮想マシンキュー (VMQ) + DCB モードで設定すると、ゲスト OS が使用可能な VMQ の仮想
ポート数が減少します。これは、インテル® イーサネット・コントローラー X710 ベースのデバイスには
当てはまりません。
l 仮想マシン内から送信された場合、LLDP と LACP パケットはセキュリティ上のリスクになる可能性があ
ります。インテル® Virtual Function ドライバーは、そうしたパケットの伝送をブロックします。
l アダプターの [Device Manager (デバイス マネージャー)] プロパティシートの [Advanced (詳細設定)]
タブにある [Virtualization (仮想)] 設定は、Hyper-V ロールがインストールされていないと使用できませ
ん。
l Microsoft* Hyper-V* 機能を構成する前に、Dell* EMC Update Package によってインテル® NIC ドラ
イバーをインストールする必要があります。Dell* EMC Update Package を実行してインテル® NIC ド
ライバーをインストールする前に、インテル® X710 デバイスのサポートされていない NIC パーティ
ションで Microsoft* Hyper-V* 機能を構成した場合、ドライバーのインストールが完了しないことがあ
ります。これを回復させるには、Microsoft* Hyper-V* をアンインストールし、[プログラムと機能] から
[Intel® Network Connections (インテル® ネットワーク・コネクション)] をアンインストールし、
Dell* EMC Update Package を実行してインテル® NIC ドライバーをインストールする必要がありま
す。
仮想マシン スイッチ
仮想マシン スイッチは、ネットワーク I/O データ パスの一部です。物理的 NIC と仮想マシン NIC の間に配置され、パ
ケットを正しい MAC アドレスに送ります。インテル® PROSet で仮想マシンキュー (VMQ) オフローディングを有効に
すると、仮想マシンスイッチで VMQ が自動的に有効になります。ドライバーのみのインストールでは、仮想マシン ス
イッチで VMQ を手動で有効にする必要があります。
ANS VLAN の使用
親パーティションに ANS VLAN を作成してから ANS VLAN 上に Hyper-V 仮想 NIC を作成する場合は、仮想 NIC イン
ターフェイスは ANS VLAN と同じ VLAN ID を持つ *必要* があります。仮想 NIC インターフェイスで別の VLAN ID
を使用したり VLAN ID を設定しないと、そのインターフェイスで通信が失われます。
ANS VLAN にバインドされた仮想スイッチの MAC アドレスは VLAN と同じになります。VLAN のアドレスは、基礎と
なる NIC またはチームと同じになります。複数の VLAN を 1 つのチームにバインドし、仮想スイッチを各 VLAN にバ
インドした場合、すべての仮想スイッチの MAC アドレスは同じになります。複数の仮想スイッチをクラスタリングす
ると、Microsoft のクラスター検証ツールでネットワーク・エラーが発生します。場合によっては、このエラーを無視
しても、クラスターのパフォーマンスに影響を及ぼさないこともあります。ただし、このようなクラスターは
Microsoft によってサポートされません。デバイス・マネージャーを使用して各仮想スイッチに固有のアドレスを付与
すると、問題が解決します。詳しくは、Microsoft TechNet の記事 Configure MAC Address Spoofing for Virtual
Network Adapters (英語) を参照してください。
仮想マシンキュー (VMQ) と SR-IOV は、Windows* デバイス マネージャーの [VLAN] タブを使用して設定された
VLAN にバインドされている Hyper-V* 仮想 NIC インターフェイス上では、有効にできません。
チームまたは VLAN を仮想 NIC として使用する
チームまたは VLAN を仮想 NIC として使用するには、次の手順に従います。
注：
l これは、チームまたは VLAN で作成された仮想 NIC のみに適用されます。物理アダプターで作成された
NIC は、これらの手順を必要としません。
l Hyper-V では受信ロード バランシング (RLB) はサポートされません。Hyper-V を使用するときは、RLB
を無効にしてください。
1. インテル® PROSet を使用して、チームまたは VLAN を作成します。
2. ネットワーク コントロール パネルを開きます。
3. チームまたは VLAN を開きます。
4. [全般] タブでプロトコル バインディングのすべてを選択解除して [OK] をクリックします。
5. 仮想 NIC を作成します。([Allow management operating system to share the network adapter] チェック
ボックスをオンにすると、親パーティションで次の手順を行えます。)
6. 仮想 NIC 用にネットワーク コントロール パネルを開きます。
7. [全般] タブで希望のプロトコル バインディングのチェックボックスをオンにします。
注：チームはこの手順を実行する必要はありません。仮想 NIC が作成されると、そのプロトコルは正
しくバインドされます。
Microsoft Windows Server* Core 用のコマンド ライン
Microsoft Windows Server Core は GUI インターフェイスを備えていません。ANS チームまたは VLAN を仮想 NIC と
して使用する場合は、Microsoft* Windows PowerShell* を使用して設定を行う必要があります。Windows*
PowerShell* を使用して、チームまたは VLAN を作成してください。
Microsoft* Windows PowerShell* を使用した設定方法の例を以下に示します。
1. システム上のすべてのアダプターを取得し、それを変数に格納します。
$a = Get-IntelNetAdapter
2. 格納されたアダプターの配列のインデックスを参照することにより、チームを作成します。
New-IntelNetTeam -TeamMembers $a[1],$a[2] -TeamMode
VirtualMachineLoadBalancing -TeamName “Team1”
仮想マシンキューのオフローディング
アダプターのハードウェアはオペレーティング･システムよりも高速でオフロードタスクを実行できるため、VMQ フィ
ルターを有効にすることにより送受信のパフォーマンスが向上します。また、オフロードを行うことで CPU リソースが
開放されます。フィルタリングは、MAC フィルターおよび VLAN フィルターまたはそのいずれかに基づきます。これを
サポートしているデバイスでは、ホスト・パーティション内の VMQ オフローディングが、アダプターの [Device
Manager (デバイス マネージャー)] プロパティー・シートの [Advanced (詳細設定)] タブにある [Virtualization (仮
想)] 設定で有効になっています。
各インテル® イーサネット・アダプターは、VMQ オフローディング、SR-IOV、データセンター・ブリッジング
(DCB)、および Fibre Channel over Ethernet (FCoE) などの様々な機能間で分割される仮想ポートのプールを備えてい
ます。任意の機能で使用される仮想ポートの数を増やすと、それ以外の機能で使用できる仮想ポートの数が減ります。
これをサポートしているデバイス上では、DCB を有効にすると、他の機能に使用できるプールの合計数が 32 に減りま
す。FCoE を有効にすると、このプールの合計数はさらに 24 まで減ります。
注：これは、インテル® イーサネット X710 または XL710 コントローラーをベースにしたデバイスには当ては
まりません。
インテル® PROSet は、デバイスの [Advanced(詳細設定)] タブにある [Virtualization(仮想)] プロパティーに、仮想機
能で使用できる仮想ポートの数を表示します。また、VMQ と SR-IOV でどのように使用可能な仮想ポートを配分するか
を設定できます。
チーム化における注意事項
l 仮想マシンキュー (VMQ) がチーム内のすべてのアダプターに対してオンになっていない場合は、チームの仮想
マシンキュー (VMQ) はオフになります。
l 仮想マシンキュー (VMQ) をサポートしないアダプターがチームに追加されると、チームの仮想マシンキュー
(VMQ) はオフになります。
l 受信ロード・バランシングが有効になっていると、チームに仮想 NIC は作成できません。チームに仮想 NIC を
作成すると、受信ロード・バランシングは自動的に無効になります。
l Hyper-V 仮想 NIC にチームがバインドされている場合、プライマリーアダプターまたはセカンダリーアダプ
ターを変更できません。
仮想マシンの複数のキュー
仮想マシンの複数のキュー (VMMQ) によって、物理ポートに接続された仮想ポートの受信側スケーリング (RSS) が有
効になります。これにより、SR-IOV と VMQ 仮想マシン内で RSS を使用できるようになり、ネットワーク・アダプ
ターに RSS 処理のオフロードを行えます。RSS は、複数の CPU または CPU コア全体で受信トラフィックのバランス
をとります。使用するシステムにプロセッシング ユニットが 1 つのみある場合は、この設定は影響を与えません。
SR-IOV の概要
Single Root IO Virtualization (SR-IOV) は、PCI SIG 仕様であるため、PCI Express デバイスを複数の個別の物理 PCI
Express デバイスとして表示できます。SR-IOV により、仮想マシン (VM) 間で PCI デバイスを効率的に共有できま
す。各仮想マシンに対して独立したメモリ領域、割り込み、および DMA ストリームを提供することで、ハイパーバイ
ザーを使用せずにデータの管理と転送を行います。
SR-IOV アーキテクチャーには、次の 2 つの機能が含まれています。
l 物理機能 (PF) は、フル装備の PCI Express 機能で、他の PCI Express デバイスと同じように、検出、管理およ
び設定が行えます。
l 仮想機能 (VF) は PF と似ていますが、設定は行えず、データの送受信だけが行えます。VF は、単一の仮想マシ
ンに割り当てられます。
注：
l SR-IOV が BIOS で有効になっている必要があります。
l Windows* デバイス・マネージャー用インテル® PROSet をインストールする場合に F2 システム・セッ
トアップで SR-IOV が有効でないときは、[仮想化] ダイアログに [VPort 可用性] が表示されません。シ
ステム BIOS で SR-IOV を有効にして、Windows* デバイス・マネージャー用インテル® PROSet を再
インストールすることで、表示を修正します。
l Linux* でデバイスを VM に直接割り当てる場合は、SR-IOV を正しく機能させるために、I/O メモリー管
理ユニットのサポートを有効にする必要があります。カーネル・ブート・パラメーターの "intel_
iommu=on" および "iommu=pt" を使用して、IOMMU のサポートを有効にします。メモリーを最適に
保護するには、"intel_iommu=on" を使用します。最高のパフォーマンスを得るには、両方のパラメー
ター ("intel_iommu=on iommu=p") を使用します。これらのパラメーターは、/etc/default/grub 構成
ファイルの GRUB_CMDLINE_LINUX エントリーに追加できます。UEFI モードでブートしているシステム
では、grub2-mkconfig -o /etc/grub2-efi.cfg を実行します。レガシー BIOS モードでブートし
ているシステムでは、grub2-mkconfig -o /boot/grub2/grub.cfg を実行します。
NIC パーティション分割
ネットワーク・インターフェイス・カード (NIC) パーティション分割 (NPar) を行うと、ネットワーク・アダプター・
カードの各物理ポートに対して複数のパーティションを作成したり、各パーティションに異なる帯域幅を割り当てたり
できます。ネットワークおよびオペレーティング・システムに対しては、各パーティションはアダプター上の異なる物
理ポートとして振る舞います。これにより、ネットワークの分割や分離を維持しながら、スイッチポート数を減らした
り、配線を簡略化したりできます。また、各パーティションごとに柔軟な帯域幅を割り当てられることで、リンクを有
効に活用できます。
NPar は、Linux* と ESXi、およびバージョン 2012 R2 以降の Windows Server* および Windows Server* Core で使
用できます。
以下のアダプターは、NPar をサポートしています。NPar では、1 つのコントローラーにつき最大 8 個のパーティショ
ンをサポートしていることに注意してください。
l インテル® イーサネット 25G 2P XXV710 アダプター
l インテル® イーサネット 10G 4P X710/I350 rNDC
l インテル® イーサネット 10G 4P x710-k bNDC
l インテル® イーサネット 10G 4P X710 rNDC
l インテル® イーサネット 10G 2P X710-k bNDC
l インテル® イーサネット 10G X710-k bNDC
l インテル® イーサネット・コンバージド・ネットワーク・アダプター X710
l インテル® コンバージド・ネットワーク・アダプター X710-T
l OCP 向けインテル® イーサネット・サーバー・アダプター X710-DA2
注：
l アダプターは NIC (LAN) モードでのみ NPar をサポートしています。
l 以下に、各ポートの最初のパーティションでサポートされているものを挙げます。
l PXE Boot
l iSCSIboot
l 速度とデュプレックスの設定
l フロー制御
l 電力管理設定
l SR-IOV
l NVGRE 処理
l Microsoft* Windows* のリソース制限によって、表示されるポートの数に影響が出る場合があります。
システムに複数のアダプターがインストールされていて、それらのアダプターで NPar または NParEP を
有効にした場合、Windows* デバイス・マネージャーで一部のポートが表示されないことがあります。
l NPAR/NPAR EP モードを変更したときに、NIC パーティション間に最小帯域幅が均等に配布されないこ
とがあります。NPAR/NPAR EP モードを変更した後で最小帯域幅の値を調整することができます。
l インテル® X710 ベースのデバイスの NIC パーティションでは、iSCSI オフロードはサポートされていま
せん。X710 アダプターが、「iSCSI オフロードのサポート」に関して誤って「True」の値を表示しま
す。[NIC パーティション構成] ページで「iSCSI オフロードモード」を有効にすると、iSCSI ストレー
ジ・トラフィックのパーティションが有効になります。
l デバイスが NPAR モードになっているときは、ループバック診断テストはサポートされません。
l Microsoft* Windows* ベースの OS 用にシステムを設定する場合は、インテル® X710 デバイスのパー
ティション構成で iSCSI オフロードモードを有効にしないでください。BIOS で HII を使用して直接有効
にしたり、racadm や WSMAN などのリモート設定を使用して有効にしたりしないでください。
l NPAR を有効にしている場合は、「RSS ロード・バランシング・プロファイル」詳細設定が NUMA ス
ケーリング・スタティックに設定されていることを確認してください。
l デバイスが NPAR モードになっているときは、NVGRE はサポートされません。デバイスで NPAR を有効
にしている場合、NVGRE (Windows* デバイス・マネージャーの [詳細設定] タブの [カプセル化された
タスクオフロード] 設定はサポートされません。
NParEP モード
NParEP モードは、NPar と PCIe* ARI を組み合わせたもので、アダプターの最大パーティション数を 1 つのコント
ローラーにつき 16 個に増やします。
NParEP プラットフォーム・サポート
PCI Express スロット
Dell EMC プラッ
トフォーム
OCP
Mezz
ラック NDC
スロット
1 2 3 4 5 6 7 8 9 10 11 12 13
C4130 は
い
は
い
C4140 いいえ は
い
い
い
え
は
い
C6420 はい は
い
R230 い
い
え
い
い
え
R330 い
い
え
い
い
え
R430 は
い
は
い
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
ページを読み込んでいます...
/