Windows Server Community Meetup#3
2019/12/07
System Center User Group Japan
後藤 諭史(Satoshi GOTO)
 後藤 諭史( Satoshi GOTO )
 外資系になってしまった某 ISP 所属。
 仮想化製品が主な専門分野です。
が、基本的には雑用係
 Microsoft MVP - Cloud and Datacenter Management
(Jul.2012 - Jun.2020)
 Twitterはこちら
◦ Twitter:@wind06106
2
本セッション資料ですが、個人で準備した環境において、個人的に実施した検証/結果を基に記載しています。
あくまで個人の意見/見解であり、所属する会社/組織及びマイクロソフト社とは『まったく/なにも/全
然』関係がございません。
所属する会社/組織/マイクロソフト社の正式な回答/見解ではない事に留意してください。
また、本資料を閲覧した事により問題が生じた場合、または問題が発生しかけた場合、または生じた一切の不
利益について、発表者は一切の責任を負う事はできませんのでご了承ください。
3
4
5
 TechSummit 2017
Windows “RDMA” Network Deep Dive
◦ YouTubeは限定公開と書いてあるので、
URL割愛
◦ 検索ですぐ出てくる
 SlideShareは以下URL
https://www.slideshare.net/Microsoft_TechSum
mit_2017/japan-tech-summit-2017-cld-003
6
 リモートノードのメモリを直接参照できる仕組み
◦ Remote Direct Memory Access
◦ カーネルのネットワークスタックをスキップするため、ネットワークコピーという概
念がない(ゼロコピー)
 ネットワークカードでハードウェア処理されるため、CPUに優しい
 メモリを直接参照する仕組みゆえに、広帯域が必要で遅延にも敏感なため、
それなりの設備投資が必要
◦ 最低10Gbpsから
◦ それなりのハードウェアが必要
7
RDMA OFF RDMA ON
8
 RDMA over Converged Ethernet (RoCE)
◦ RoCE v1:L2プロトコルとして実装。QoSにCoS(802.1Q VLAN タグ)を使用
◦ RoCE v2:L3プロトコルとして実装。トランスポート層にUDPを使用。
QoSはToS (Differentiated Serviced Code Point (DSCP) )も併用可能
◦ UDPを使用するため、信頼性をQoSで担保する必要があり、経路上のネットワーク機
器の対応が必要
◦ QoSの実現手法として、Data Center Bridging Capability Exchange (DCBX) を利用
 Internet Wide Area RDMA Protocol (iWARP)
◦ RDMA over TCP
◦ トランスポート層にTCPを利用して信頼性を担保。したがって、経路上のQoSは必須
ではなく推奨(なくてもとりあえずは動く)
9
 Mellanox ConnectX-3/4/5
◦ RoCE v1/v2
 Chelsio T520 etc
 Intel X722-DA2/4
◦ iWARP
 Marvell(旧QLogic)
FastLinQ 41000/45000シリーズ
◦ ユニバーサルRDMA (RoCE v1/v2とiWARPの両方をサポート)
10
 Get-NetApapterRDMA
 Get-SmbClientNetworkInterface
11
 Hyper-V over SMB
◦ 「SMB Direct」を利用
 ライブマイグレーションのトランスポーター
◦ 転送方式に「SMB」を選択することで「SMB Direct」を使用可能
 ゲストRDMA
◦ 要 SR-IOV/SET
 HCIにおけるノード間接続ネットワーク
https://docs.microsoft.com/ja-jp/windows-server/storage/storage-spaces/storage-spaces-direct-hardware-requirements
12
 iSCSI Extensions for RDMA(iSER)
◦ iSCSIをRDMAで実装
◦ データ転送をRDMAで実現し、その他は通常のiSCSIと同じ
◦ VMwareなんかで利用可能
 NFS over RDMA
◦ NFSをRDMAで実装
13
14
 仮想NICでRDMAが設定可能に
 SR-IOVと組み合わせることで、ゲストVMでのRDMAも可能
図表引用元:詳解! Windows Server仮想ネットワーク(日経BP社)
15
仮想NIC SETが接続されている物理NIC
16
 SMB Multichannelが無効だと、RDMAは動作不可
 RDMAが動作可能かは『Get-SmbMultichannelConnection』でチェック
RDMA動作不可
RDMA動作可能
17
 データセンターブリッジング
◦ DCBXを使用可能にする機能
◦ 同時にLLDPツールも導入
 LLDPツール
◦ Link Layer Discovery Protocol
◦ 定期的にネイバー(隣接する機器)の
情報を収集するプロトコル
◦ DCBX TLV ユニットの交換に LLDP が使用
されるため、DCBXを使用するうえではLLDP
は必須
◦ LLDPを使用して優先順位ベースのフロー制御
(PFC) や拡張伝送選択 (ETS) などのDCB機能
を、ネットワーク機器とサーバー間で共有
18
Priority Flow Control設定
19
20
 Microsoftの推奨は、今のところiWARP
 ネットワーク機器のコストや設定の容易性からすると、iWARP
◦ インスタントでもそれなりに動く
◦ それなりの機器でも動く(DCBX非対応の普通の10Gbps L2 Switchでも動作可能)
◦ TCP……重いよね……(個人差があります)
 パフォーマンス命ならRoCE
◦ ただし、DCBX対応機器とUDPをパケロスさせないQoSと、設定に負けない強い心が必要(個人差が(ry)
21
22
 仮想化環境において、ちょっとした投資で大きな効果が得られる可能性が
 Azure Stack HCIをはじめとするHyper Converged Infrastructure環境では、RDMAの知識
は必須ともいえます
 とりあえず、ためしてガッテンしてください
23
 収束ネットワークインターフェイスカード (NIC) 構成ガイダンス
https://docs.microsoft.com/ja-jp/windows-server/networking/technologies/conv-nic/cnic-top
 データセンターブリッジング(DCB)
https://docs.microsoft.com/ja-jp/windows-server/networking/technologies/dcb/dcb-top
 リモート ダイレクト メモリ アクセス(RDMA)スイッチ埋め込みチーミング(SET)
https://docs.microsoft.com/ja-jp/windows-server/virtualization/hyper-v-virtual-switch/rdma-and-switch-embedded-teaming
 [Japan Tech summit 2017] CLD-003 Windows “RDMA” Network Deep Dive
https://www.slideshare.net/Microsoft_TechSummit_2017/japan-tech-summit-2017-cld-003
24

Windows Server Community Meetup#3:Windows RDMA Networking for Windows Server 2019 Hyper-V