このページの更新は終了しました。

最新の情報はTSUBAME3.0計算サービスのWebページをご覧ください。

TSUBAME2.5からTSUBAME3.0へのデータ移行方法の資料はこちら

TSUBAMEでGPUDirect機能は利用できますか?

NVIDIA GPUDirectには現在Version 1からVersion 3まで3つの機能があります。

Version 1はMPIの送受信バッファにCUDA pinnedメモリやデバイスメモリのアドレスを直接指定することができる機能です。
デバイスメモリのアドレスを指定した場合には実際にはデータがホストメモリ上のバッファを経由して転送されます。
TSUBAMEで利用可能なCUDA対応のMPI環境についてはこちらを参照してください。
- OpenMPI 1.8.2     (OpenMPI 1.8.2についてはこちらのFAQも参照してください)
- MVAPICH2 2.0rc1  (環境変数MV2_USE_CUDA=1を設定する必要があります。)

Version 2はPCI-Expressを経由したGPU間の直接データ転送(P2P)の機能です。
TSUBAMEのThinノードではチップセットを2個搭載しており、GPU0が他のGPU1およびGPU2とは別の
PCI-Expressネットワークに接続されているため、GPUDirect Version 2のP2P転送が可能なのは
GPU1とGPU2の間だけになります。GT200世代のGPUは本機能に非対応なため、
L128,L256,L512の各キューの計算ノードでは使用できません。L128Fキューの計算ノードは
Fermi世代のGPUを4個搭載していますが、同様にチップセットを2個搭載しており、
GPU0とGPU1、GPU2とGPU3の間でのみ本機能が使用できます。

Version 3はホストメモリを介することなくGPUとInfiniBand間で直接データ転送(RDMA)をすることにより
異なるノードのGPU間の高速なデータ転送を実現する機能です。
この機能はConnect-X3以降のInfiniBand HCAを必要としますが、TSUBAMEに搭載されているのは
Connect-X2であるためこのVersion 3の機能は残念ながら利用することができません。