TSUBAME2ハードウェア構成

TSUBAME2.5ではおよそ1400台の計算ノードがフルバイセクションバンド幅の高速なInfinibandネットワークによって接続されています。計算ノードはThin, Medium, Fatの3種類用意されており、それぞれ搭載メモリ量などが異なります。またこれらの計算ノードには合計およそ7ペタバイトの大容量ストレージシステムが接続されており、並列ファイルシステム領域とホーム領域から構成されます。

TSUBAME2システム構成概要

計算ノード

TSUBAME2.5の計算ノードの構成は以下の通りです。

ノード種別 用途 台数 ノードモデル名 CPU GPU メモリ ローカルディスク(SSD) ネットワーク
Thin 通常計算用 1408台 HP Proliant SL390s G7

Intel Xeon X5670 2.93 GHz (6 cores) x 2 (Hyperthreading enabled)

NVIDIA Tesla K20X x 3

PC3-10600
54GB (一部96GB)

120GB[HP 572071-B21×2]
(一部240GB[HP 572073-B21×2])

QDR InfiniBand x 2 (80Gbps)
[HP 592520-B21]
[HP 614841-B21]
Medium 大容量メモリを必要とするジョブ 24台 HP Proliant DL580 G7 Intel Xeon X7550 2.0 GHz (8 cores) x 4 (Hyperthreading enabled)

NVIDIA Tesla S1070(6台)

Tesla S2070(10台)

PC3-10600
128GB
480GB [HP 572073-B21×4] QDR InfiniBand x 1 (40Gbps)
[HP 592520-B21]
Fat 大容量メモリを必要とするジョブ 10台 HP Proliant DL580 G7 Intel Xeon X7550 2.0 GHz (8 cores) x 4 (Hyperthreading enabled) NVIDIA Tesla S1070 PC3-10600
256GB/512GB
600GB [HP 572073-B21×5] QDR InfiniBand x 1 (40Gbps)
[HP 592520-B21]

TSUBAME2.5では上記のとおり3種類の計算ノードを提供していますが、そのほとんどは54GBのメモリを搭載したThinノードです。共有メモリとして54GB以上用いる特定の場合をのぞいて最新GPUを搭載したThinノードをお使いください。Thinノードの計算性能はCPUが2基合計で153GFlops(ターボブースト時)、GPUが3基合計で3.93TFlopsです(CPU、GPU共に倍精度浮動小数点演算性能)。またメモリバンド幅はCPU側が2CPU合算で64GB/s、GPU側が3基合算で750GB/sになります。それぞれハードウェアが出しうる理論ピーク性能であり実際のアプリケーションでの性能はこれに劣りますが、TSUBAME2ではCPU性能に比べてGPU性能を重視した構成になっております。

ストレージ

TSUBAME2ではストレージ領域としてホームディレクトリを提供するホーム領域と大規模データ処理用並列ファイルシステム領域の2種類のストレージ領域が利用可能であり、さらにテープドライブによる遠隔バックアップによる障害対策がとられています。

ストレージ種別 用途 プロトコル 構成 マウント先
ホーム 計算ノードのホームディレクトリ用 (NFS)、学内ストレージサービス (CIFS)、学内ホスティングサービス (iSCSI) NFS, CIFS, iSCSI BlueArc Mercury 100 (一部GRIDScalar) /home
並列ファイルシステム領域 大規模データ処理用、実行時の中間データなどのためのスクラッチ領域

Lustre

GPFS

MDS: HP DL360 G6 x 6, OSS: HP DL360 G6 x 20, DDN SFA 10K x 3, 2TB SATA x 3550, 600GB SAS x 50

/work0

/gscr0

/data0