TSUBAME3.0計算サービスのWebページはこちら

TSUBAME2.5からTSUBAME3.0へのデータ移行方法の資料はこちら

TSUBAME2システム構成

システム構成の概要

TSUBAME2.0は東工大学術国際情報センターに2010年秋に導入された理論ピーク性能2.4PFlopsにおよぶ国内最速のスーパーコンピュータです。TSUBAME2にはこれまで本センター運用されてきた種々のスーパーコンピュータ、特に前世代のTSUBAMEであるTSUBAME1.2での運用の経験や基礎研究による種々の知見をもとに設計・構築されたマシンであり、消費電力を維持しつつ大幅な性能向上を実現しています(2006年のTSUBAME1導入時に比べて30倍、直前のTSUBAME1.2に比べて15倍)。その後、2013年9月にGPUを換装する事でTSUBAME2.5へ生まれ変わりました。まず以下にその主なハードウェア的特徴を示します。

M2050GPUアクセラレータの広範な利用 TSUBAME2.5にはNVIDIA社製GPUアクセラレータTesla  K20Xが各計算ノード(Thin)に3枚、全体として4224枚搭載されています。各GPUは2688個のコアおよび6GBのメモリを搭載し、その理論ピーク性能は単精度で3.95TFLOPSに、倍精度では1.31TFLOPSに達します。TSUBAME2.5の各ノードにはIntel Xeon64ビットCPUが2基搭載されていますが、GPUの性能はCPUの数十倍となります。また、これまではCPUのみで利用可能であった種々のアプリケーションのGPU対応が進んでおり(Amber、ABAQUS、Mathematica等)、それらを使う場合はGPUを使うことを特別意識することなくGPUによる大幅な高速化が可能です。

拡充されたノード内メモリおよびネットワークバンド幅 CPUやGPUの計算性能の向上だけでなく、メモリバンド幅やネットワークバンド幅、CPUとGPU間のバンド幅も向上しています。CPUとそのメモリ間の理論ピークバンド幅は1CPUあたり32GB/s、ノード内の2CPUを使うとその倍の64GB/sに達します。GPU側は各GPUあたり150GB/sに達し、CPUとGPU間のバンド幅は8GB/sになります。また、各計算ノードには2本のQDR InfiniBandネットワークが接続されており、合計で10GB/sのバンド幅が利用可能です。

大規模共有ストレージ 各計算ノードからアクセスできる共有ストレージとして高速かつ大容量の並列ファイルシステムと各ユーザのホームディレクトリを提供するファイルシステムが利用可能です。並列ファイルシステム領域およびホーム領域の合計サイズは7ペタバイトになり、双方とも高信頼性を達成するために多重化された構成になっています。

高速ローカルストレージ(SSD) 並列ファイルシステムやホーム領域などの共有ストレージに加えて、各計算ノードには120GBもしくは240GBの高速SSDがローカルストレージとして搭載されています。これは旧来のハードディスクと比べて大幅にそのバンド幅が向上しえおり、共有ストレージとあわせて大規模データ処理を効率的にサポートします。

これらのハードウェア的特徴を持つ TSUBAME2.5は極力TSUBAME1と同様のソフトウェア構成となるように設計されており、これまでと同様のコンパイラ、ライブラリ等が使え、 TSUBAME1のプログラムも再コンパイル程度で多くがそのまま動作可能です。GPUに関しても、新GPUはそのハードウェア性能は旧TSUBAMEマ シンであるTSUBAME1.2で用いられていたTesla S1070に比べて遥かに向上していますが、ソフトウェア的にはこれまでと同様に使うことができ、既存のCUDAプログラムなども再コンパイルによりそ のまま動作させることができます。一方で、TSUBAME1において問題であった点を解消することを主眼として、キュー構成の変更や、仮想化による柔軟な 計算ノードの共有、Windowsのサポートなどの拡張や新規サービスも導入されています。

システム構成の詳細

TSUBAME2.5のハードウェアおよびソフトウェアの構成については以下をごらんください。配布資料のページよりTSUBAMEのスペックシート等をダウンロードする事ができます。