Contents

Previous Topic

2. TSUBAME2.5 概要

Next Topic

4. システムの利用

3. 利用環境

ユーザーが利用可能な環境イメージを以下に示します.

_images/riyou.png

操作イメージは次の通りとなります.

1.TSUBAME2.5環境へのログイン

ユーザ端末からインタラクティブノードにssh接続し,ログインを行います. インタラクティブノードではプログラム開発,デバッグ,ジョブの投入などを行います.

【重要】
学外から接続する場合は鍵認証のみ有効となっているため,TSUBAME2.5利用ポータルを利用して鍵の アップロードを行ってください.学内から接続する場合は鍵認証とID/Passwdが有効になっています.
2.プログラム開発/デバッグ
プログラム開発環境として,IntelCompiler,PGI Compiler,GCCが利用可能です. またGPUプログラム開発環境としてCUDAを利用することが可能です.開発環境の詳細に 関しては 3.2 利用環境 をご参照ください.
3.バッチジョブの投入
t2subコマンドを利用して,開発したプログラムをバッチシステムに投入します. バッチシステムには利用用途に合わせて複数のキューをご用意しております. 利用できるリソース,キュー構成の詳細に関しては 3.1 利用できるリソース をご参照ください.
4.バッチジョブの状況確認
t2statコマンドを利用して,バッチシステムに投入したプログラムの状況確認を行います. 詳細に関しては 4.5.4 ジョブの状態確認 をご参照ください.
5.結果確認
ジョブが終了すると,実行結果ファイルが生成されますので,実行結果を確認します. 詳細に関しては 4.5.5 ジョブの結果確認 をご参照ください.
6.その他
  • プログラムが生成する一次ファイルの保存先として並列ファイルシステム領域とローカルディスク(SSD)が利用できます. 並列ファイルシステム領域の利用方法については 4.6.3 work をご参照ください. 共有スクラッチの利用方法については 4.6.4 共有スクラッチ , またローカルSSDの利用方法については 4.6.5 ローカルスクラッチ をご参照ください.
  • Sキューなどのノード占有系の場合,ノード確保している期間はそのユーザのみログイン可能です.
  • Hキューでは予約したTSUBAMEグループのメンバーがログイン可能になります.

※ システム利用の詳細に関しては 4. システムの利用 をご参照ください.

3.1 利用できるリソース

TSUBAME2.5の資源は基本的に全て使用できますが,制限がいくつか存在します.

3.1.1 インタラクティブノード

ログインマシンにリモートログインをすると,負荷分散されてインタラクティブ用の計算ノードのどれかに着地します. ここで,デバック,ジョブの投入準備などを行います

また,障害によりログインできない場合は,次もお試しください.

login-t2-1.g.gsic.titech.ac.jp
login-t2-2.g.gsic.titech.ac.jp

3.1.2 インタラクティブノードでの制限

インタラクティブノードでは,以下の制限があります.

  1. ユーザーあたりの利用メモリ 6GB
  2. ユーザーあたりのプロセス数 4
  3. ユーザーあたりのディスク使用量は /home=25GB, /work0,1 = 30TB/group , /data0 = 30TB/group
  4. CPU連続利用時間は 30分
  5. 1時間利用がない場合は接続を切断

3.1.3 バッチノード

バッチノードとして,1382ノードが用意されています. 各キューは,利用目的に合わせて選択してご利用いただけます. 有料サービスを利用するためには,TSUBAMEグループの作成を行い, サービスを購入する必要があります. TSUBAMEグループの作成,サービス購入に関しては TSUBAME2.5利用ポータル_利用の手引 を参照してください.

サービス キュー名 用途 ノード/コア/スレッド数 時間制限 メモリ制限 並列数上限 備考/マシンタイプ
無料 インタラクティブノード デバック,ジョブ投入 20/240/480 30分 6GB 4 (※11)/Thin
従量課金 S 中規模並列 300/3600/7200 (※15) 1~4日 1GB(※4)(54GBまで) 7200 (※16)/Thin
従量課金 S96 54GB以上のメモリ 39/468/936 1~4日 1GB(※4)(96GBまで) 936 (※5)/Thin
従量課金 L128 96GB以上のメモリ 利用できません 1~4日 1GB(※4)(128GBまで) 512 (※6)/Medium
従量課金 L128F 96GB以上のメモリ/GPUあたり6GBのメモリ 利用できません 1~4日 1GB(※4)(128GBまで) 640 (※6)/Medium
従量課金 L256 128GB以上のメモリ 8/256/512 1~4日 1GB(※4)(256GBまで) 512 (※7)/Fat
従量課金 L512 256GB以上のメモリ 2/64/128 1~4日 1GB(※4)(512GBまで) 128 (※8)/Fat
従量課金 G GPU専用(※17) 435/1740/3480 1~4日 1GB(※4) 無制限 (※9)G側でコア指定は不可能/Thin
従量課金 U (※18) GPUを使わない計算 195/1560/3120 (最大) 1~4日 1GB(※4) ジョブ量により可変 (※10)仮想環境
定額課金 V (※18) GPUを使わない計算 (ノード内並列) 385/3080/6160 (最大) 1~4日 1GB(※4) 割当による(※12) 仮想環境 (共有)
定額課金 Vw WindowsHPC(※1) 40(※14) 1~4日 1GB(※4) 割当による(※13) 仮想環境
定額課金 Sw WindowsHPC(※1) 8(※14) 1~4日 1GB(※4) 192 native/Thin
予約(従量) H(※3) 大規模並列 420/5040/10080 スロット時間 1GB(※4) 10080 予約期間はssh接続可能 (※16)/Thin
  pool(※2) 動的配置 107/1284/2568        
  X(※16) Sキューの混雑緩和   ~23時間     Hに予約が無い時

表中の注釈(※番号)については次の通りですので,確認してください.

  1. 事前の利用準備が必要です.

  2. 利用状況に応じて動的に配置されます.

  3. 利用するためには事前に予約システムでスロットの予約を行う必要があります. (最小ノード数:16ノード,最大スロット数:7) 予約方法に関しては TSUBAME2.5利用ポータル_利用の手引 を参照してください.

  4. 「mem」オプションで変更可能です.詳細は 5.5 メモリサイズの指定 を参照ください.

  5. Sに対して1.2倍の課金がかかります(使用時間に1.2倍の係数がかかります).

  6. 利用できません   Sに対して2倍の課金がかかります(使用時間に2倍の係数がかかります).

  7. Sに対して4倍の課金がかかります(使用時間に4倍の係数がかかります).

  8. Sに対して8倍の課金がかかります(使用時間に8倍の係数がかかります).

  9. Sに対して50%の課金で利用できます.(使用時間に0.5倍の係数がかかります).

  10. Sに対して70%の課金で利用できます.(使用時間に0.7倍の係数がかかります).

  11. 経過時間ではなくプロセスごとのCPU時間が最大30分となります.

  12. 1ユニットあたり64CPU(64並列または64本のシングルジョブ)となります.

  13. 1ユニットあたり24CPU(24並列または24本のシングルジョブ)となります.

  14. 別途用意されている TSUBAME2.5 windows環境利用の手引 をご参照ください.

  15. ジョブの混雑状況に応じて割り当てが増える場合があります.

  16. Sキューに投入されたジョブのうち,翌日9時までに終了するアレイ以外のジョブはXキューとして, Hキューの予約が無いマシンに割当てます.(Xキューは通常は見えません) 3.1.7 Xキューの利用 を参照ください.

  17. GキューでGPUを使用していないジョブは,実行してはいけません.実行していた場合削除します.

  18. VキューとUキューは混雑状況により資源量が増減します.

    Vキューマシンに空きがあり、Uキューに待ちが出た場合、VからUにマシンが移動します. Vキューの最低台数は、200ノード、Uキューの最低台数は10ノードになっており、Vキュー優先でマシン数が増減します.

※ Sキューでは2ノード,10分まで,Vキューでは2並列,10分まで試験実行で使用することがてきます.

ノードのユーザーへの割り当て方法によって,占有ノードと共有ノードの2種類に分けられます.

  1. 占有ノード

    各ノードは,1つのジョブによって占有されます.1つのジョブが複数のノードを使用することも可能です. U,S, L128,L128F, L256,L512,S96,Gキューおよび予約キューのノードが該当します.

  2. 共有ノード

    各ノード内で,リソースが許す範囲で不特定多数のユーザーによる複数のジョブが実行されることがあります. 1つのジョブが複数のノードを使用することも可能です. Vキューのノードが該当します.

3.1.4 バッチキューでの制限

バッチキューでは,以下の制限があります.

  1. ユーザーあたりの利用メモリ

  2. ユーザーあたりのプロセス数

  3. ユーザーあたりのディスク使用量は /home=25GB, /work0,1 = 30TB/group , /data0 = 30TB/group

  4. CPU連続利用時間

  5. ユーザーあたりのバッチのジョブ投入本数(キュー別)

    マシンの混雑状況により変更になる場合もありますが,目安は次の通りです.

    • 各キュー共 10000本
  6. 同時実行数の制限

    キューにより制限が設定されています.

    • Vキュー(定額課金) —— 1ユニットあたり64CPU (課金グループあたり)

    • S/G/Uキュー(従量課金) —- 30ジョブ(ジョブ本数:CPU数の制限はありません)

      ※Uキューのジョブ数制限は稼働状況により変化します(2016.4.1現在は同時実行数=30)

    • Hキュー(従量課金) —– 制限はありません

  7. ジョブの種類による制限

    GキューはGPU専用のため,CPUのみのジョブ実行は禁止しております. CPUのみのジョブを実行していた場合,管理者が削除します.

3.1.5 ノード内並列数

バッチキューのノード内で使用できるスレッド数はキューによって異なります.

キュー名 コア数 仮想コア 備考
S 12 24  
V / U 8 16 (仮想環境)
L(256-512) 32 64  

 ※仮想コアとは,ハイパースレッドを使用するという意味で表現しています.

OpenMP等を使用した場合のノード内スレッド数の上限は仮想コア数になりますが, 最適なスレッド数は実コアと仮想コアの間にあります.例えばVキューの場合は8から16です. 最も効果の高いスレッド数は,使用するアプリケーションの演算密度に左右される為, 事前の試験計算で性能を検証してからスレッド数を決定することをお勧めします.

3.1.6 制限一覧

TSUBAME2.5を利用する際に発生する各種の制限を一覧にしました.

1.リソースの制限(バッチ構成)

キュー名 メモリ —— -node- —— SSD GPU  
` ` (GB)(※1) 数(※2) core threads (GB)    
S 53 300 12 24 50 3(K20X)  
U 23 10-195 8 16 10 —-  
V 23 200-385 8 16 10 —-  
G 25 435 4 8 30 3(K20X)  
S96 94 39 12 24 160 3(K20X)  
L128 126 0 32 64 400 4(S1070)  
L128F 126 0 32 64 400 4(S2070)  
L256 252 8 32 64 500 4(S1070)  
L512 504 2 32 64 500 4(S1070)  
Vw 23 40 8 16 10 —-  
Sw 53 8 12 24 50 3(K20X)  
H(X) 53 420 12 24 50 3(K20X)  
インタ(※3) 6 20 12 4 50 3(K20X)  
※ 1 PBSで識別する最大値です.
これより1GB程度少ない数字程度を利用の目安にしてください.
※ 2 障害等で減少している場合があります.
季節運用等で数が変化する場合もあります.センターニュースを確認ください. U/Vはジョブ本数で増減します.3.1.8 項を参照ください.

※ 3 インタ(インタラクティブ)は4procs,連続実行 30分まで.

2.ストレージ

デバイス 制限
/home および /nest2 システム全体で各25GB
/work0 30TB(ただし購入口数による) (最大容量 500TB)
/work1 30TB(ただし購入口数による) (最大容量1300TB)
/data0 新規利用はできません 30TB(ただし購入口数による) (最大容量 750TB)
SSD 上記一覧参照(バッチ以外からのアクセス不可)
/gscr0 制限なし(最大容量114TB) (バッチ以外からのアクセス不可)
最大ファイルサイズ 2TB (ただし,stripe指定により拡大可能)
最大ファイル数 なし
ファイル名等の制限 TSUBAMEで設定する制限はない(Linux(SLES11)準拠)

3.バッチ関連

項目 制限
アレイジョブの最大アレイ数 10000 (TSUBAMEポイント範囲内)
ジョブの投入本数 10000 本 (Sの場合は加えてTSUBAMEポイント残高範囲内)
同時実行数 vキューはグループあたりの口数 : Sキュー/Gキューは 30本(並列数ではなく,ジョブ本数)
isv アプリ http://tsubame.gsic.titech.ac.jp/applications を参照
アカウント名 20文字(ポータルで自動処理)
グループ名 20文字(t2gの接頭語を含む9~20文字)

3.1.7 Xキューの利用条件

XキューとはHキューにおいてその日予約の無かった計算ノードを集めて利用するキューです.ノードの利用率向上と Sキューの混雑緩和を目標としています.TSUBAMEポイント計算式は次の通りです.

  • 以下をすべて満たしたジョブのみXキューで実行されます.

    • Sキューを指定すること.

    • 前回のXジョブ投入から5秒以上経過していること.(連続投入はできません)

    • 投入時刻が午前9時から午前10時の間以外であること.

    • 投入時にXキューに即実行を開始できるだけの十分なノード数が空いていること.

    • アレイジョブ,ノードの直接の指定,依存ジョブ(-W dependを指定したジョブ)を利用していないこと.

    • 投入時にジョブの実行時間(walltime)が翌午前9時までの時間より短い時間が指定されていること.

      • (例) 24時に投入する場合は,9時間より短い時間を指定.
  • 課金方法や課金額はSキューと同等です.

  • Sキュー同様,実行中はノードを占有します.

  • ノード環境はHキュー(≒Sキュー)と同等です.

  • 予約が無い状態が連続する場合でも,午9時をまたぐジョブは投入・実行されません.

  • Xキューでジョブが実行されていても,t2stat画面ではSキューとして表示されます. 通常,Job idに「.t2zpbs05」が含まれている場合Xキューで動作している事になります.

  • Xキューへのジョブ投入を明示的に指定することができません.

  • 1ジョブあたりの最大並列数はその時点でのSキューのサービスノード数となります.

  • 午前9時から午前10時の間はXキューを利用できません.

  • 一度Sキューにキューイングされたジョブ(.t2zpbs01のリストに表示されたジョブ)は 自動では再度Xキューへ投入されませんので, うまくXキューで実行されなかった場合は時間を空けて再投入する事をおすすめします.

3.1.8 U / V キューの動的資源移動

UキューとVキューは仮想環境マシンで構成されており,ジョブの実行待ち状況により動的に所属するキューを変更します.

基本構成は

仮想マシンの最大提供数は 385
   Vキューの最低稼働数は 200
   Uキューの最低稼働数は  10

にセットされています。

次の条件にあたる場合に所属を変更します.

  • Uキューに待ちジョブがあり,Vキューに待ちが無い(ホールドはカウントしません)状態の場合, Vキュー所属のマシンを待ち数分だけUキューに移動します. ただし,最低稼働数を割り込まない数が限界値になります.
  • Vキューに待ちジョブがある場合,UキューからVキューへ移動します.
  • Vキューの動作が優先されます.
  • 切り替え判定は 毎時0分(1日24回),切り替え実施は 10分おきに 確認して,切り替えを実施します.チェック時にジョブが動作している場合は,そのノードは切り替えません.
  • arrayジョブは1本のジョブとみなし,”B”:処理中 の状態では 未実行が残っていても待ちとしては扱いません.

3.2 利用環境

3.2.1 開発環境

利用可能なコンパイラについては次の通りです.

  1. コンパイラ

    Intelコンパイラ: ifort    , icc
    PGIコンパイラ  : pgf95    , pgcc
    GNUコンパイラ  : gfortran , gcc
    

3.2.2 MPI環境

MPIの動作環境はキューによって異なります.

  • 従量課金 — S,S96,G,H,X, L128,L128F ,L256,L512

    IBに対応している,openmpi または mvapich2 を使用してください.

  • 従量課金 — U

    IBが利用できない環境ですので,mpich2を使用してください.

  • 定額課金 — V

    IBが利用できない環境ですので,mpich2を使用してください.

利用可能なMPIライブラリは次の通りです. (※これらは,環境変数を使用するか,シェルスクリプトにより切り替えます.)

  1. OpenMPI

    この環境はUキュー以外の従量課金キューでMPIプログラムを実行する場合に使用します.

    • OpenMPI1.6.5+intel

      export PATH=/usr/apps.sp3/mpi/openmpi/1.6.5/i2013.1.046/bin:$PATH
      export LD_LIBRARY_PATH=/usr/apps.sp3/mpi/openmpi/1.6.5/i2013.1.046/lib:$LD_LIBRARY_PATH
      
    • OpenMPI1.6.5+pgi

      export PATH=/usr/apps.sp3/mpi/openmpi/1.6.5/p17.1/bin:$PATH
      export LD_LIBRARY_PATH=/usr/apps.sp3/mpi/openmpi/1.6.5/p17.1/lib:$LD_LIBRARY_PATH
      
    • OpenMPI1.6.5+gnu

      export PATH=/usr/apps.sp3/mpi/openmpi/1.6.5/g4.3.4/bin:$PATH
      export LD_LIBRARY_PATH=/usr/apps.sp3/mpi/openmpi/1.6.5/g4.3.4/lib:$LD_LIBRARY_PATH
      

    ※デフォルトでは,OpenMPI1.6.5+intelにパスが設定されています.

  2. MVAPICH2

    この環境はUキュー以外の従量課金キューでMPIプログラムを実行する場合に使用します.

    • MVAPICH2.0rc1+intel

      export PATH=/usr/apps.sp3/mpi/mvapich2/2.0rc1/i2013.1.046_cuda7.5/bin:$PATH
      export LD_LIBRARY_PATH=/usr/apps.sp3/mpi/mvapich2/2.0rc1/i2013.1.046_cuda7.5/lib:$LD_LIBRARY_PATH
      
    • MVAPICH2.0rc1+pgi

      export PATH=/usr/apps.sp3/mpi/mvapich2/2.0rc1/p17.1_cuda7.5/bin:$PATH
      export LD_LIBRARY_PATH=/usr/apps.sp3/mpi/mvapich2/2.0rc1/p17.1_cuda7.5/lib:$LD_LIBRARY_PATH
      
    • MVAPICH2.0rc1+gnu

      export PATH=/usr/apps.sp3/mpi/mvapich2/2.0rc1/g4.3.4_cuda7.5/bin:$PATH
      export LD_LIBRARY_PATH=/usr/apps.sp3/mpi/mvapich2/2.0rc1/g4.3.4_cuda7.5/lib:$LD_LIBRARY_PATH
      

    ※デフォルトでは,パスは設定されていませんので,利用者で設定してください.

【重要】

MVAPICH2をMulti-railで動作させる場合,次の環境変数を .bashrc に追加してください.

export MV2_NUM_HCAS=2

とすることで通信性能を向上できます.(通信によっては変化しない場合もあります)

※各計算ノードに接続されているInfiniBandが複数用意されているネットワークをmulti-railと呼びます. (Thinノードは2本づつ接続されています)

  1. MPICH2

    この環境は仮想マシン(U/Vキュー)でMPIプログラムを実行する場合に使用します.

    • MPICH2+intel

      export  PATH=/usr/apps.sp3/mpi/mpich2/3.1/i2013.1.046/bin:$PATH
      export LD_LIBRARY_PATH=/usr/apps.sp3/mpi/mpich2/3.1/i2013.1.046/lib:$LD_LIBRARY_PATH
      
    • MPICH2+pgi

      export  PATH=/usr/apps.sp3/mpi/mpich2/3.1/p17.1/bin:$PATH
      export LD_LIBRARY_PATH=/usr/apps.sp3/mpi/mpich2/3.1/p17.1/lib:$LD_LIBRARY_PATH
      
    • MPICH2+gnu

      export  PATH=/usr/apps.sp3/mpi/mpich2/3.1/g4.3.4/bin:$PATH
      export LD_LIBRARY_PATH=/usr/apps.sp3/mpi/mpich2/3.1/g4.3.4/lib:$LD_LIBRARY_PATH
      

    ※デフォルトでは,パスは設定されていませんので,利用者で設定してください.

    ※ mpich2-1.5 以後メモリの使用方法に変更がありPBSの使用メモリ量を過小評価する場合があります。

3.2.3 MPI環境の切り替え

MPI環境ライブラリをopenmpiからmvapich2/mpich2ベースに変更することができます. 下記の例では,MVAPICH2+pgiに変更しています. あるいは,source コマンドにより set_mvp-2.0rc1_p17.1_cuda7.5.sh を実行することにより,mpif90のパス環境を変更します.

> pgf90 (pgiのデフォルトは17.1です)
> mpif90 --> pgf90+mvapich2
> export PATH=/usr/apps.sp3/mpi/mvapich2/2.0rc1/p17.1_cuda7.5/bin:$PATH
> export LD_LIBRARY_PATH=/usr/apps.sp3/mpi/mvapich2/2.0rc1/p17.1_cuda7.0/lib:$LD_LIBRARY_PATH

デフォルトに戻す場合は,source コマンドによりset_ompi-1.6.5_i2013.1.046.sh を実行します.

3.2.4 環境切り替えシェル

環境を切り替えるシェルは,env 内に収められており, 既にパスが通っていますので,次のようにコマンドを発行してください.

> source set_ompi-1.6.5_i2013.1.046.sh          --  デフォルト(openmpi + intel)
> source set_ompi-1.6.5_p17.1.sh                --  openmpi + pgi
> source set_ompi-1.6.5_g4.3.4.sh               --  openmpi + gcc
> source set_mvp-2.0rc1_i2013.1.046_cuda7.5.sh  --  mvapich2 + intel
> source set_mvp-2.0rc1_p17.1_cuda7.5.sh        --  mvapach2 + pgi
> source set_mvp-2.0rc1_g4.3.4_cuda7.5.sh       --  mvapich2 + gcc
> source set_mpch-3.1_i2013.1.046.sh            --  mpich2 + intel
> source set_mpch-3.1_p17.1.sh                  --  mpich2 + pgi
> source set_mpch-3.1_g4.3.4.sh                 --  mpich2 + gcc
(/usr/apps.sp3/env)

※パスが累積されていきますので,定期的にクリア(再ログイン等)してください.

3.3 アプリケーション

アプリケーションは,ISV (Independent Software Vendor)提供のソフトウェアと free で提供されているアプリケーションが利用できます. ISVとして利用できるアプリケーションの一覧を 7. ISVアプリケーション(一部利用ユーザ制限あり) に用意していますので参照ください.freeの場合は 8. free アプリケーション を参照してください.

また,バージョンの異なるアプリケーションもご利用いただけます.バージョンについては, 利用可能アプリケーション を参照してください. 利用の切り替えなどの操作は,アプリケーション別の利用の手引きを参照ください.

3.3.1 ISV アプリケーション

ご利用いただけるisvアプリケーションは次の通りです.

アプリケーション名 バージョン GPU対応状況 概要
PGI CDK 17.1 OK コンパイラ,デバッガ,開発支援ツール群
Intel Compiler 2013.1.046 no インテルコンパイラ(64/32bit用)
ABAQUS Standard/Explicit 6.14-2 OK 有限要素法による汎用構造解析プログラム
ABAQUS/CAE 6.14-2 - ABAQUS モデリング/ビジュアライゼーション環境
MD NASTRAN 2016.1 OK 有限要素法による構造解析ソフトウェア
PATRAN 2016 CAE環境統合プリ・ポストソフトウェア
Gaussian 16 A.03 分子軌道計算プログラム
GaussView 6.0.16 Gaussian のためのグラフィカルユーザーインターフェース
TCP-Linda(Gaussian 用) 8.2 並列計算プログラミングツール
Molpro (2015.3 サービス終了) 非経験的分子軌道計算プログラム
AMBER 16 Update1 OK モデリングおよび分子力学と動力学計算シミュレーションプログラムのパッケージ
Materials Studio 8.0 SP1 材料分野向け総合シミュレーションソフトウェア
Discovery Studio 4.5 タンパク質3次元モデリング・機能解析ソフトウェア
Scigress (2015.3 サービス終了) 材料開発を支援する,計算化学の統合プラットフォーム
AVS/Express 8.3 汎用可視化ソフトウェア
AVS/Express PCE 8.2 大規模データのクラスタ対応並列可視化ソフトウェア
EnSight (2015.3 サービス終了) 汎用科学技術計算結果可視化ソフトウェア
Mathematica 10.3 OK 数式処理機能とグラフィック表示機能を融合した数式処理システム
Maple 18.01 OK 数式処理システム
ANSYS FLUENT 17.2 OK 流体計算
MATLAB R2016b OK 数理処理
LS-DYNA R8.0.0 構造解析
Total View Debugger 8.14.1-8 OK GUIベースのソースコードデバッガー

※GPU対応状況で日付が入っているものは,ISVベンダの予定であり,実際のリリースは異なる場合があります.

3.3.2 free アプリケーション

ご利用いただけるfreeアプリケーション,デフォルトバージョンは次の通りです. 最新版を利用できる場合もありますので 8. free アプリケーション を参照ください.

アプリケーション名 バージョン 概要
Platex ptetex3-20090610+tetex-3.0 日本語対応Tex/Latex環境
Tgif 4.2.2 free 2D ドローイングツール
Tinker 6.2.01 分子力場計算プログラム
GROMACS 4.0.7 分子動力学計算プログラム
POV-Ray 3.7rc7/3.50C 3DCG ソフト
GAMESS 25 Oct 2012 非経験的分子軌道法プログラム
ImageMagick 6.4.3.6 画像表示と画像処理
fftw 3.2.4 C 用のライブラリ
R 3.1.0/2.11.1 オープンソースの統計解析システム
GnuPlot 4.6.5 コマンドラインから使用する2D,3Dプロッタ

※ パスは /usr/apps.sp3

3.3.3 実験的サービス

TSUBAME2.5上に導入されているisv,free に含まれないソフトウェアを実験目的で導入しています。 こちらは試験的な運用であり、正式なサポートはありません。 以下のようなアプリケーションがあります。

  • Score-P
  • GXP
  • BLCR
  • GCC
  • Python
  • Cmake
  • ディープラーニング(Caffe,Theano,Chainer)
  • OpenCV
  • PAPI
  • MUST
  • Exana

詳細につきましては、 実験的サービス を参照ください。

3.4 GPU利用環境

TSUBAME2.5では,GPUを利用しやすい環境が構築されています.

3.4.1 インタラクティブ

全てのインタラクティブノードでGPUを利用できます.次のようにログインします.

ssh login-t2.g.gsic.titech.ac.jp -l login_name

プログラムの開発に関しては, 6. プログラミングと環境 を参照ください.

3.4.2 バッチキューへのジョブ投入

GPUを利用できるキューとしては, S , S96, G ,L128F , H, X が cuda7の環境で, L128, L256, L512がcuda6.5の環境を 選択できます. (U,V, VwキューではGPUは利用できません).各キューは次のような特徴があります.

キュー ノード数 構成 cuda バージョン
S 300 標準Thinノードで12core+3GPU環境です. 7.5
L128F 10 GPU専用Mediumノードで 32core+4GPUで構成されています. 7.0
G 435 GPU専用ノードで 4core+3GPUで構成されています. 7.5
H 420 標準Thinノードで構成されており,大規模予約キューになります. 7.5
L128,L256,L512   32core+4GPU(S1070)で構成されています. 6.5

バッチキューの利用にあたりましては, 5. PBSによるジョブの投入 を参照ください.

また,GPUはノード内に3セット(L128Fは4セット)用意されていますので,シングルジョブでも同時実行が可能です. 5.3.5 同時実行ジョブ を参照ください.

3.4.3 GPUを使用した大規模並列

Gキューは480ノード用意されておりますのでGPUを使用した大規模並列には,こちらをご利用ください.

Sキューとの比較を以下に示します.

キュー 構成 メモリ ノード数 課金係数
S 12core+3GPU 54GB 300 1
G 4core+3GPU 22GB 435 0.5
【重要】
GキューはGPU専用のため,CPUのみのジョブ実行は禁止しております. CPUのみのジョブを実行していた場合,管理者が削除します.

3.4.4 対応アプリケーション

現在のGPU対応アプリケーションは次の通りです.(2015.4.2現在)

他のアプリケーションにつきましても,順次展開してまいります.

3.4.5 cuda7対応のMPI環境

cuda7.5版に対応したMPI環境を用意しております。次のように環境を切り替えてご利用ください。

  1. openmpi+gcc

    export PATH=/usr/apps.sp3/mpi/openmpi/1.8.2/g4.3.4_cuda7.5/bin:$PATH
    export LD_LIBRARY_PATH=/usr/apps.sp3/mpi/openmpi/1.8.2/g4.3.4_cuda7.5/lib:$LD_LIBRARY_PATH
    
  2. openmpi+pgi

    source /usr/apps.sp3/isv/pgi/pgiset17.1.sh
    export PATH=/usr/apps.sp3/mpi/openmpi/1.8.2/p17.1_cuda7.5/bin:$PATH
    export LD_LIBRARY_PATH=/usr/apps.sp3/mpi/openmpi/1.8.2/p17.1_cuda7.5/lib:$LD_LIBRARY_PATH
    
  3. openmpi+intel

    export PATH=/usr/apps.sp3/mpi/openmpi/1.8.2/i2013.1.046_cuda7.5/bin:$PATH
    export LD_LIBRARY_PATH=/usr/apps.sp3/mpi/openmpi/1.8.2/i2013.1.046_cuda7.5/lib:$LD_LIBRARY_PATH
    
  4. mvapich2+gcc

    export PATH=/usr/apps.sp3/mpi/mvapich2/2.0rc1/g4.3.4_cuda7.5/bin:$PATH
    export LD_LIBRARY_PATH=/usr/apps.sp3/mpi/mvapich2/2.0rc1/g4.3.4_cuda7.5/lib:$LD_LIBRARY_PATH
    
  5. mvapich2+pgi

    source  /usr/apps.sp3/isv/pgi/pgiset17.1.sh
    export PATH=/usr/apps.sp3/mpi/mvapich2/2.0rc1/p17.1_cuda7.5/bin:$PATH
    export LD_LIBRARY_PATH=/usr/apps.sp3/mpi/mvapich2/2.0rc1/p17.1_cuda7.5/lib:$LD_LIBRARY_PATH
    
  6. mvapich2+inteli

    export PATH=/usr/apps.sp3/mpi/mvapich2/2.0rc1/i2013.1.046_cuda7.5/bin:$PATH
    export LD_LIBRARY_PATH=/usr/apps.sp3/mpi/mvapich2/2.0rc1/i2013.1.046_cuda7.5/lib:$LD_LIBRARY_PATH
    

3.5 目的別環境の選択

3.5.1 大規模並列環境(Hキュー)

並列環境としては,中規模並列キューとして,Sキューが300ノード用意されており理論上最大300ノードまでの利用が可能です. (ジョブの混雑状況によりノード数が増加する場合もあります) 1ノードあたり,12coreを実装していますので,3600並列(core)のジョブの実行が可能です. また,このcoreはハイパースレッドを実装していますので,演算密度があまり高くないジョブであれば, ハイパースレッドを利用して並列数を倍化することも有効になります. スレッドの利用に関しては,事前に確認をお願いします.

128ノードを超える大規模並列に関しては,原則,Hキューをご利用ください. このキューは予約制ですので,事前の手続きが必要となります.

予約期間の最小単位を「スロット」と呼びます.1スロットは朝10:00から翌日の朝9:00の23時間です.スロットは「YYYY-MM-DD」の形で表現されます. 「2012-01-10」のスロットを予約した場合は2012年1月10日10:00から2012年1月11日9:00の23時間が利用できます.

毎日朝9:00から朝10:00の1時間はメンテナンスが行われ利用できませんが,一回の予約で連続したスロットを予約した場合は途切れることなく, 最終スロットまで連続して利用する事が出来ます.例えば「2012-01-10」から「2012-01-12」を予約した場合は,分割された23+23+23時間ではなく, 連続した71時間利用できます.

以下にHキューの特徴を表にしました.

項目 仕様 備考
予約操作 スロット開始1時間前まで 当日9時まで
予約キャンセル 開始の24時間前まで 前日のAM9時まで
一覧の更新 午前 9 時 予約可能日の一覧が更新されるタイミング
連続予約日数 最大1週間 7スロット
並列数制限 最小並列16ノード 16ノード以下は予約できません.
障害時の補償(※) ポイント返却 システムが原因の場合
予約制限 実行中のスロット+予約可能範囲内で,予約されている ノード日合計がTSUBAMEグループあたり600ノード日まで 380ノード×14日=5320ノード日の10%
キューの最大実行時間 1日 最大実行時間は予約した期間になります.
早期予約 8日~14日前 TSUBAMEポイントの消費が2倍

※ Hキューでは保証のため無償で予備ノードが付きます.

  • 故障等による影響を最小にするため,ノード数に応じてあらかじめ予備ノードが確保されます.

  • 予約ノード数と予備ノード数の関係は以下の通りです.32台毎に2台ずつ増加します.

    予約ノード数

    16~32

    33~64

    65~96

    ・・・

    予備ノード数

    2

    4

    6

    ・・・

  • 予約画面上では予備ノード数は確認できません.

  • 予備ノードは故障発生の有無にかかわらず利用することが可能です.

  • 予備ノード分,追加でTSUBAMEポイントが消費されることはありません.

  • システムが障害を検知できた場合,故障ノードは自動でt2subの対象から外されます.(検知は2時間おきに行われます)

  • システムが障害を検知できなかった場合,t2subで故障ノードへジョブがアサインされてしまうのでセンターへご連絡くだ さい.土日祝日,時間外等で対応できない場合は,以下の方法で障害ノードを一時的に利用できなくすることが可能です.

  • 予備ノード台数を超える障害が発生し,すぐに復旧ができなかった場合は,TSUBAMEポイントの補償を行います.

3.5.2 大容量メモリ

大きなメモリーが必要な場合は, L128, L256,L512キューをご利用ください. ノードあたりの利用可能メモリが段階的に大きくなり,最大で,512GBまで利用できます. 各キューのメモリサイズの割り当ては次の通りです.

キュー 最大メモリサイズ ノード数
S 54GB 300
H 54GB 420
S96 96GB 39
L128 128GB 8
L128F 128GB 10
L256 256GB 8
L512 512GB 2
G 25GB 435
V 23GB 200 ~ 385
U 23GB 10 ~ 195
【重要】
PBSのメモリ識別は1GB=1024MBですので,指定できる最大の数字が若干小さくなります.

3.5.3 大容量ストレージ

大容量ストレージはグループで申請することにより利用可能となります. 利用にあたっては TSUBAME2.5利用ポータル利用の手引 を参照ください. 申請すると1グループあたり最大30TBの大容量ストレージが利用可能です. 利用にはTSUBAMEポイントが必要です.グループディスク課金の仕組みは以下の通りです.

  • 従量制オプションのTSUBAMEポイントによる支払い

  • 1TB単位,月単位でTSUBAME2.5利用ポータルより設定

  • 実際に保存している容量や転送量ではなく,保存可能枠(ディスククオータ)に課金

  • Lustre領域(/work0,1) とGPFS領域(/data0) でそれぞれ設定

  • 前払いのみ(対象月開始時ではなく設定直後にTSUBAMEポイントを消費)

  • 翌月以降の設定値は事前にキャンセルが可能(返ポイント)

    例:4月に「6月1TB」を購入した場合,4,5月中であればキャンセルしポイントに戻す事ができる.

  • 当月の設定値はキャンセル不可能(増やすのは可能)

    例:4月に「6月1TB」を購入した場合,6月にそれをキャンセルできない.

    例:4月に「6月1TB」を購入し,6月に6月分をさらに追加する事ができる.

  • 当月に利用が全くなくても返ポイントしない.

  • 月の切り替わり等に設定値が実容量を下回った場合の動作

    • 3日間の猶予期間の終了後,対象のディレクトリにアクセス不能になる.
    • 猶予期間中はデータの読み込み,削除はできるが,大量の書き込みは出来ません.
    • 保存可能枠を適切に購入する事で再度アクセス可能になる.
    • 一定期間アクセス不能状態が続いた場合,システム側で今後削除する事がある. (具体的な運用方法については未定)
  • 初回利用時は設定した月になると,ディレクトリが自動的に作成される.

    • ディレクトリ名(Lustre) : /work0/グループ名 (または/work1)
    • ディレクトリ名(GPFS) : /data0/グループ名 .
  • 1ファイルシステムあたり,1グループ最大30TBの制限

  • 1ファイルシステムあたり,全グループ合計で750TB の制限

  • GPFS領域において,テープ装置へ移動されたデータ分は使用量としてカウントされない .

    例:GPFSのHDDに1.5TB,テープに3TBある場合は,2TB分購入しておけばデータを維持する事ができる. しかし,この状態ではHDD側を整理しないと,テープから500GB分しかHDDに取り出す事ができない.

    例:ユーザのデータが4.5TBあった場合,GPFS上に2TB分だけ購入しておけば,2TB分GPFSのファイルシステム上に データを保持することができ,残りの2.5TBはテープライブラリ上に保持することができる. ファイルシステムからテープライブラリ上へのデータの移動はGPFS側で透過的に行われる.

  • ディスククオータはgidを用いて判別するため,同じファイルシステム内であればどのディレクトリに存在しても使用量と カウントされる.

    例:TSUBAMEグループ t2g-group1 と t2g-group2 に属しているユーザーが,/work0/t2g-group1 から /work0/t2g-group2 に データを移動しても,データのgidが変更されない限りどちらのグループも使用量は増減しない.

  • /data0はU/Vキューからアクセスすることができません.

  • グループディスクはバックアップを取得していません.重要なデータは複数の領域に保存するか,バックアップを 取得している /homeに保存してください.

  • 適切に購入しない状態でデータを長期間保存してはいけません. たとえ読み書きを全くしていなくてもディスクは占有しており,他の利用者がその分だけ利用できないことに変わりありません. データを保存したいだけの場合でもディスクは購入してください.

  • アカウントが失効してもその方がグループディスクに作成したデータは削除されません. 作成したデータはTSUBAMEアカウントの期限内に利用者の 責任で適切に管理(移動,取り出し,削除,パーミッション変更)してください.

※ 各ストレージの利用については, 4.6 ストレージの利用 を参照ください.

【重要】

3.5.4 並列環境とアプリケーション

TSUBAME2.5におけるアプリケーションのキュー別の利用可否を一覧にまとめました.

アプリ名 U/V以外(※1)   U/V  
  ノード内 ノード間 ノード内 ノード間
ABAQUS St/Ex × ×
ABAQUS/CAE × × ×
MD NASTRAN × ×
PATRAN × × ×
GaussView × × ×
Gaussian × ×
Gaussian-Linda ×
Molpro(※2) - - - -
AMBER ×
Materials Studio × ×
Discovery Studio × × × ×
Scigress(※2) - - - -
AVS/Express × × ×
AVS/Express PCE × × × ×
EnSight(※2) - - - -
Mathematica × ×
Maple × ×
ANSYS FLUENT × ×
MATLAB × ×
LS-DYNA × ×
Total View Debg × ×
Tinker × ×
GROMACS ×
POV-Ray ×
GAMESS
R ×
openmpi × ×
mvapich2 × ×
mpich2(※3)

※1 S,S96,G, L128,L128F, L256,L512,H,X

※2 サービス終了.

※3 IBを使用しないため,通信性能は十分確認してご利用ください.

【注意】
Discovery Studio は別途用意したマシンを使用します. 7. ISVアプリケーション(一部利用ユーザ制限あり) を参照ください.

3.6 WINDOWS HPC

別途,利用の手引が用意されています.

3.7 関連設備の利用

TSUBAME1.2で使用していた磁気テープ装置によるバックアップが接続されています.

3.8 Naregi連携

国立情報学研究所の進めているNaregiシステムからTSUBAME2.5の資源を利用できます. また,同様に,連携している拠点の計算資源を利用できます.

サービスは終了いたしました.

3.9 ストレージサービス(CIFS)

スト―レジサービスによりWindows/Mac端末からオンラインストレージディスクを利用できます. ユーザあたり25GBまで利用可能です. 利用方法につきましては, 4.9 ストレージサービス をご参照ください.