このページの更新は終了しました。

最新の情報はTSUBAME3.0計算サービスのWebページをご覧ください。

TSUBAME2.5からTSUBAME3.0へのデータ移行方法の資料はこちら

TSUBAME2.5に関する質問と回答(8/16更新)

TSUBAME2.5に関する質問と回答をまとめました。(2013.8.16現在)

  1. TSUBAME全般に関するQ&A
    1. TSUBAME2.0とは何ですか?
    2. TSUBAME2.5とは何ですか?
    3. TSUBAME2.5へのアップグレードはTSUBAME2.0の当初から計画されていたのですか?
    4. TSUBAME2.5にとって重要な後者のアプリケーションと分野とはどのようなものですか?
    5. TSUBAME2.0から2.5へのアップグレードで性能はどの程度向上するのですか?
    6. TSUBAME2.5の「単精度演算速度が我が国最速のスパコンになる」ということはどういう意味ですか?Top500の世界ランクで京コンピュータを上回るのですか?
    7. 単精度は計算精度が低いので、スパコンの本来の用途である科学技術計算には使えないのではないですか?
    8. アップグレードで性能向上するので、それに応じてTSUBAMEの消費電力は増えるのですか?
    9. アップグレードによりソフトウェアを変更しなくてはいけませんか?
    10. 単なるGPUアップグレードならば、簡単なのではないですか?
    11. アップグレードにより、次のスパコンであるTSUBAME3.0のスケジュールは影響を受けますか?
    12. TSUBAME2.5は誰が使えるのですか?
    13. TSUBAME2.5はいつから稼働しますか?
    14. TSUBAME2.5になって、課金などのシステムは変更されますか?
    15. TSUBAME3.0はどのようなスパコンとなりますか?
  2. すでにTSUBAMEをご利用中の方向けのQ&A
    1. TSUBAME1から2.0の時のような移行作業が必要ですか?
    2. システムの停止はありますか?
    3. 停止対象のノードで実行中のジョブはどうなりますか?
    4. 利用方法は大きく変わるのですか?
    5. アップグレード作業期間中(8/1から9/3予定)における注意・制限はありますか?
    6. TSUBAMEアカウントを利用する教育用電子計算機システムに変化はありますか?
    7. TSUBAMEアカウントを利用する大判プリンタサービスに変化はありますか?

1.TSUBAME全般に関するQ&A

1-1. TSUBAME2.0とは何ですか

 TsubameはTokyo-Tech Supercomputer & UBiquitous Mass-storage Environmentの略称で、2006年4月のTSUBAME1.0以来東工大のシンボルの一つとして研究開発・整備・運用がされてきているスーパーコンピュータで、多くの研究に活用されています。現行のTSUBAME2.0は2010年11月にわが国初のペタフロップス・スーパコンピュータとして稼働し、Top500世界4位、Green500世界2位&運用スパコンとしてはトップ、2011年Graph500世界3位、更には2011年11月のACM Gordon Bell賞に輝くなど、多くの栄誉に輝いています。

1-2. TSUBAME2.5とは何ですか?

 TSUBAME2.0の大部分の性能を占める「Thin Node / HP社製SL390G7」 は、2個のIntel Xeon X5670 CPUと3個のNVIDIA Tesla Fermi 2050M GPUで構成されています。これが全体で1408ノードあり、220テラビットの多重QDR Infinibandネットワークで接続されています。TSUBAME2.5では、システム合計4224(1408 x 3)個のGPUを、最近発表された最新のNVIDIA Tesla Kepler K20X GPUにアップグレード交換し、その他のソフトウェアの整備などと共に数倍の性能向上を達成するものです。これにより、単精度演算では我が国最速のスパコンとなります

1-3. TSUBAME2.5へのアップグレードはTSUBAME2.0の当初から計画されていたのですか?

 いいえ、TSUBAME2.5へのアップグレードは2012年の春ごろから計画され、「平成24年度補正予算:『京』を中核とするHPCIの産業利用支援・裾野拡大のための設備拡充」等によって実現の資金が確保できたものです。アップグレードが計画された理由は幾つかありますが、一つはTSUBAME2.0が内外で盛んに活用され、繁忙期のキャパシティーが限界に達したことと、もう一つは一昨年の大震災や企業利用の本格化により、国民にとって重要な分野のアプリケーション分野へ適用する為の性能増加が必要とされたからです。

1-4. TSUBAME2.5にとって重要な後者のアプリケーションと分野とはどのようなものですか?

 我が国の国民にとって重要で、関心の高い環境・防災、医療、産業(ものづくり)の分野です。既にこれらのアプリケーションはTSUBAME2.0上で動作していますが、これらがTSUBAME2.5により数倍の性能向上を果たし、国民の利益となる科学技術の進歩が達成されると期待しています。

1-5. TSUBAME2.0から2.5へのアップグレードで性能はどの程度向上するのですか?

 理論値では、TSUBAMEは単精度/倍精度性能は4.8/2.4ペタ(1015)フロップスでしたが、これが約17.0/5.7ペタフロップスに向上します。また、GPUのメモリバンド幅も、単体の理論値では150ギガバイト/秒から250ギガバイト/秒に向上し、システム全体では1ペタバイト/秒を超えます。また、GPUのメモリが3ギガバイトから6ギガバイトに倍増します。実際のメモリバンド幅の差はより大きい事が観測されており、GPU中心の実アプリケーションでは2~3倍程度の性能向上が期待されます。

1-6. TSUBAME2.5の「単精度演算速度が我が国最速のスパコンになる」ということはどういう意味ですか?Top500の世界ランクで京コンピュータを上回るのですか?

 コンピュータが通常ハードウェアで計算できる数は、主に整数と、実数を表す浮動小数に分かれ、後者はIEEE754の規格で32ビット長の単精度と64ビット長の倍精度に更に分かれます。TSUBAMEは単精度を倍精度に対し3倍の速度で計算できるので、単精度の理論最高性能値は約17ペタフロップスになるのに対し、京コンピュータは両者の計算速度は同じで、約11ペタフロップスになります。一方、Top500に用いられるLinpackベンチマークは、全ての演算を倍精度で行わなければいけないという規約になっており、その場合はTSUBAMEの総合性能は約5.7ペタフロップス以下になり、実際の計測される性能でも京コンピュータの方が高速になるのは確実です。

1-7. 単精度は計算精度が低いので、スパコンの本来の用途である科学技術計算には使えないのではないですか?

 確かに一部のアプリケーションの計算は本質的に倍精度を要求しますが、単精度でも十分なアプリケーションも数多くあります。また、単精度を主に使いながら、必要な時だけ倍精度を使う「混合精度演算」と呼ばれるテクニックもあります。特に、TSUBAME2.5の大きな目的である防災/環境・医療・ものづくり等のアプリケーション分野は単精度や混合精度の適用範囲が広く、多くの場合17ペタフロップスの性能をフルに発揮できます。実際、既にTSUBAME2.0上で多くの単精度・混合精度のアプリケーションが活用されています。

1-8. アップグレードで性能向上するので、それに応じてTSUBAMEの消費電力は増えるのですか?

 我々の現状のテストでは、殆どの負荷状況においてKepler K20XはFermiより消費電力が低く、場合によっては大幅な低下を観測しています。ですので、TSUBAME2.5の消費電力はTSUBAME2.0より大幅に低く、エネルギーコスト削減と共に、夏期の縮退運転の緩和も可能であり、かつスパコンの省エネ世界ランキングであるGreen500においても上位ランクに入ることが可能であると予想しています。

1-9. アップグレードによりソフトウェアを変更しなくてはいけませんか?

 Kepler GPUは旧型のFermi GPUの上位互換であり、今までのソフトウェアは全て動作します。しかしながら、アーキテクチャが変わるので、再コンパイルした方がより性能は上がる可能性があります。また、Keplerの特性や、増えた様々な機能を用いると更に大幅な性能向上も期待できます。

1-10. 単なるGPUアップグレードならば、簡単なのではないですか?

 ユーザにとってはCPU・GPUとも、従来のソフトウェアとの互換性があるので、移行は楽です。しかしながら、実際は技術的には幾つかのハードルがあり、それを乗り越えてはじめてTSUBAME2.5が可能となりました。

1-11. アップグレードにより、次のスパコンであるTSUBAME3.0のスケジュールは影響を受けますか?

 はい、TSUBAME2.0の初期の予定稼働期間は4年間であり、TSUBAME3.0には2014年11月にバトンタッチするはずでした。しかし、中間的なTSUBAME2.5へのアップグレードにより稼働時期を延ばす事が可能となり、現状ではTSUBAME3.0稼働のスケジュールは2015年末となっています。これにより、TSUBAME3.0は大幅な性能と機能向上が可能となります。

1-12. TSUBAME2.5は誰が使えるのですか?

 「みんなのスパコン」TSUBAMEは、東工大の学生や教職員はもちろん、全国の大学、公的研究機関や企業の研究者、そして海外の研究者に至るまで、幅広く活用されています。

  • 東工大の身分があれば、学部学生を含め利用権があり、研究や教育に活用されています。
  • 全国の大学や公的研究機関の研究者は、スパコンの共同利用・共同研究拠点として申請により利用でき、特に我が国のスパコンの共同利用インフラである「HPCI (High Performance Computing Infrastructure)」の資源としても利用可能です。
  • 企業研究者は、文部科学省 先端研究基盤共用・プラットフォーム形成事業の支援の下で成果公開(無償/有償)や成果非公開(有償のみ)での利用が可能です。
  • 本学と国際交流協定「MOU (Memorandum of Understanding)」を締結した共同研究に参加する海外の研究者も利用可能です。
  • 毎夏、高校生・高専生を対象にした「スーパーコンピューティング・コンテスト」や「CUDAサマーキャンプ」を開催しており、若い世代の人材育成にも活用されています。

1-13. TSUBAME2.5はいつから稼働しますか?

 2013年8月から順次GPUの入れ替えを段階的に行い、9月には全交換が完了する予定です。詳しい工程表は別途HPでアナウンスします。(7/25追記)工程表を掲載しました。こちらをご覧ください。

1-14. TSUBAME2.5になって、課金などのシステムは変更されますか?

 本年度は年度の途中の為、基本的には改定は予定しておりません。しかしながら、大幅な性能向上をユーザが享受するために、TSUBAME2.0本来の調達コスト+今回のアップグレードのコストがかかっており、そのあたり来年度に向けて課金改定をどのようにすべきかを専門委員会で議論していただく予定です。

1-15. TSUBAME3.0はどのようなスパコンとなりますか?

 現状では設計段階ですが、TSUBAME2.0がわが国で切り開いた「メニーコアアーキテクチャ」を更に推し進めつつ、研究中の様々な技術を実運用に供する事により、様々な画期的な特質を持ち合わせた世界最高峰のスーパーコンピュータとなります。特に、エクサフロップスにむけた世界をリードする画期的な性能や電力効率、昨今のビッグデータを推し進める為の桁違いのデータ処理能力、クラウド技術を取り入れた更に柔軟な利用方法、などです。世界をリードするスパコンとして、再び注目されるでしょう。

2.すでにTSUBAMEをご利用中の方向けのQ&A

2-1. TSUBAME1から2.0の時のような移行作業が必要ですか?

 不要です。新たに申請したりする必要はなく、利用を継続したまま徐々に2.5に切り替わっていくイメージです。

2-2. システムの停止はありますか?

 8月1日(予定)より平日に1日あたり約60ノード(2ラック)停止して、約1ヶ月かけてすべてのGPUを交換します。予定では9月3日(予定)(8/16変更)8月30日に終わりますが進捗状況によっては前後する場合があります。停止によるノード数の減少分は可能な範囲で、ピークシフトで停止しているXキューのノードを起動することで補填します。一斉・臨時休業の全台停止中も交換を行います。工程表は後日掲載します。(7/25追記)工程表を掲載しました。こちらをご覧ください。

また全GPU交換後に、耐久試験を兼ねて、更新されたTSUBAME2.5の性能を生かした全ノードでのアプリケーション実行(TSUBAMEグランドチャレンジ制度、Linpack測定)を行うため、全計算サービスが停止する期間があります。これは大規模に動作した際に初めてわかるような不具合の洗い出しなど、安定したサービスを提供する必須の項目となりますのでどうぞご理解とご協力をお願いします。こちらも詳細については後ほど掲載します。

2-3. 停止対象のノードで実行中のジョブはどうなりますか?

 停止対象のノードは停止1日前に新たなジョブが割りあたらないように設定されるので、実行中のジョブが打ち切られる事はありません。そのため利用者の皆様は停止を特に意識せずにご利用できます。

2-4.利用方法は大きく変わるのですか?

 基本的には何も変わりません。GPU以外の部分(アカウント・バッチシステム・キュー構成・ユーザーデータ・TSUBAME利用ポータル・OSのバージョン・提供するアプリケーションの種類・ストレージ構成・CPU・メインメモリ量・ノード数・ネットワーク構成等)は特に変更はありません.GPUについてもK20Xは従来のM2050の互換性があるため、ほとんどのケースでそのままでもジョブが実行できます。
ただしアップグレード作業期間中にいくつか注意・制限があります。(Q&A 2-5)

2-5.アップグレード作業期間中(8/1から9/38/30予定)における注意・制限はありますか?

 以下にご注意ください。ただし、まだ調整中のため変更となる場合があります。(7/29追記)7/24版の工程表で確定しました。ただし、進捗状況により変更となる場合があります。なお、etオプションの制限は7/26から開始しておりますのでご注意ください。

  • 新旧GPUが混在します。

 上記のようにGPUは順次置き換わっていくので、キュー内に従来のGPU(M2050)搭載ノードと新しいGPU(K20X)搭載ノードが混在する期間があります。 なお、ノード名と搭載しているGPUのリストを毎日掲載しますので、何らかの理由により特定のGPUを利用したい場合は、このリストを参考に実行するノードを指定してジョブを投入することが可能です。実際の指定方法は後ほど掲載します。(Xキューでは指定できません)(7/25追記)いつどのGPUが利用できるかの予定はこちらの工程表をご覧ください。(8/1追記)ノードの指定方法はこちらをご覧ください。(8/2追記)交換が完了したノードリストはこちらをご覧ください。

  • プレミアサービスの時間延長オプション(et)が利用できない期間があります。

 etオプションは24時間より長時間のジョブを実行する場合に利用するオプションです。詳細については後ほど掲載します。(7/25追記)etオプションが利用できない期間はこちらの工程表をご覧ください。なお、より正確には「etオプションは設定できるが、24:00より長いジョブを投入するとエラー」となります。また、etオプション停止時点で待ち(Q)状態になっていた24:00より長いジョブは保留(H)にステータスが変化して実行されませんのでご注意ください。どうしても24:00より長いジョブを実行したい場合は別のキューをご利用ください。(7/29追記)なお、etオプションの制限は7/26から開始しておりますのでご注意ください。

  • Hキューに以下の制約があります。
    1. 平日休日を問わず、Hキューの最大ノード数は178台(+予備)までとなります。
    2. 2013-08-01から2013-08-08のスロットまでは従来のGPU(M2050)搭載したノードが割り当てられます。
    3. 2013-08-09から2013-08-18のスロットは予約できません。(停電・一斉休業含む)
    4. 2013-08-19のスロットからは新しいGPU(K20X)を搭載したノードが割り当てられます。なお、2013-08-19以降のスロットの予約は8月16日(金)から開始予定です。

2-6.TSUBAMEアカウントを利用する教育用電子計算機システムに変化はありますか?

 ありません。

2-7.TSUBAMEアカウントを利用する大判プリンタサービスに変化はありますか?

 ありません。