このページの更新は終了しました。

最新の情報はTSUBAME3.0計算サービスのWebページをご覧ください。

TSUBAME2.5からTSUBAME3.0へのデータ移行方法の資料はこちら

【障害報告】2016.6.26発生:/work1, /gscr0 ストレージ障害(1) (6/30更新)

(グループディスクを利用している方向けの情報です)

                             学術国際情報センター
平成28年6月29日

 下記の通りストレージに障害が発生し、復旧いたしました。

 日時:6月26日(日) 17:29 から 17:37 頃

 影響: /work1, /gscr0 にアクセスできない

 詳細:

/gscr0 を構成する2台で冗長化されている MDS(MetaData Server) として稼働していた1台の t2s007013 において Lustre に障害が発生し、自動で MDS のサービスがt2s007015 にフェイルオーバーされたことで復旧しました。なお、6/8の障害で /work1 のサービスが t2s007013 にフェイルオーバーされたまま稼動中でしたので /work1 にも同様に障害が発生しました。その結果 /work1, /gscr0 共にアクセスすることができませんでした。なお、次の障害が発生する6/24 21:16まで、/work1, /gscr0 の MDT は t2s007015 で稼働している状況でした。原因は現在調査中です。

用語説明

MDS:Lustreファイルシステムにおいて、計算ノードに対してファイルのメタ情報を実際に送受信するサーバ

MDT:Lustreファイルシステムにおいて、ファイルのメタ情報を実際に保存しているディスクの集合体


(6/30更新)

特定のLustreのクライアントとサーバのバージョンの組み合わせでstripe処理に問題があることがわかりました。Lustreサーバー側の修正を準備中です。


 なお、影響があったと思われるジョブ(障害発生期間中に実行中であったジョブ)の一覧は下記の通りです。

(Sキュー)

the number of jobs = 213
### S ##########################################
1746108.t2zpbs01,1749302.t2zpbs01,1749303.t2zpbs01,1749304.t2zpbs01,1749305.t2zpbs01
1749585.t2zpbs01,1749586.t2zpbs01,1749587.t2zpbs01,1750220.t2zpbs01,1750332.t2zpbs01
1750333.t2zpbs01,1750334.t2zpbs01,1750335.t2zpbs01,1750336.t2zpbs01,1750358.t2zpbs01
1750359.t2zpbs01,1750361.t2zpbs01,1750366.t2zpbs01,1750371.t2zpbs01,1750399.t2zpbs01
1750402.t2zpbs01,1750404.t2zpbs01,1750408.t2zpbs01,1750411.t2zpbs01,1750431.t2zpbs01
1750432.t2zpbs01,1750433.t2zpbs01,1750434.t2zpbs01,1750435.t2zpbs01,1750436.t2zpbs01
1750437.t2zpbs01,1750438.t2zpbs01,1750439.t2zpbs01,1750440.t2zpbs01,1750441.t2zpbs01
1750442.t2zpbs01,1750443.t2zpbs01,1750444.t2zpbs01,1750445.t2zpbs01,1750446.t2zpbs01
1750447.t2zpbs01,1750448.t2zpbs01,1750449.t2zpbs01,1750450.t2zpbs01,1750451.t2zpbs01
1750452.t2zpbs01,1750453.t2zpbs01,1750454.t2zpbs01,1750455.t2zpbs01,1750456.t2zpbs01
1750457.t2zpbs01,1750458.t2zpbs01,1750459.t2zpbs01,1750460.t2zpbs01,1750479.t2zpbs01
1750493.t2zpbs01,1750495.t2zpbs01,1750499.t2zpbs01,1750500.t2zpbs01,1750501.t2zpbs01
1750502.t2zpbs01,1750503.t2zpbs01,1750504.t2zpbs01,1750505.t2zpbs01,1750506.t2zpbs01
1750507.t2zpbs01,1750508.t2zpbs01,1750509.t2zpbs01,1750510.t2zpbs01,1750516.t2zpbs01
1750517.t2zpbs01,1750518.t2zpbs01,1750525.t2zpbs01,1750544.t2zpbs01,1750545.t2zpbs01
1750546.t2zpbs01,1750547.t2zpbs01,1750548.t2zpbs01,1750549.t2zpbs01,1750552.t2zpbs01
1750554.t2zpbs01,1750555.t2zpbs01,1750557.t2zpbs01,1750559.t2zpbs01,1750561.t2zpbs01
1750563.t2zpbs01,1750564.t2zpbs01,1750566.t2zpbs01,1750568.t2zpbs01,1750569.t2zpbs01
1750570.t2zpbs01,1750572.t2zpbs01,1750573.t2zpbs01,1750574.t2zpbs01,1750575.t2zpbs01
1750576.t2zpbs01,1750577.t2zpbs01,1750578.t2zpbs01,1750579.t2zpbs01,1750580.t2zpbs01
1750581.t2zpbs01,1750582.t2zpbs01,1750583.t2zpbs01,1750584.t2zpbs01,1750586.t2zpbs01
1750588.t2zpbs01

### S96 ##########################################
1750232.t2zpbs01,1750475.t2zpbs01,1750494.t2zpbs01,1750527.t2zpbs01,1750530.t2zpbs01

### G ##########################################
2039755.t2zpbs03,2039970.t2zpbs03,2039973.t2zpbs03,2039974.t2zpbs03,2039975.t2zpbs03
2039976.t2zpbs03,2039977.t2zpbs03,2039978.t2zpbs03,2039979.t2zpbs03,2040024.t2zpbs03
2040073.t2zpbs03,2040079.t2zpbs03,2040093.t2zpbs03,2040147.t2zpbs03,2040148.t2zpbs03
2040149.t2zpbs03,2040150.t2zpbs03,2040151.t2zpbs03,2040152.t2zpbs03,2040153.t2zpbs03
2040154.t2zpbs03,2040155.t2zpbs03,2040156.t2zpbs03,2040157.t2zpbs03,2040158.t2zpbs03
2040159.t2zpbs03,2040160.t2zpbs03,2040161.t2zpbs03,2040162.t2zpbs03,2040190.t2zpbs03
2040191.t2zpbs03,2040192.t2zpbs03,2040193.t2zpbs03,2040194.t2zpbs03,2040195.t2zpbs03
2040196.t2zpbs03,2040197.t2zpbs03,2040198.t2zpbs03,2040199.t2zpbs03,2040200.t2zpbs03
2040202.t2zpbs03,2040220.t2zpbs03,2040221.t2zpbs03,2040222.t2zpbs03,2040223.t2zpbs03
2040224.t2zpbs03,2040225.t2zpbs03,2040226.t2zpbs03,2040227.t2zpbs03,2040259.t2zpbs03

### H ##########################################
937051.t2zpbs05

### X ##########################################
937009.t2zpbs05,937044.t2zpbs05,937057.t2zpbs05,937058.t2zpbs05,937059.t2zpbs05
937060.t2zpbs05,937066.t2zpbs05

### U ##########################################
1787256.t2zpbs-vm1,1792980.t2zpbs-vm1,1792995.t2zpbs-vm1,1793001.t2zpbs-vm1,1793007.t2zpbs-vm1
1793016.t2zpbs-vm1,1793024.t2zpbs-vm1,1793031.t2zpbs-vm1,1793050.t2zpbs-vm1,1793063.t2zpbs-vm1
1793073.t2zpbs-vm1,1793078.t2zpbs-vm1,1793083.t2zpbs-vm1

### V ##########################################
1742575.t2zpbs-vm1,1742576.t2zpbs-vm1,1742577.t2zpbs-vm1,1742578.t2zpbs-vm1,1742580.t2zpbs-vm1
1742581.t2zpbs-vm1,1742582.t2zpbs-vm1,1742583.t2zpbs-vm1,1787533.t2zpbs-vm1,1789481.t2zpbs-vm1
1792060.t2zpbs-vm1,1792615.t2zpbs-vm1,1792719.t2zpbs-vm1,1792767.t2zpbs-vm1,1792784.t2zpbs-vm1
1792888.t2zpbs-vm1,1793552.t2zpbs-vm1,1793556.t2zpbs-vm1,1793595.t2zpbs-vm1,1793648.t2zpbs-vm1
1793660.t2zpbs-vm1,1793661.t2zpbs-vm1,1793662.t2zpbs-vm1,1793663.t2zpbs-vm1,1793664.t2zpbs-vm1
1793665.t2zpbs-vm1,1793673.t2zpbs-vm1,1793674.t2zpbs-vm1,1793676.t2zpbs-vm1,1793678.t2zpbs-vm1
1793679.t2zpbs-vm1