TSUBAME3.0計算サービスのWebページはこちら

TSUBAME2.5からTSUBAME3.0へのデータ移行方法の資料はこちら

【障害報告】2016.6.26発生:/work1, /gscr0 ストレージ障害(2) (6/30更新)

(グループディスクを利用している方向けの情報です)

                             学術国際情報センター
平成28年6月29日

 下記の通りストレージに障害が発生し、復旧いたしました。

 日時:6月26日(日) 21:16 から 21:30 頃

 影響: /work1, /gscr0 にアクセスできない

 詳細:

/work1 を構成する2台で冗長化されている MDS(MetaData Server) として稼働していた1台の t2s007015 においてLustre に障害が発生し、自動でMDS のサービスが t2s007013 にフェイルオーバーされたことで復旧しました。なお、6/24 17:29の障害で /gscr0 のサービスが t2s007015 にフェイルオーバーされ稼動中でしたので /gscr0 にも同様に障害が発生しました。その結果 /work1, /gscr0 共ににアクセスすることができませんでした。原因は現在調査中です。なお、/work1のサービスは本来 t2s007015 で稼働するものですので、どこかのタイミングで一時的な停止(10から15分程)を伴う修正作業が必要です。

用語説明

MDS:Lustreファイルシステムにおいて、計算ノードに対してファイルのメタ情報を実際に送受信するサーバ

MDT:Lustreファイルシステムにおいて、ファイルのメタ情報を実際に保存しているディスクの集合体


(6/30更新)

特定のLustreのクライアントとサーバのバージョンの組み合わせでstripe処理に問題があることがわかりました。Lustreサーバー側の修正を準備中です。


なお、影響があったと思われるジョブ(障害発生期間中に実行中であったジョブ)の一覧は下記の通りです。

(Sキュー)

the number of jobs = 223
### S ##########################################
1746108.t2zpbs01,1749585.t2zpbs01,1749586.t2zpbs01,1749587.t2zpbs01,1750332.t2zpbs01
1750333.t2zpbs01,1750334.t2zpbs01,1750335.t2zpbs01,1750336.t2zpbs01,1750358.t2zpbs01
1750359.t2zpbs01,1750361.t2zpbs01,1750366.t2zpbs01,1750371.t2zpbs01,1750399.t2zpbs01
1750402.t2zpbs01,1750404.t2zpbs01,1750408.t2zpbs01,1750411.t2zpbs01,1750456.t2zpbs01
1750457.t2zpbs01,1750458.t2zpbs01,1750459.t2zpbs01,1750460.t2zpbs01,1750461.t2zpbs01
1750462.t2zpbs01,1750463.t2zpbs01,1750464.t2zpbs01,1750465.t2zpbs01,1750466.t2zpbs01
1750468.t2zpbs01,1750493.t2zpbs01,1750499.t2zpbs01,1750500.t2zpbs01,1750501.t2zpbs01
1750502.t2zpbs01,1750503.t2zpbs01,1750504.t2zpbs01,1750505.t2zpbs01,1750506.t2zpbs01
1750507.t2zpbs01,1750508.t2zpbs01,1750509.t2zpbs01,1750510.t2zpbs01,1750516.t2zpbs01
1750517.t2zpbs01,1750518.t2zpbs01,1750544.t2zpbs01,1750545.t2zpbs01,1750546.t2zpbs01
1750547.t2zpbs01,1750548.t2zpbs01,1750549.t2zpbs01,1750552.t2zpbs01,1750554.t2zpbs01
1750555.t2zpbs01,1750557.t2zpbs01,1750559.t2zpbs01,1750561.t2zpbs01,1750563.t2zpbs01
1750564.t2zpbs01,1750566.t2zpbs01,1750568.t2zpbs01,1750569.t2zpbs01,1750570.t2zpbs01
1750572.t2zpbs01,1750573.t2zpbs01,1750574.t2zpbs01,1750575.t2zpbs01,1750576.t2zpbs01
1750577.t2zpbs01,1750578.t2zpbs01,1750579.t2zpbs01,1750580.t2zpbs01,1750581.t2zpbs01
1750582.t2zpbs01,1750583.t2zpbs01,1750584.t2zpbs01,1750586.t2zpbs01,1750684.t2zpbs01
1750715.t2zpbs01,1750716.t2zpbs01,1750717.t2zpbs01,1750718.t2zpbs01,1750719.t2zpbs01
1750720.t2zpbs01,1750721.t2zpbs01,1750722.t2zpbs01,1750723.t2zpbs01,1750724.t2zpbs01
1750725.t2zpbs01,1750726.t2zpbs01,1750727.t2zpbs01,1750728.t2zpbs01,1750730.t2zpbs01

### S96 ##########################################
1750494.t2zpbs01,1750663.t2zpbs01,1750690.t2zpbs01,1750700.t2zpbs01

### G ##########################################
2039756.t2zpbs03,2039973.t2zpbs03,2039974.t2zpbs03,2039975.t2zpbs03,2039976.t2zpbs03
2039977.t2zpbs03,2039978.t2zpbs03,2039979.t2zpbs03,2040024.t2zpbs03,2040104.t2zpbs03
2040159.t2zpbs03,2040160.t2zpbs03,2040161.t2zpbs03,2040162.t2zpbs03,2040190.t2zpbs03
2040191.t2zpbs03,2040192.t2zpbs03,2040193.t2zpbs03,2040194.t2zpbs03,2040195.t2zpbs03
2040196.t2zpbs03,2040197.t2zpbs03,2040198.t2zpbs03,2040199.t2zpbs03,2040200.t2zpbs03
2040202.t2zpbs03,2040220.t2zpbs03,2040221.t2zpbs03,2040222.t2zpbs03,2040223.t2zpbs03
2040224.t2zpbs03,2040225.t2zpbs03,2040226.t2zpbs03,2040227.t2zpbs03,2040228.t2zpbs03
2040229.t2zpbs03,2040230.t2zpbs03,2040231.t2zpbs03,2040232.t2zpbs03,2040233.t2zpbs03
2040234.t2zpbs03,2040235.t2zpbs03,2040236.t2zpbs03,2040237.t2zpbs03,2040238.t2zpbs03
2040239.t2zpbs03,2040240.t2zpbs03,2040241.t2zpbs03,2040242.t2zpbs03,2040243.t2zpbs03
2040244.t2zpbs03,2040245.t2zpbs03,2040246.t2zpbs03,2040247.t2zpbs03,2040248.t2zpbs03
2040249.t2zpbs03,2040260.t2zpbs03,2040261.t2zpbs03,2040262.t2zpbs03,2040263.t2zpbs03
2040264.t2zpbs03

### H ##########################################
937051.t2zpbs05

### X ##########################################
937009.t2zpbs05,937057.t2zpbs05,937114.t2zpbs05,937115.t2zpbs05,937116.t2zpbs05
937117.t2zpbs05,937118.t2zpbs05,937119.t2zpbs05,937120.t2zpbs05,937121.t2zpbs05
937122.t2zpbs05,937123.t2zpbs05,937124.t2zpbs05,937125.t2zpbs05,937126.t2zpbs05
937140.t2zpbs05,937154.t2zpbs05,937155.t2zpbs05,937156.t2zpbs05

### U ##########################################
1787256.t2zpbs-vm1,1792980.t2zpbs-vm1,1792995.t2zpbs-vm1,1793001.t2zpbs-vm1,1793007.t2zpbs-vm1
1793016.t2zpbs-vm1,1793024.t2zpbs-vm1,1793031.t2zpbs-vm1,1793050.t2zpbs-vm1

### V ##########################################
1742575.t2zpbs-vm1,1742576.t2zpbs-vm1,1742577.t2zpbs-vm1,1742578.t2zpbs-vm1,1742580.t2zpbs-vm1
1742581.t2zpbs-vm1,1742582.t2zpbs-vm1,1742583.t2zpbs-vm1,1787533.t2zpbs-vm1,1792060.t2zpbs-vm1
1792615.t2zpbs-vm1,1792719.t2zpbs-vm1,1792722.t2zpbs-vm1,1792767.t2zpbs-vm1,1792784.t2zpbs-vm1
1793552.t2zpbs-vm1,1793556.t2zpbs-vm1,1793660.t2zpbs-vm1,1793661.t2zpbs-vm1,1793663.t2zpbs-vm1
1793685.t2zpbs-vm1,1793694.t2zpbs-vm1,1793722.t2zpbs-vm1,1793738.t2zpbs-vm1,1793761.t2zpbs-vm1
1793783.t2zpbs-vm1,1793787.t2zpbs-vm1,1793788.t2zpbs-vm1,1793789.t2zpbs-vm1,1793795.t2zpbs-vm1
1793796.t2zpbs-vm1,1793799.t2zpbs-vm1,1793800.t2zpbs-vm1,1793801.t2zpbs-vm1