このページの更新は終了しました。

最新の情報はTSUBAME3.0計算サービスのWebページをご覧ください。

TSUBAME2.5からTSUBAME3.0へのデータ移行方法の資料はこちら

【障害報告】2015.2.28発生:/work1 ストレージ障害(3/5更新)

(グループディスクを利用している方向けの情報です)

                             学術国際情報センター
平成27年3月2日

 下記の通りストレージに障害が発生し、復旧いたしました。皆様にはご迷惑をおかけして申し訳ございませんでした。

 日時:2月28日(土) 12:24 から 15:32 頃

 影響: /work1 にアクセスできない。

 詳細: (確認中)

(3/5追記) 2015 年 2 月 28 日 12:24 より、/work1 を構成する MDS(MetaData Server)として稼働していた t2s007015 において Lustre の処理がスタックし、クライアントから/work1 領域にアクセスできない問題が発生致しました。t2s007015 では journal の処理がスタックしていることを示す Call Trace が継続して出力されておりました。

 MDS での処理がスタックしておりましたので、Lustre クライアントからは/work1 のメタデータを取得できずファイルシステムにアクセスができておりませんでした。このため MDS のサービス(MDT, MetaData Target)を t2s007013 に手動でフェイルオーバーさせ、同日 15:32 /work1 は復旧致しました。

 本問題の修正パッチが kernel patch として存在しておりますので、本システムに適用可能か確認しております。

用語説明
  OSS:Lustreファイルシステムにおいて、計算ノードに対してファイルの中身を
     実際に送受信するサーバ

  OST:Lustreファイルシステムにおいて、ファイルの中身を実際に保存している
     ディスクの集合体

 障害期間内に影響があった可能性のあるジョブ(期間中に実行中だったジョブ)は以下の通りです。

### S ##########################################
1483265.t2zpbs01 1483274.t2zpbs01 1483284.t2zpbs01 1483293.t2zpbs01 1483302.t2zpbs01
1483315.t2zpbs01 1483324.t2zpbs01 1483332.t2zpbs01 1483342.t2zpbs01 1483351.t2zpbs01
1492364.t2zpbs01 1492365.t2zpbs01 1492366.t2zpbs01 1492367.t2zpbs01 1492368.t2zpbs01
1492369.t2zpbs01 1492371.t2zpbs01 1492372.t2zpbs01 1492373.t2zpbs01 1492374.t2zpbs01
1492375.t2zpbs01 1492377.t2zpbs01 1492382.t2zpbs01 1492488.t2zpbs01 1492489.t2zpbs01
1492498.t2zpbs01 1492499.t2zpbs01 1492546.t2zpbs01 1492547.t2zpbs01 1492548.t2zpbs01
1492549.t2zpbs01 1492550.t2zpbs01 1492551.t2zpbs01 1492552.t2zpbs01 1492589.t2zpbs01
1492590.t2zpbs01 1492592.t2zpbs01 1492593.t2zpbs01 1492597.t2zpbs01 1492599.t2zpbs01
1492602.t2zpbs01 1492639.t2zpbs01 1492640.t2zpbs01 1492641.t2zpbs01 1492642.t2zpbs01
1492643.t2zpbs01 1492644.t2zpbs01 1492724.t2zpbs01 1492726.t2zpbs01 1492727.t2zpbs01
1492728.t2zpbs01 1492730.t2zpbs01 1492731.t2zpbs01 1492736.t2zpbs01 1492747.t2zpbs01
1492749.t2zpbs01 1492750.t2zpbs01 1492752.t2zpbs01 1492753.t2zpbs01 1492754.t2zpbs01
1492755.t2zpbs01 1492756.t2zpbs01 1492757.t2zpbs01 1492759.t2zpbs01 1492760.t2zpbs01
1492761.t2zpbs01 1492762.t2zpbs01 1492763.t2zpbs01 1492764.t2zpbs01 1492765.t2zpbs01
1492766.t2zpbs01 1492767.t2zpbs01 1492768.t2zpbs01 1492813.t2zpbs01 1492814.t2zpbs01
1492859.t2zpbs01 1492868.t2zpbs01 1492870.t2zpbs01 1492872.t2zpbs01 1492874.t2zpbs01
1492876.t2zpbs01 1492878.t2zpbs01 1492885.t2zpbs01 1492904.t2zpbs01 1492914.t2zpbs01
1492915.t2zpbs01 1492921.t2zpbs01 1492925.t2zpbs01 1492932.t2zpbs01 1492935.t2zpbs01
1492948.t2zpbs01 1492954.t2zpbs01 1493114.t2zpbs01 1493118.t2zpbs01 1493123.t2zpbs01
1493128.t2zpbs01 1493132.t2zpbs01 1493135.t2zpbs01 1493136.t2zpbs01 1493137.t2zpbs01
1493138.t2zpbs01 1493139.t2zpbs01 1493218.t2zpbs01 1493277.t2zpbs01 1493291.t2zpbs01
1493292.t2zpbs01 1493293.t2zpbs01 1493294.t2zpbs01 1493295.t2zpbs01 1493296.t2zpbs01
1493297.t2zpbs01 1493298.t2zpbs01 1493299.t2zpbs01 1493300.t2zpbs01 1493301.t2zpbs01
1493302.t2zpbs01 1493303.t2zpbs01 1493304.t2zpbs01 1493305.t2zpbs01 1493306.t2zpbs01
1493307.t2zpbs01 1493308.t2zpbs01 1493309.t2zpbs01 1493310.t2zpbs01 1493311.t2zpbs01
1493312.t2zpbs01 1493313.t2zpbs01 1493314.t2zpbs01 1493315.t2zpbs01 1493316.t2zpbs01
1493317.t2zpbs01 1493318.t2zpbs01 1493319.t2zpbs01 1493320.t2zpbs01 1493321.t2zpbs01
1493322.t2zpbs01 1493323.t2zpbs01 1493324.t2zpbs01 1493335.t2zpbs01 1493340.t2zpbs01
1493342.t2zpbs01 1493343.t2zpbs01 1493344.t2zpbs01 1493348.t2zpbs01 1493349.t2zpbs01
1493350.t2zpbs01 1493351.t2zpbs01 1493352.t2zpbs01 1493353.t2zpbs01 1493354.t2zpbs01
1493355.t2zpbs01 1493356.t2zpbs01 1493357.t2zpbs01 1493358.t2zpbs01 1493385.t2zpbs01
1493386.t2zpbs01 1493387.t2zpbs01 1493388.t2zpbs01 1493418.t2zpbs01 1493419.t2zpbs01
1493421.t2zpbs01 1493423.t2zpbs01 1493429.t2zpbs01 1493430.t2zpbs01 1493431.t2zpbs01
1493432.t2zpbs01 1493434.t2zpbs01 1493435.t2zpbs01 1493436.t2zpbs01 1493437.t2zpbs01
1493438.t2zpbs01 1493439.t2zpbs01 1493440.t2zpbs01 1493441.t2zpbs01 1493442.t2zpbs01

### X(S) ##########################################
696945.t2zpbs05 697640.t2zpbs05 697642.t2zpbs05 697643.t2zpbs05 697644.t2zpbs05
697645.t2zpbs05 697646.t2zpbs05 697647.t2zpbs05 697648.t2zpbs05 697649.t2zpbs05
697650.t2zpbs05 697651.t2zpbs05 697652.t2zpbs05 697653.t2zpbs05 697654.t2zpbs05
697655.t2zpbs05 697656.t2zpbs05 697657.t2zpbs05 697658.t2zpbs05 697659.t2zpbs05
697660.t2zpbs05 697661.t2zpbs05 697662.t2zpbs05 697663.t2zpbs05 697664.t2zpbs05
697665.t2zpbs05 697666.t2zpbs05 697667.t2zpbs05 697668.t2zpbs05 697670.t2zpbs05
697671.t2zpbs05 697675.t2zpbs05 697676.t2zpbs05 697681.t2zpbs05

### S96 ##########################################
1492881.t2zpbs01 1492882.t2zpbs01 1492883.t2zpbs01 1492891.t2zpbs01 1493140.t2zpbs01
1493384.t2zpbs01

### L128 ##########################################
該当ジョブ無し

### L128F ##########################################
該当ジョブ無し

### L256 ##########################################
該当ジョブ無し

### L512 ##########################################
該当ジョブ無し

### G ##########################################
1920549.t2zpbs03 1920682.t2zpbs03 1920683.t2zpbs03 1920707.t2zpbs03 1920764.t2zpbs03
1920767.t2zpbs03 1920768.t2zpbs03 1920773.t2zpbs03 1920774.t2zpbs03 1920775.t2zpbs03
1920776.t2zpbs03 1920777.t2zpbs03 1920778.t2zpbs03 1920779.t2zpbs03 1920780.t2zpbs03
1920783.t2zpbs03 1920784.t2zpbs03 1920785.t2zpbs03 1920786.t2zpbs03 1920791.t2zpbs03
1920797.t2zpbs03 1920799.t2zpbs03 1920800.t2zpbs03 1920801.t2zpbs03 1920802.t2zpbs03
1920831.t2zpbs03 1920860.t2zpbs03 1920861.t2zpbs03 1920862.t2zpbs03 1920863.t2zpbs03
1920864.t2zpbs03 1920865.t2zpbs03 1920866.t2zpbs03 1920867.t2zpbs03

### V ##########################################
393630.t2zpbs-vm1 393686.t2zpbs-vm1 393765.t2zpbs-vm1 393810.t2zpbs-vm1 393812.t2zpbs-vm1
393908.t2zpbs-vm1 393910.t2zpbs-vm1 394089.t2zpbs-vm1 394227.t2zpbs-vm1 394228.t2zpbs-vm1
394235.t2zpbs-vm1 394241.t2zpbs-vm1 394242.t2zpbs-vm1 394246.t2zpbs-vm1 394264.t2zpbs-vm1
394266.t2zpbs-vm1 394268.t2zpbs-vm1 394272.t2zpbs-vm1 394273.t2zpbs-vm1 394286.t2zpbs-vm1
394326.t2zpbs-vm1 394338.t2zpbs-vm1 394339.t2zpbs-vm1 394340.t2zpbs-vm1 394342.t2zpbs-vm1
394343.t2zpbs-vm1 394344.t2zpbs-vm1 394345.t2zpbs-vm1 394346.t2zpbs-vm1 394347.t2zpbs-vm1
394348.t2zpbs-vm1 394349.t2zpbs-vm1 394350[].t2zpbs-vm1 394369[].t2zpbs-vm1 394412[].t2zpbs-vm1
394414[].t2zpbs-vm1

### U ##########################################
392340.t2zpbs-vm1 394064.t2zpbs-vm1 394093.t2zpbs-vm1 394095.t2zpbs-vm1 394096.t2zpbs-vm1
394305.t2zpbs-vm1 394306.t2zpbs-vm1 394307.t2zpbs-vm1 394308.t2zpbs-vm1

### 予約キュー ##########################################
該当ジョブ無し