TSUBAME3.0計算サービスのWebページはこちら

TSUBAME2.5からTSUBAME3.0へのデータ移行方法の資料はこちら

【障害報告】2017.5.1発生:/work1 ストレージ障害

(グループディスクを利用している方向けの情報です)

                             学術国際情報センター
2017年5月1日

 下記の通りストレージに障害が発生し、復旧いたしました。

 時間帯:5月1(月)9:03から10:54頃

 影響範囲:/work1にアクセスできない。

 詳細:

/work1を構成する2台で冗長化されたMDSの1台(t2s007015)が不安定となり、一部の計算ノードとreconnecting/refused reconnectionのエラーが発生しており、work1にI/Oできなかったジョブがあると考えられます。10:29 にt2s007015をフェイルオーバし復旧しました。

 

用語説明

OST:Lustreファイルシステムにおいて、ファイルの中身を実際に保存しているディスクの集合体

MDS:Lustreファイルシステムにおいて、計算ノードに対してファイルのメタ情報を実際に送受信するサーバ

MDT:Lustreファイルシステムにおいて、ファイルのメタ情報を実際に保存しているディスクの集合体


なお、影響があったと思われるジョブ(障害発生期間中に実行中であったジョブ)の一覧は下記の通りです。

<Sキュー:91ジョブ>
2167119.t2zpbs01, 2168321.t2zpbs01, 2168322.t2zpbs01, 2168323.t2zpbs01, 2168324.t2zpbs01
2168325.t2zpbs01, 2168326.t2zpbs01, 2168327.t2zpbs01, 2168328.t2zpbs01, 2168329.t2zpbs01
2168330.t2zpbs01, 2168331.t2zpbs01, 2168332.t2zpbs01, 2168333.t2zpbs01, 2168334.t2zpbs01
2168335.t2zpbs01, 2168336.t2zpbs01, 2168337.t2zpbs01, 2168338.t2zpbs01, 2168388.t2zpbs01
2168389.t2zpbs01, 2168402.t2zpbs01, 2168403.t2zpbs01, 2168404.t2zpbs01, 2168405.t2zpbs01
2168411.t2zpbs01, 2168412.t2zpbs01, 2168413.t2zpbs01, 2168738.t2zpbs01, 2168739.t2zpbs01
2168740.t2zpbs01, 2168741.t2zpbs01, 2168742.t2zpbs01, 2168743.t2zpbs01, 2168744.t2zpbs01
2168745.t2zpbs01, 2168746.t2zpbs01, 2168747.t2zpbs01, 2168798.t2zpbs01, 2168800.t2zpbs01
2168826.t2zpbs01, 2168827.t2zpbs01, 2168828.t2zpbs01, 2168829.t2zpbs01, 2168830.t2zpbs01
2168833.t2zpbs01, 2168854.t2zpbs01, 2168855.t2zpbs01, 2168856.t2zpbs01, 2168857.t2zpbs01
2168858.t2zpbs01, 2168859.t2zpbs01, 2168861.t2zpbs01, 2168862.t2zpbs01, 2168863.t2zpbs01
2168875.t2zpbs01, 2168876.t2zpbs01, 2168877.t2zpbs01, 2168878.t2zpbs01, 2168879.t2zpbs01
2168880.t2zpbs01, 2168881.t2zpbs01, 2168882.t2zpbs01, 2168883.t2zpbs01, 2168884.t2zpbs01
2168885.t2zpbs01, 2168886.t2zpbs01, 2168887.t2zpbs01, 2168888.t2zpbs01, 2168889.t2zpbs01
2168890.t2zpbs01, 2168891.t2zpbs01, 2168892.t2zpbs01, 2168893.t2zpbs01, 2168894.t2zpbs01
2168895.t2zpbs01, 2168896.t2zpbs01, 2168940.t2zpbs01, 2168941.t2zpbs01, 2168942.t2zpbs01
2168943.t2zpbs01, 2168944.t2zpbs01, 2168945.t2zpbs01, 2168946.t2zpbs01, 2168947.t2zpbs01
2168948.t2zpbs01, 2168949.t2zpbs01, 2168950.t2zpbs01, 2168951.t2zpbs01, 2168952.t2zpbs01
2168953.t2zpbs01

<S96キュー:7ジョブ>
2167013.t2zpbs01, 2167014.t2zpbs01, 2167015.t2zpbs01, 2167016.t2zpbs01, 2167017.t2zpbs01
2167018.t2zpbs01, 2167019.t2zpbs01

<Gキュー:35ジョブ>
2122955.t2zpbs03, 2122957.t2zpbs03, 2122996.t2zpbs03, 2122998.t2zpbs03, 2123012[30].t2zpbs03
2123012[31].t2zpbs03, 2123012[32].t2zpbs03, 2123012[33].t2zpbs03, 2123012[34].t2zpbs03, 2123012[35].t2zpbs03
2123012[36].t2zpbs03, 2123012[37].t2zpbs03, 2123012[38].t2zpbs03, 2123012[39].t2zpbs03, 2123012[40].t2zpbs03
2123012[41].t2zpbs03, 2123012[42].t2zpbs03, 2123012[43].t2zpbs03, 2123012[44].t2zpbs03, 2123012[45].t2zpbs03
2123012[46].t2zpbs03, 2123012[47].t2zpbs03, 2123012[48].t2zpbs03, 2123012[49].t2zpbs03, 2123012[50].t2zpbs03
2123012[51].t2zpbs03, 2123012[57].t2zpbs03, 2123012[58].t2zpbs03, 2123012[59].t2zpbs03, 2123012[60].t2zpbs03
2123012[61].t2zpbs03, 2123012[62].t2zpbs03, 2123012[63].t2zpbs03, 2123012[64].t2zpbs03, 2123016.t2zpbs03

<Vキュー:29ジョブ>
2481319.t2zpbs-vm1, 2482120.t2zpbs-vm1, 2482183.t2zpbs-vm1, 2482303.t2zpbs-vm1, 2482309.t2zpbs-vm1
2482362.t2zpbs-vm1, 2482364.t2zpbs-vm1, 2482385.t2zpbs-vm1, 2482386.t2zpbs-vm1, 2482405.t2zpbs-vm1
2482406.t2zpbs-vm1, 2482407.t2zpbs-vm1, 2482408.t2zpbs-vm1, 2482498.t2zpbs-vm1, 2482499.t2zpbs-vm1
2482500.t2zpbs-vm1, 2482503.t2zpbs-vm1, 2482504.t2zpbs-vm1, 2482505.t2zpbs-vm1, 2482506.t2zpbs-vm1
2482508.t2zpbs-vm1, 2482509.t2zpbs-vm1, 2482510.t2zpbs-vm1, 2482511.t2zpbs-vm1, 2482512.t2zpbs-vm1
2482513.t2zpbs-vm1, 2482514.t2zpbs-vm1, 2482515.t2zpbs-vm1, 2482516.t2zpbs-vm1

<L256キュー:9ジョブ>
2165552.t2zpbs01, 2167098.t2zpbs01, 2167099.t2zpbs01, 2167100.t2zpbs01, 2167101.t2zpbs01
2167102.t2zpbs01, 2167103.t2zpbs01, 2167104.t2zpbs01, 2167105.t2zpbs01

<Hキュー:3ジョブ>
1176356.t2zpbs05, 1176358.t2zpbs05, 1179324.t2zpbs05

<Xキュー:13ジョブ>
1179858.t2zpbs05, 1179859.t2zpbs05, 1179860.t2zpbs05, 1179861.t2zpbs05, 1179862.t2zpbs05
1179863.t2zpbs05, 1179864.t2zpbs05, 1179865.t2zpbs05, 1179866.t2zpbs05, 1179867.t2zpbs05
1179868.t2zpbs05, 1179869.t2zpbs05, 1179870.t2zpbs05