TSUBAME3.0計算サービスのWebページはこちら

TSUBAME2.5からTSUBAME3.0へのデータ移行方法の資料はこちら

【障害報告】2017.5.29発生:/work1 ストレージ障害

(グループディスクを利用している方向けの情報です)

                             学術国際情報センター
2017年5月30日

 下記の通りストレージに障害が発生し、復旧いたしました。

 時間帯: 5月29(月)18:51 から から19:55頃

 影響:一部の計算サーバから/work1にアクセスできない。また復旧中に一時的に/gscr0にアクセスできない。

 詳細:

/work1を構成する2台で冗長化されたMDSの1台(t2s007015)が不安定となり、一部の計算ノードとreconnecting/refused reconnectionのエラーが発生しており、work1にI/Oできなかったジョブがあると考えられます。フェイルオーバ時に資源を共有する/gscr0にもアクセス不能(19:29から19:38)となりましたが19:55に復旧しました。

 

用語説明

OST:Lustreファイルシステムにおいて、ファイルの中身を実際に保存しているディスクの集合体

MDS:Lustreファイルシステムにおいて、計算ノードに対してファイルのメタ情報を実際に送受信するサーバ

MDT:Lustreファイルシステムにおいて、ファイルのメタ情報を実際に保存しているディスクの集合体


なお、影響があったと思われるジョブ(障害発生期間中に実行中であったジョブ)の一覧は下記の通りです。

<Sキュー:143ジョブ>
2186173.t2zpbs01 2187306.t2zpbs01 2187438.t2zpbs01 2187520.t2zpbs01 2187521.t2zpbs01
2187779.t2zpbs01 2187967.t2zpbs01 2187979.t2zpbs01 2187994.t2zpbs01 2188005.t2zpbs01
2188006.t2zpbs01 2188007.t2zpbs01 2188008.t2zpbs01 2188009.t2zpbs01 2188010.t2zpbs01
2188011.t2zpbs01 2188012.t2zpbs01 2188013.t2zpbs01 2188014.t2zpbs01 2188015.t2zpbs01
2188017.t2zpbs01 2188018.t2zpbs01 2188019.t2zpbs01 2188021.t2zpbs01 2188022.t2zpbs01
2188023.t2zpbs01 2188024.t2zpbs01 2188025.t2zpbs01 2188026.t2zpbs01 2188027.t2zpbs01
2188028.t2zpbs01 2188029.t2zpbs01 2188030.t2zpbs01 2188032.t2zpbs01 2188033.t2zpbs01
2188036.t2zpbs01 2188037.t2zpbs01 2188042.t2zpbs01 2188064.t2zpbs01 2188066.t2zpbs01
2188076.t2zpbs01 2188105.t2zpbs01 2188109.t2zpbs01 2188113.t2zpbs01 2188117.t2zpbs01
2188122.t2zpbs01 2188125.t2zpbs01 2188126.t2zpbs01 2188147.t2zpbs01 2188148.t2zpbs01
2188150.t2zpbs01 2188152.t2zpbs01 2188153.t2zpbs01 2188154.t2zpbs01 2188155.t2zpbs01
2188172.t2zpbs01 2188183.t2zpbs01 2188184.t2zpbs01 2188219.t2zpbs01 2188220.t2zpbs01
2188221.t2zpbs01 2188222.t2zpbs01 2188223.t2zpbs01 2188258.t2zpbs01 2188260.t2zpbs01
2188265.t2zpbs01 2188272.t2zpbs01 2188273.t2zpbs01 2188274.t2zpbs01 2188275.t2zpbs01
2188278.t2zpbs01 2188280.t2zpbs01 2188281.t2zpbs01 2188282.t2zpbs01 2188283.t2zpbs01
2188284.t2zpbs01 2188285.t2zpbs01 2188286.t2zpbs01 2188287.t2zpbs01 2188288.t2zpbs01
2188289.t2zpbs01 2188290.t2zpbs01 2188291.t2zpbs01 2188292.t2zpbs01 2188304.t2zpbs01
2188316.t2zpbs01 2188317.t2zpbs01 2188318.t2zpbs01 2188319.t2zpbs01 2188320.t2zpbs01
2188321.t2zpbs01 2188322.t2zpbs01 2188323.t2zpbs01 2188324.t2zpbs01 2188325.t2zpbs01
2188326.t2zpbs01 2188327.t2zpbs01 2188328.t2zpbs01 2188329.t2zpbs01 2188330.t2zpbs01
2188331.t2zpbs01 2188332.t2zpbs01 2188333.t2zpbs01 2188334.t2zpbs01 2188335.t2zpbs01
2188336.t2zpbs01 2188337.t2zpbs01 2188338.t2zpbs01 2188380.t2zpbs01 2188385.t2zpbs01
2188392.t2zpbs01 2188400.t2zpbs01 2188401.t2zpbs01 2188417.t2zpbs01 2188423.t2zpbs01
2188445.t2zpbs01 2188449.t2zpbs01 2188559.t2zpbs01 2188567.t2zpbs01 2188568.t2zpbs01
2188569.t2zpbs01 2188573.t2zpbs01 2188574.t2zpbs01 2188575.t2zpbs01 2188576.t2zpbs01
2188577.t2zpbs01 2188578.t2zpbs01 2188579.t2zpbs01 2188581.t2zpbs01 2188586.t2zpbs01
2188595.t2zpbs01 2188596.t2zpbs01 2188597.t2zpbs01 2188599.t2zpbs01 2188601.t2zpbs01
2188603.t2zpbs01 2188611.t2zpbs01 2188620.t2zpbs01 2188621.t2zpbs01 2188622.t2zpbs01
2188623.t2zpbs01 2188624.t2zpbs01 2188625.t2zpbs01

<S96キュー:8ジョブ>
2188085.t2zpbs01 2188097.t2zpbs01 2188127.t2zpbs01 2188128.t2zpbs01 2188598.t2zpbs01
2188616.t2zpbs01 2188617.t2zpbs01 2188618.t2zpbs01

<Gキュー:133ジョブ>
2128625.t2zpbs03 2128626.t2zpbs03 2128627.t2zpbs03 2128628.t2zpbs03 2128629.t2zpbs03
2128630.t2zpbs03 2128631.t2zpbs03 2128632.t2zpbs03 2128633.t2zpbs03 2128634.t2zpbs03
2128635.t2zpbs03 2128636.t2zpbs03 2128637.t2zpbs03 2128638.t2zpbs03 2128639.t2zpbs03
2128640.t2zpbs03 2128641.t2zpbs03 2128642.t2zpbs03 2128643.t2zpbs03 2128644.t2zpbs03
2128681.t2zpbs03 2128682.t2zpbs03 2128724.t2zpbs03 2128743.t2zpbs03 2128795.t2zpbs03
2128796.t2zpbs03 2128797.t2zpbs03 2128798.t2zpbs03 2128799.t2zpbs03 2128800.t2zpbs03
2128801.t2zpbs03 2128802.t2zpbs03 2128803.t2zpbs03 2128804.t2zpbs03 2128805.t2zpbs03
2128806.t2zpbs03 2128807.t2zpbs03 2128808.t2zpbs03 2128809.t2zpbs03 2128810.t2zpbs03
2128811.t2zpbs03 2128812.t2zpbs03 2128813.t2zpbs03 2128814.t2zpbs03 2128815.t2zpbs03
2128816.t2zpbs03 2128817.t2zpbs03 2128818.t2zpbs03 2128819.t2zpbs03 2128820.t2zpbs03
2128821.t2zpbs03 2128822.t2zpbs03 2128830.t2zpbs03 2128831.t2zpbs03 2128832.t2zpbs03
2128833.t2zpbs03 2128834.t2zpbs03 2128835.t2zpbs03 2128836.t2zpbs03 2128837.t2zpbs03
2128838.t2zpbs03 2128840.t2zpbs03 2128841.t2zpbs03 2128842.t2zpbs03 2128843.t2zpbs03
2128855[2].t2zpbs03 2128855[3].t2zpbs03 2128855[4].t2zpbs03 2128856[0].t2zpbs03 2128856[1].t2zpbs03
2128856[2].t2zpbs03 2128856[3].t2zpbs03 2128856[4].t2zpbs03 2128857[0].t2zpbs03 2128857[1].t2zpbs03
2128857[2].t2zpbs03 2128857[3].t2zpbs03 2128857[4].t2zpbs03 2128857[].t2zpbs03 2128858[0].t2zpbs03
2128858[1].t2zpbs03 2128858[2].t2zpbs03 2128858[3].t2zpbs03 2128858[4].t2zpbs03 2128859[0].t2zpbs03
2128859[1].t2zpbs03 2128859[2].t2zpbs03 2128859[3].t2zpbs03 2128891.t2zpbs03 2128892.t2zpbs03
2128893.t2zpbs03 2128894.t2zpbs03 2128895.t2zpbs03 2128896.t2zpbs03 2128897.t2zpbs03
2128898.t2zpbs03 2128899.t2zpbs03 2128901.t2zpbs03 2128902.t2zpbs03 2128903.t2zpbs03
2128904.t2zpbs03 2128905.t2zpbs03 2128907.t2zpbs03 2128908.t2zpbs03 2128909.t2zpbs03
2128910.t2zpbs03 2128911.t2zpbs03 2128912.t2zpbs03 2128913.t2zpbs03 2128914.t2zpbs03
2128915.t2zpbs03 2128916.t2zpbs03 2128917.t2zpbs03 2128918.t2zpbs03 2128919.t2zpbs03
2128920.t2zpbs03 2128921.t2zpbs03 2128922.t2zpbs03 2128923.t2zpbs03 2128927.t2zpbs03
2128936.t2zpbs03 2128939.t2zpbs03 2128940.t2zpbs03 2128941.t2zpbs03 2128942.t2zpbs03
2128943.t2zpbs03 2128954.t2zpbs03 2128955.t2zpbs03 2128959.t2zpbs03 2128967.t2zpbs03
2128993.t2zpbs03 2129057[1].t2zpbs03 2129057[2].t2zpbs03

<Uキュー:4ジョブ>
2522547.t2zpbs-vm1 2522548.t2zpbs-vm1 2522554.t2zpbs-vm1 2522775.t2zpbs-vm1

<Vキュー:174ジョブ>
2522549.t2zpbs-vm1 2522550.t2zpbs-vm1 2522559.t2zpbs-vm1 2522562.t2zpbs-vm1 2522563.t2zpbs-vm1
2522564.t2zpbs-vm1 2522565.t2zpbs-vm1 2522566.t2zpbs-vm1 2522567.t2zpbs-vm1 2522568.t2zpbs-vm1
2522569.t2zpbs-vm1 2522570.t2zpbs-vm1 2522571.t2zpbs-vm1 2522572.t2zpbs-vm1 2522573.t2zpbs-vm1
2522574.t2zpbs-vm1 2522575.t2zpbs-vm1 2522576.t2zpbs-vm1 2522577.t2zpbs-vm1 2522578.t2zpbs-vm1
2522579.t2zpbs-vm1 2522580.t2zpbs-vm1 2522581.t2zpbs-vm1 2522582.t2zpbs-vm1 2522583.t2zpbs-vm1
2522584.t2zpbs-vm1 2522585.t2zpbs-vm1 2522586.t2zpbs-vm1 2522587.t2zpbs-vm1 2522588.t2zpbs-vm1
2522589.t2zpbs-vm1 2522590.t2zpbs-vm1 2522591.t2zpbs-vm1 2522592.t2zpbs-vm1 2522593.t2zpbs-vm1
2522594.t2zpbs-vm1 2522595.t2zpbs-vm1 2522596.t2zpbs-vm1 2522597.t2zpbs-vm1 2522598.t2zpbs-vm1
2522599.t2zpbs-vm1 2522600.t2zpbs-vm1 2522601.t2zpbs-vm1 2522602.t2zpbs-vm1 2522603.t2zpbs-vm1
2522604.t2zpbs-vm1 2522605.t2zpbs-vm1 2522606.t2zpbs-vm1 2522607.t2zpbs-vm1 2522608.t2zpbs-vm1
2522609.t2zpbs-vm1 2522610.t2zpbs-vm1 2522611.t2zpbs-vm1 2522612.t2zpbs-vm1 2522613.t2zpbs-vm1
2522614.t2zpbs-vm1 2522615.t2zpbs-vm1 2522616.t2zpbs-vm1 2522617.t2zpbs-vm1 2522618.t2zpbs-vm1
2522619.t2zpbs-vm1 2522620.t2zpbs-vm1 2522621.t2zpbs-vm1 2522622.t2zpbs-vm1 2522623.t2zpbs-vm1
2522624.t2zpbs-vm1 2522625.t2zpbs-vm1 2522626.t2zpbs-vm1 2522627.t2zpbs-vm1 2522629.t2zpbs-vm1
2522630.t2zpbs-vm1 2522631.t2zpbs-vm1 2522632.t2zpbs-vm1 2522635.t2zpbs-vm1 2522636.t2zpbs-vm1
2522637.t2zpbs-vm1 2522638.t2zpbs-vm1 2522640.t2zpbs-vm1 2522641.t2zpbs-vm1 2522647.t2zpbs-vm1
2522648.t2zpbs-vm1 2522651.t2zpbs-vm1 2522652.t2zpbs-vm1 2522653.t2zpbs-vm1 2522654.t2zpbs-vm1
2522655.t2zpbs-vm1 2522662.t2zpbs-vm1 2522664.t2zpbs-vm1 2522665.t2zpbs-vm1 2522666.t2zpbs-vm1
2522670.t2zpbs-vm1 2522671.t2zpbs-vm1 2522674.t2zpbs-vm1 2522675.t2zpbs-vm1 2522679.t2zpbs-vm1
2522680.t2zpbs-vm1 2522681.t2zpbs-vm1 2522682.t2zpbs-vm1 2522683.t2zpbs-vm1 2522684.t2zpbs-vm1
2522685.t2zpbs-vm1 2522686.t2zpbs-vm1 2522687.t2zpbs-vm1 2522688.t2zpbs-vm1 2522689.t2zpbs-vm1
2522690.t2zpbs-vm1 2522691.t2zpbs-vm1 2522692.t2zpbs-vm1 2522693.t2zpbs-vm1 2522694.t2zpbs-vm1
2522695.t2zpbs-vm1 2522696.t2zpbs-vm1 2522697.t2zpbs-vm1 2522698.t2zpbs-vm1 2522699.t2zpbs-vm1
2522700.t2zpbs-vm1 2522701.t2zpbs-vm1 2522702.t2zpbs-vm1 2522703.t2zpbs-vm1 2522704.t2zpbs-vm1
2522705.t2zpbs-vm1 2522706.t2zpbs-vm1 2522707.t2zpbs-vm1 2522708.t2zpbs-vm1 2522709.t2zpbs-vm1
2522710.t2zpbs-vm1 2522763.t2zpbs-vm1 2522764.t2zpbs-vm1 2522765.t2zpbs-vm1 2522767.t2zpbs-vm1
2522768.t2zpbs-vm1 2522773.t2zpbs-vm1 2522776.t2zpbs-vm1 2522777.t2zpbs-vm1 2522779.t2zpbs-vm1
2522780.t2zpbs-vm1 2522781.t2zpbs-vm1 2522782.t2zpbs-vm1 2522784.t2zpbs-vm1 2522785.t2zpbs-vm1
2522787.t2zpbs-vm1 2522815.t2zpbs-vm1 2522829.t2zpbs-vm1 2522830.t2zpbs-vm1 2522834.t2zpbs-vm1
2522840.t2zpbs-vm1 2522845.t2zpbs-vm1 2522904.t2zpbs-vm1 2522905.t2zpbs-vm1 2522906.t2zpbs-vm1
2522908.t2zpbs-vm1 2522909.t2zpbs-vm1 2522911.t2zpbs-vm1 2522913.t2zpbs-vm1 2522914.t2zpbs-vm1
2522915.t2zpbs-vm1 2522917.t2zpbs-vm1 2522919.t2zpbs-vm1 2522920.t2zpbs-vm1 2522921.t2zpbs-vm1
2522925.t2zpbs-vm1 2522927.t2zpbs-vm1 2522929.t2zpbs-vm1 2522930.t2zpbs-vm1 2522931.t2zpbs-vm1
2522933.t2zpbs-vm1 2522934.t2zpbs-vm1 2522935.t2zpbs-vm1 2522936.t2zpbs-vm1 2522937.t2zpbs-vm1
2522938.t2zpbs-vm1 2522939.t2zpbs-vm1 2522940.t2zpbs-vm1 2522941.t2zpbs-vm1

<Hキュー:11ジョブ>
1205937.t2zpbs05 1204609.t2zpbs05 1205376.t2zpbs05 1205933.t2zpbs05 1205934.t2zpbs05
1205935.t2zpbs05 1205937.t2zpbs05 1205938.t2zpbs05 1205939.t2zpbs05 1205940.t2zpbs05
1205941.t2zpbs05

<Xキュー:20ジョブ>
1206472.t2zpbs05 1206651.t2zpbs05 1206655.t2zpbs05 1206657.t2zpbs05 1206661.t2zpbs05
1206713.t2zpbs05 1206715.t2zpbs05 1206788.t2zpbs05 1207322.t2zpbs05 1207402.t2zpbs05
1207416.t2zpbs05 1207429.t2zpbs05 1207436.t2zpbs05 1207439.t2zpbs05 1207441.t2zpbs05
1207442.t2zpbs05 1207443.t2zpbs05 1207444.t2zpbs05 1207445.t2zpbs05 1207446.t2zpbs05