TSUBAME3.0計算サービスのWebページはこちら

TSUBAME2.5からTSUBAME3.0へのデータ移行方法の資料はこちら

【障害報告】2017.6.30発生:/work1 ストレージ障害

(グループディスクを利用している方向けの情報です)

                             学術国際情報センター
2017年6月30日

 下記の通りストレージに障害が発生し、復旧いたしました。

 時間帯: 6月30日(金)11:51 から 12:58頃

 影響:一部の計算サーバから/work1にアクセスできない。また復旧中に一時的に/gscr0にアクセスできない。

 詳細:

/work1を構成する2台で冗長化されたMDSの1台(t2s007013)が不安定となり、一部の計算ノードとreconnecting/refused reconnectionのエラーが発生しており、work1にI/Oできなかったジョブがあると考えられます。フェイルオーバ時に資源を共有する/gscr0にもアクセス不能(6/30 12:13から12:23)となりましたが12:58に復旧しました。

 

用語説明

OST:Lustreファイルシステムにおいて、ファイルの中身を実際に保存しているディスクの集合体

MDS:Lustreファイルシステムにおいて、計算ノードに対してファイルのメタ情報を実際に送受信するサーバ

MDT:Lustreファイルシステムにおいて、ファイルのメタ情報を実際に保存しているディスクの集合体


なお、影響があったと思われるジョブ(障害発生期間中に実行中であったジョブ)の一覧は下記の通りです。

(7/11追記)

<Sキュー:128ジョブ>
2228422.t2zpbs01, 2228423.t2zpbs01, 2228424.t2zpbs01, 2228425.t2zpbs01, 2231007.t2zpbs01
2231008.t2zpbs01, 2231009.t2zpbs01, 2231010.t2zpbs01, 2231011.t2zpbs01, 2231012.t2zpbs01
2231013.t2zpbs01, 2231014.t2zpbs01, 2231015.t2zpbs01, 2231016.t2zpbs01, 2231017.t2zpbs01
2231018.t2zpbs01, 2231019.t2zpbs01, 2231020.t2zpbs01, 2231021.t2zpbs01, 2231022.t2zpbs01
2231023.t2zpbs01, 2231024.t2zpbs01, 2231025.t2zpbs01, 2231026.t2zpbs01, 2231027.t2zpbs01
2231028.t2zpbs01, 2231029.t2zpbs01, 2231030.t2zpbs01, 2231031.t2zpbs01, 2231032.t2zpbs01
2232012.t2zpbs01, 2232013.t2zpbs01, 2232027.t2zpbs01, 2232122.t2zpbs01, 2232125.t2zpbs01
2232229.t2zpbs01, 2232299.t2zpbs01, 2232335.t2zpbs01, 2232336.t2zpbs01, 2232345.t2zpbs01
2232371.t2zpbs01, 2232397.t2zpbs01, 2232444.t2zpbs01, 2232456.t2zpbs01, 2232565.t2zpbs01
2232572.t2zpbs01, 2232576.t2zpbs01, 2232579.t2zpbs01, 2232580.t2zpbs01, 2232582.t2zpbs01
2232585.t2zpbs01, 2232586.t2zpbs01, 2232588.t2zpbs01, 2232589.t2zpbs01, 2232594.t2zpbs01
2232595.t2zpbs01, 2232629.t2zpbs01, 2232637.t2zpbs01, 2232638.t2zpbs01, 2232641.t2zpbs01
2232643.t2zpbs01, 2232649.t2zpbs01, 2232650.t2zpbs01, 2232651.t2zpbs01, 2232653.t2zpbs01
2232654.t2zpbs01, 2232655.t2zpbs01, 2232656.t2zpbs01, 2232657.t2zpbs01, 2232658.t2zpbs01
2232660.t2zpbs01, 2232692.t2zpbs01, 2232694.t2zpbs01, 2232699.t2zpbs01, 2232705.t2zpbs01
2232707.t2zpbs01, 2232708.t2zpbs01, 2232709.t2zpbs01, 2232711.t2zpbs01, 2232718.t2zpbs01
2232724.t2zpbs01, 2232774.t2zpbs01, 2232775.t2zpbs01, 2232776.t2zpbs01, 2232778.t2zpbs01
2232797.t2zpbs01, 2232810.t2zpbs01, 2232839.t2zpbs01, 2232842.t2zpbs01, 2232846.t2zpbs01
2232858.t2zpbs01, 2232859.t2zpbs01, 2232860.t2zpbs01, 2232864.t2zpbs01, 2232869.t2zpbs01
2232874.t2zpbs01, 2232875.t2zpbs01, 2232879.t2zpbs01, 2232880.t2zpbs01, 2232881.t2zpbs01
2232882.t2zpbs01, 2232883.t2zpbs01, 2232884.t2zpbs01, 2232885.t2zpbs01, 2232886.t2zpbs01
2232887.t2zpbs01, 2232888.t2zpbs01, 2232889.t2zpbs01, 2232890.t2zpbs01, 2232891.t2zpbs01
2232892.t2zpbs01, 2232893.t2zpbs01, 2232894.t2zpbs01, 2232895.t2zpbs01, 2232896.t2zpbs01
2232897.t2zpbs01, 2232899.t2zpbs01, 2232900.t2zpbs01, 2232902.t2zpbs01, 2232903.t2zpbs01
2232904.t2zpbs01, 2232905.t2zpbs01, 2232906.t2zpbs01, 2232907.t2zpbs01, 2232908.t2zpbs01
2232911.t2zpbs01, 2232917.t2zpbs01, 2232920.t2zpbs01

<S96キュー:6ジョブ>
2232719.t2zpbs01, 2232918.t2zpbs01, 2232919.t2zpbs01, 2232922.t2zpbs01, 2232923.t2zpbs01
2232925.t2zpbs01

<Gキュー:161ジョブ>
2151269.t2zpbs03, 2158632.t2zpbs03, 2159647.t2zpbs03, 2159680.t2zpbs03, 2160251.t2zpbs03
2161929.t2zpbs03, 2161930.t2zpbs03, 2162305.t2zpbs03, 2163544.t2zpbs03, 2163548.t2zpbs03
2163573.t2zpbs03, 2163574.t2zpbs03, 2163596.t2zpbs03, 2163650.t2zpbs03, 2163871.t2zpbs03
2163909.t2zpbs03, 2163921.t2zpbs03, 2163941.t2zpbs03, 2163964.t2zpbs03, 2163975.t2zpbs03
2163984.t2zpbs03, 2164015.t2zpbs03, 2164039.t2zpbs03, 2164049.t2zpbs03, 2164059.t2zpbs03
2164177.t2zpbs03, 2164242.t2zpbs03, 2164243.t2zpbs03, 2164321.t2zpbs03, 2164453.t2zpbs03
2164468.t2zpbs03, 2164469.t2zpbs03, 2164474.t2zpbs03, 2164481.t2zpbs03, 2164483.t2zpbs03
2164484.t2zpbs03, 2164485.t2zpbs03, 2164486.t2zpbs03, 2164487.t2zpbs03, 2164488.t2zpbs03
2164489.t2zpbs03, 2164490.t2zpbs03, 2164491.t2zpbs03, 2164553.t2zpbs03, 2164554.t2zpbs03
2164565.t2zpbs03, 2164566.t2zpbs03, 2164567.t2zpbs03, 2164568.t2zpbs03, 2164569.t2zpbs03
2164694.t2zpbs03, 2164695.t2zpbs03, 2164783[10].t2zpbs03, 2164783[11].t2zpbs03, 2164783[12].t2zpbs03
2164783[13].t2zpbs03, 2164783[14].t2zpbs03, 2164783[15].t2zpbs03, 2164783[16].t2zpbs03, 2164783[17].t2zpbs03
2164783[18].t2zpbs03, 2164783[19].t2zpbs03, 2164783[1].t2zpbs03, 2164783[20].t2zpbs03, 2164783[21].t2zpbs03
2164783[22].t2zpbs03, 2164783[23].t2zpbs03, 2164783[24].t2zpbs03, 2164783[25].t2zpbs03, 2164783[26].t2zpbs03
2164783[27].t2zpbs03, 2164783[28].t2zpbs03, 2164783[29].t2zpbs03, 2164783[2].t2zpbs03, 2164783[30].t2zpbs03
2164783[3].t2zpbs03, 2164783[4].t2zpbs03, 2164783[5].t2zpbs03, 2164783[6].t2zpbs03, 2164783[7].t2zpbs03
2164783[8].t2zpbs03, 2164783[9].t2zpbs03, 2164786.t2zpbs03, 2164787.t2zpbs03, 2164788.t2zpbs03
2164789.t2zpbs03, 2164790.t2zpbs03, 2164791.t2zpbs03, 2164792.t2zpbs03, 2164793.t2zpbs03
2164794.t2zpbs03, 2164795.t2zpbs03, 2164796.t2zpbs03, 2164797.t2zpbs03, 2164798.t2zpbs03
2164799.t2zpbs03, 2164800.t2zpbs03, 2164801.t2zpbs03, 2164802.t2zpbs03, 2164803.t2zpbs03
2164804.t2zpbs03, 2164805.t2zpbs03, 2164817.t2zpbs03, 2164818.t2zpbs03, 2164819.t2zpbs03
2164820.t2zpbs03, 2164821.t2zpbs03, 2164822.t2zpbs03, 2164823.t2zpbs03, 2164824.t2zpbs03
2164825.t2zpbs03, 2164826.t2zpbs03, 2164827.t2zpbs03, 2164828.t2zpbs03, 2164829.t2zpbs03
2164830.t2zpbs03, 2164831.t2zpbs03, 2164832.t2zpbs03, 2164833.t2zpbs03, 2164834.t2zpbs03
2164835.t2zpbs03, 2164836.t2zpbs03, 2164837.t2zpbs03, 2164838.t2zpbs03, 2164839.t2zpbs03
2164840.t2zpbs03, 2164841.t2zpbs03, 2164842.t2zpbs03, 2164843.t2zpbs03, 2164844.t2zpbs03
2164845.t2zpbs03, 2164846.t2zpbs03, 2164871.t2zpbs03, 2164872.t2zpbs03, 2164873.t2zpbs03
2164874.t2zpbs03, 2164875.t2zpbs03, 2164876.t2zpbs03, 2164877.t2zpbs03, 2164878.t2zpbs03
2164879.t2zpbs03, 2164880.t2zpbs03, 2164881.t2zpbs03, 2164882.t2zpbs03, 2164883.t2zpbs03
2164884.t2zpbs03, 2164885.t2zpbs03, 2164979.t2zpbs03, 2164980.t2zpbs03, 2164981.t2zpbs03
2164982.t2zpbs03, 2164983.t2zpbs03, 2165208.t2zpbs03, 2165217.t2zpbs03, 2165218.t2zpbs03
2165219.t2zpbs03, 2165221.t2zpbs03, 2165222.t2zpbs03, 2165223.t2zpbs03, 2165224.t2zpbs03
2165225.t2zpbs03

<Vキュー:162ジョブ>
2535826.t2zpbs-vm1, 2535883.t2zpbs-vm1, 2536529.t2zpbs-vm1, 2536531.t2zpbs-vm1, 2536535.t2zpbs-vm1
2536537.t2zpbs-vm1, 2536543.t2zpbs-vm1, 2536545.t2zpbs-vm1, 2536547.t2zpbs-vm1, 2536549.t2zpbs-vm1
2536557.t2zpbs-vm1, 2536559.t2zpbs-vm1, 2536562.t2zpbs-vm1, 2536574.t2zpbs-vm1, 2536577.t2zpbs-vm1
2536589.t2zpbs-vm1, 2536608.t2zpbs-vm1, 2536611.t2zpbs-vm1, 2536614.t2zpbs-vm1, 2536618.t2zpbs-vm1
2536623.t2zpbs-vm1, 2536627.t2zpbs-vm1, 2536965.t2zpbs-vm1, 2536966.t2zpbs-vm1, 2536975.t2zpbs-vm1
2536977.t2zpbs-vm1, 2536983.t2zpbs-vm1, 2536987.t2zpbs-vm1, 2536989.t2zpbs-vm1, 2536995.t2zpbs-vm1
2536999.t2zpbs-vm1, 2537001.t2zpbs-vm1, 2537086.t2zpbs-vm1, 2537108.t2zpbs-vm1, 2537110.t2zpbs-vm1
2537116.t2zpbs-vm1, 2537122.t2zpbs-vm1, 2537128.t2zpbs-vm1, 2537132.t2zpbs-vm1, 2537134.t2zpbs-vm1
2537140.t2zpbs-vm1, 2537144.t2zpbs-vm1, 2537146.t2zpbs-vm1, 2537152.t2zpbs-vm1, 2537252.t2zpbs-vm1
2537254.t2zpbs-vm1, 2537260.t2zpbs-vm1, 2537266.t2zpbs-vm1, 2537273.t2zpbs-vm1, 2537277.t2zpbs-vm1
2537279.t2zpbs-vm1, 2537285.t2zpbs-vm1, 2537289.t2zpbs-vm1, 2537291.t2zpbs-vm1, 2537452.t2zpbs-vm1
2537453.t2zpbs-vm1, 2537459.t2zpbs-vm1, 2537460.t2zpbs-vm1, 2537461.t2zpbs-vm1, 2537462.t2zpbs-vm1
2537467.t2zpbs-vm1, 2537476.t2zpbs-vm1, 2537490.t2zpbs-vm1, 2537491.t2zpbs-vm1, 2537492.t2zpbs-vm1
2537493.t2zpbs-vm1, 2537494.t2zpbs-vm1, 2537495.t2zpbs-vm1, 2537496.t2zpbs-vm1, 2537513.t2zpbs-vm1
2537514.t2zpbs-vm1, 2537515.t2zpbs-vm1, 2537516.t2zpbs-vm1, 2537517.t2zpbs-vm1, 2537530.t2zpbs-vm1
2537550.t2zpbs-vm1, 2537551.t2zpbs-vm1, 2537560.t2zpbs-vm1, 2537562.t2zpbs-vm1, 2537563.t2zpbs-vm1
2537564.t2zpbs-vm1, 2537565.t2zpbs-vm1, 2537566.t2zpbs-vm1, 2537567.t2zpbs-vm1, 2537568.t2zpbs-vm1
2537569.t2zpbs-vm1, 2537570.t2zpbs-vm1, 2537571.t2zpbs-vm1, 2537572.t2zpbs-vm1, 2537573.t2zpbs-vm1
2537576.t2zpbs-vm1, 2537577.t2zpbs-vm1, 2537578.t2zpbs-vm1, 2537579.t2zpbs-vm1, 2537580.t2zpbs-vm1
2537582.t2zpbs-vm1, 2537583.t2zpbs-vm1, 2537584.t2zpbs-vm1, 2537585.t2zpbs-vm1, 2537587.t2zpbs-vm1
2537588.t2zpbs-vm1, 2537589.t2zpbs-vm1, 2537590.t2zpbs-vm1, 2537591.t2zpbs-vm1, 2537592.t2zpbs-vm1
2537593.t2zpbs-vm1, 2537594.t2zpbs-vm1, 2537595.t2zpbs-vm1, 2537596.t2zpbs-vm1, 2537597.t2zpbs-vm1
2537598.t2zpbs-vm1, 2537599.t2zpbs-vm1, 2537600.t2zpbs-vm1, 2537601.t2zpbs-vm1, 2537602.t2zpbs-vm1
2537603.t2zpbs-vm1, 2537604.t2zpbs-vm1, 2537605.t2zpbs-vm1, 2537606.t2zpbs-vm1, 2537607.t2zpbs-vm1
2537608.t2zpbs-vm1, 2537609.t2zpbs-vm1, 2537611.t2zpbs-vm1, 2537612.t2zpbs-vm1, 2537613.t2zpbs-vm1
2537614.t2zpbs-vm1, 2537615.t2zpbs-vm1, 2537617.t2zpbs-vm1, 2537618.t2zpbs-vm1, 2537619.t2zpbs-vm1
2537620.t2zpbs-vm1, 2537621.t2zpbs-vm1, 2537622.t2zpbs-vm1, 2537624.t2zpbs-vm1, 2537625.t2zpbs-vm1
2537626.t2zpbs-vm1, 2537627.t2zpbs-vm1, 2537628.t2zpbs-vm1, 2537629.t2zpbs-vm1, 2537630.t2zpbs-vm1
2537631.t2zpbs-vm1, 2537632.t2zpbs-vm1, 2537633.t2zpbs-vm1, 2537634.t2zpbs-vm1, 2537635.t2zpbs-vm1
2537636.t2zpbs-vm1, 2537667.t2zpbs-vm1, 2537692.t2zpbs-vm1, 2537694.t2zpbs-vm1, 2537695.t2zpbs-vm1
2537697.t2zpbs-vm1, 2537755.t2zpbs-vm1, 2537756.t2zpbs-vm1, 2537757.t2zpbs-vm1, 2537761.t2zpbs-vm1
2537762.t2zpbs-vm1, 2537763.t2zpbs-vm1, 2537764.t2zpbs-vm1, 2537765.t2zpbs-vm1, 2537766.t2zpbs-vm1
2537769.t2zpbs-vm1, 2537770.t2zpbs-vm1

<Uキュー:1ジョブ>
2537639.t2zpbs-vm1

<L256キュー:4ジョブ>
2232924.t2zpbs01, 2232926.t2zpbs01, 2232927.t2zpbs01, 2232928.t2zpbs01

<Hキュー:2ジョブ>
1250308.t2zpbs05, 1250309.t2zpbs05

<Xキュー:9ジョブ>
1250379.t2zpbs05, 1250398.t2zpbs05, 1250426.t2zpbs05, 1250442.t2zpbs05, 1250443.t2zpbs05
1250444.t2zpbs05, 1250445.t2zpbs05, 1250446.t2zpbs05, 1250447.t2zpbs05