このページの更新は終了しました。

最新の情報はTSUBAME3.0計算サービスのWebページをご覧ください。

TSUBAME2.5からTSUBAME3.0へのデータ移行方法の資料はこちら

【障害報告】2017.5.9発生:/work1 ストレージ障害

(グループディスクを利用している方向けの情報です)

                             学術国際情報センター
2017年5月11日

 下記の通りストレージに障害が発生し、復旧いたしました。

 時間帯:5月9(火)10:44から13:14頃

 影響:一部の計算サーバから/work1にアクセスできない。復旧中に一時的に/gscr0にアクセスできない。

 詳細:

/work1を構成する2台で冗長化されたMDSの1台(t2s007013)が不安定となり(5/1の障害で待機系である013で稼働中)、一部の計算ノードとreconnecting/refused reconnectionのエラーが発生しており、work1にI/Oできなかったジョブがあると考えられます。フェイルオーバ時に資源をともにする/gscr0にもアクセス不能(12:29から12:54)となりましたが13:14に復旧しました。

 

用語説明

OST:Lustreファイルシステムにおいて、ファイルの中身を実際に保存しているディスクの集合体

MDS:Lustreファイルシステムにおいて、計算ノードに対してファイルのメタ情報を実際に送受信するサーバ

MDT:Lustreファイルシステムにおいて、ファイルのメタ情報を実際に保存しているディスクの集合体


なお、影響があったと思われるジョブ(障害発生期間中に実行中であったジョブ)の一覧は下記の通りです。

<Sキュー:101ジョブ>
2173462.t2zpbs01, 2173463.t2zpbs01, 2173464.t2zpbs01, 2173465.t2zpbs01, 2173466.t2zpbs01
2173594.t2zpbs01, 2173595.t2zpbs01, 2173596.t2zpbs01, 2173597.t2zpbs01, 2173598.t2zpbs01
2173599.t2zpbs01, 2173600.t2zpbs01, 2173601.t2zpbs01, 2173602.t2zpbs01, 2173603.t2zpbs01
2173604.t2zpbs01, 2173605.t2zpbs01, 2173606.t2zpbs01, 2173607.t2zpbs01, 2173608.t2zpbs01
2173609.t2zpbs01, 2173637.t2zpbs01, 2173640.t2zpbs01, 2173642.t2zpbs01, 2173643.t2zpbs01
2173644.t2zpbs01, 2173645.t2zpbs01, 2173646.t2zpbs01, 2173647.t2zpbs01, 2173769.t2zpbs01
2173858.t2zpbs01, 2173873.t2zpbs01, 2173879.t2zpbs01, 2173911.t2zpbs01, 2173912.t2zpbs01
2173917.t2zpbs01, 2173964.t2zpbs01, 2173965.t2zpbs01, 2173967.t2zpbs01, 2173968.t2zpbs01
2173969.t2zpbs01, 2173970.t2zpbs01, 2173971.t2zpbs01, 2173972.t2zpbs01, 2173973.t2zpbs01
2173975.t2zpbs01, 2173976.t2zpbs01, 2173978.t2zpbs01, 2173979.t2zpbs01, 2173980.t2zpbs01
2173981.t2zpbs01, 2173982.t2zpbs01, 2173983.t2zpbs01, 2173984.t2zpbs01, 2173985.t2zpbs01
2173986.t2zpbs01, 2173987.t2zpbs01, 2173988.t2zpbs01, 2173989.t2zpbs01, 2173990.t2zpbs01
2173991.t2zpbs01, 2173992.t2zpbs01, 2173993.t2zpbs01, 2173995.t2zpbs01, 2173997.t2zpbs01
2173998.t2zpbs01, 2174108.t2zpbs01, 2174114.t2zpbs01, 2174115.t2zpbs01, 2174116.t2zpbs01
2174117.t2zpbs01, 2174118.t2zpbs01, 2174120.t2zpbs01, 2174157.t2zpbs01, 2174202.t2zpbs01
2174203.t2zpbs01, 2174204.t2zpbs01, 2174206.t2zpbs01, 2174207.t2zpbs01, 2174208.t2zpbs01
2174255.t2zpbs01, 2174257.t2zpbs01, 2174261.t2zpbs01, 2174262.t2zpbs01, 2174263.t2zpbs01
2174264.t2zpbs01, 2174265.t2zpbs01, 2174266.t2zpbs01, 2174268.t2zpbs01, 2174269.t2zpbs01
2174693.t2zpbs01, 2174732.t2zpbs01, 2174733.t2zpbs01, 2174737.t2zpbs01, 2174738.t2zpbs01
2174739.t2zpbs01, 2174740.t2zpbs01, 2174742.t2zpbs01, 2174743.t2zpbs01, 2174744.t2zpbs01
2174745.t2zpbs01

<S96キュー:4ジョブ>
2173631.t2zpbs01, 2173632.t2zpbs01, 2173633.t2zpbs01, 2173634.t2zpbs01

<Gキュー:123ジョブ>
2123566[944].t2zpbs03, 2123566[945].t2zpbs03, 2123566[946].t2zpbs03, 2123566[947].t2zpbs03, 2123566[948].t2zpbs03
2123566[949].t2zpbs03, 2123566[950].t2zpbs03, 2123566[951].t2zpbs03, 2123566[952].t2zpbs03, 2123566[953].t2zpbs03
2123566[954].t2zpbs03, 2123566[955].t2zpbs03, 2123566[956].t2zpbs03, 2123566[957].t2zpbs03, 2123566[958].t2zpbs03
2123566[959].t2zpbs03, 2123566[960].t2zpbs03, 2123566[961].t2zpbs03, 2123566[962].t2zpbs03, 2123566[963].t2zpbs03
2123566[964].t2zpbs03, 2123566[965].t2zpbs03, 2123566[966].t2zpbs03, 2123566[967].t2zpbs03, 2123566[968].t2zpbs03
2123566[969].t2zpbs03, 2123566[970].t2zpbs03, 2123566[971].t2zpbs03, 2123566[972].t2zpbs03, 2123566[973].t2zpbs03
2123566[974].t2zpbs03, 2123566[975].t2zpbs03, 2123566[976].t2zpbs03, 2123566[977].t2zpbs03, 2123566[978].t2zpbs03
2123566[979].t2zpbs03, 2123576.t2zpbs03, 2123593.t2zpbs03, 2123629.t2zpbs03, 2123630.t2zpbs03
2123631.t2zpbs03, 2123632.t2zpbs03, 2123633.t2zpbs03, 2123634.t2zpbs03, 2123635.t2zpbs03
2123636.t2zpbs03, 2123637.t2zpbs03, 2123638.t2zpbs03, 2123639.t2zpbs03, 2123640.t2zpbs03
2123641.t2zpbs03, 2123642.t2zpbs03, 2123643.t2zpbs03, 2123644.t2zpbs03, 2123645.t2zpbs03
2123646.t2zpbs03, 2123647.t2zpbs03, 2123648.t2zpbs03, 2123649.t2zpbs03, 2123650.t2zpbs03
2123651.t2zpbs03, 2123652.t2zpbs03, 2123653.t2zpbs03, 2123654.t2zpbs03, 2123655.t2zpbs03
2123656.t2zpbs03, 2123657.t2zpbs03, 2123658.t2zpbs03, 2123668.t2zpbs03, 2123669.t2zpbs03
2123676.t2zpbs03, 2123677.t2zpbs03, 2123686.t2zpbs03, 2123687.t2zpbs03, 2123702.t2zpbs03
2123735.t2zpbs03, 2123736.t2zpbs03, 2123737.t2zpbs03, 2123740.t2zpbs03, 2123746.t2zpbs03
2123747.t2zpbs03, 2123749.t2zpbs03, 2123750.t2zpbs03, 2123752.t2zpbs03, 2123753.t2zpbs03
2123757.t2zpbs03, 2123758.t2zpbs03, 2123759.t2zpbs03, 2123760.t2zpbs03, 2123761.t2zpbs03
2123762.t2zpbs03, 2123766.t2zpbs03, 2123767.t2zpbs03, 2123768.t2zpbs03, 2123769.t2zpbs03
2123770.t2zpbs03, 2123771.t2zpbs03, 2123772.t2zpbs03, 2123774.t2zpbs03, 2123775.t2zpbs03
2123776.t2zpbs03, 2123777.t2zpbs03, 2123778.t2zpbs03, 2123779.t2zpbs03, 2123780.t2zpbs03
2123781.t2zpbs03, 2123782.t2zpbs03, 2123783.t2zpbs03, 2123784.t2zpbs03, 2123785.t2zpbs03
2123786.t2zpbs03, 2123787.t2zpbs03, 2123788.t2zpbs03, 2123789.t2zpbs03, 2123790.t2zpbs03
2123791.t2zpbs03, 2123792.t2zpbs03, 2123793.t2zpbs03, 2123794.t2zpbs03, 2123795.t2zpbs03
2123801.t2zpbs03, 2123802.t2zpbs03, 2123805.t2zpbs03

<Vキュー:61ジョブ>
2485577.t2zpbs-vm1, 2485974.t2zpbs-vm1, 2487856.t2zpbs-vm1, 2487857.t2zpbs-vm1, 2487858.t2zpbs-vm1
2487859.t2zpbs-vm1, 2487860.t2zpbs-vm1, 2487861.t2zpbs-vm1, 2487862.t2zpbs-vm1, 2487863.t2zpbs-vm1
2489124.t2zpbs-vm1, 2489129.t2zpbs-vm1, 2489136.t2zpbs-vm1, 2489137.t2zpbs-vm1, 2489138.t2zpbs-vm1
2489139.t2zpbs-vm1, 2489141.t2zpbs-vm1, 2489146.t2zpbs-vm1, 2489147.t2zpbs-vm1, 2489148.t2zpbs-vm1
2489149.t2zpbs-vm1, 2489150.t2zpbs-vm1, 2489151.t2zpbs-vm1, 2489152.t2zpbs-vm1, 2489162.t2zpbs-vm1
2489186.t2zpbs-vm1, 2489187.t2zpbs-vm1, 2489188.t2zpbs-vm1, 2489189.t2zpbs-vm1, 2489197.t2zpbs-vm1
2489204.t2zpbs-vm1, 2489210.t2zpbs-vm1, 2489211.t2zpbs-vm1, 2489212.t2zpbs-vm1, 2489278.t2zpbs-vm1
2489279.t2zpbs-vm1, 2489280.t2zpbs-vm1, 2489282.t2zpbs-vm1, 2489283.t2zpbs-vm1, 2489284.t2zpbs-vm1
2489285.t2zpbs-vm1, 2489286.t2zpbs-vm1, 2489287.t2zpbs-vm1, 2489288.t2zpbs-vm1, 2489289.t2zpbs-vm1
2489290.t2zpbs-vm1, 2489291.t2zpbs-vm1, 2489292.t2zpbs-vm1, 2489293.t2zpbs-vm1, 2489294.t2zpbs-vm1
2489295.t2zpbs-vm1, 2489296.t2zpbs-vm1, 2489297.t2zpbs-vm1, 2489298.t2zpbs-vm1, 2489299.t2zpbs-vm1
2489300.t2zpbs-vm1, 2489302.t2zpbs-vm1, 2489305.t2zpbs-vm1, 2489307.t2zpbs-vm1, 2489308.t2zpbs-vm1
2489309.t2zpbs-vm1

<Uキュー:6ジョブ>
2489192.t2zpbs-vm1, 2489193.t2zpbs-vm1, 2489196.t2zpbs-vm1, 2489214.t2zpbs-vm1, 2489301.t2zpbs-vm1
2489306.t2zpbs-vm1

<Hキュー:2ジョブ>
1184223.t2zpbs05, 1184224.t2zpbs05

<Xキュー:5ジョブ>
1187302.t2zpbs05, 1187303.t2zpbs05, 1187308.t2zpbs05, 1187309.t2zpbs05, 1187310.t2zpbs05