このページの更新は終了しました。

最新の情報はTSUBAME3.0計算サービスのWebページをご覧ください。

TSUBAME2.5からTSUBAME3.0へのデータ移行方法の資料はこちら

【障害報告】2016.5.11発生:/work1 ストレージ障害

(グループディスクを利用している方向けの情報です)

                             学術国際情報センター
平成28年5月13日

 下記の通りストレージに障害が発生し、復旧いたしました。

 日時:5月11日(水) 15:10 から 16:24 頃

 影響: /work1 にアクセスできない

 詳細:

/work1 を構成する2台で冗長化されている MDS(MetaData Server) として稼働していた1台の t2s007015 においてLustre の処理がスタックする問題が発生致しました。

MDS の処理がスタックしたため、Lustre クライアントである各計算ノードからは/work1 のメタデータを取得できなくなりました。その結果、/work1 にアクセスができなくなる影響が発生しました。

復旧のため、MDS のサービス(MDT, MetaData Target)をt2s007013 に手動でフェイルオーバーさせることで、障害から回復しました。

[備考]
2015年7月3日に発生した障害と同様の内容になります。
http://tsubame.gsic.titech.ac.jp/node/1364
現在、/work1 の MDT は t2s007013 で稼働している状況です。

用語説明

MDS:Lustreファイルシステムにおいて、計算ノードに対してファイルのメタ情報を実際に送受信するサーバ

MDT:Lustreファイルシステムにおいて、ファイルのメタ情報を実際に保存しているディスクの集合体


 なお、影響があったと思われるジョブ(障害発生期間中に実行中であったジョブ)の一覧は下記の通りです。

(Sキュー)
1722383.t2zpbs01 1722436.t2zpbs01 1723914.t2zpbs01 1724321.t2zpbs01 1724322.t2zpbs01
1724323.t2zpbs01 1724324.t2zpbs01 1724325.t2zpbs01 1724326.t2zpbs01 1724327.t2zpbs01
1724328.t2zpbs01 1724329.t2zpbs01 1724330.t2zpbs01 1724331.t2zpbs01 1724332.t2zpbs01
1724333.t2zpbs01 1724334.t2zpbs01 1724335.t2zpbs01 1724336.t2zpbs01 1724337.t2zpbs01
1724339.t2zpbs01 1724340.t2zpbs01 1724341.t2zpbs01 1724342.t2zpbs01 1724343.t2zpbs01
1724344.t2zpbs01 1724345.t2zpbs01 1724346.t2zpbs01 1724347.t2zpbs01 1724349.t2zpbs01
1724350.t2zpbs01 1724792.t2zpbs01 1725043.t2zpbs01 1725046.t2zpbs01 1725048.t2zpbs01
1725051.t2zpbs01 1725081.t2zpbs01 1725088.t2zpbs01 1725142.t2zpbs01 1725173.t2zpbs01
1725185.t2zpbs01 1725225.t2zpbs01 1725271.t2zpbs01 1725300.t2zpbs01 1725303.t2zpbs01
1725327.t2zpbs01 1725328.t2zpbs01 1725329.t2zpbs01 1725330.t2zpbs01 1725331.t2zpbs01
1725334.t2zpbs01 1725338.t2zpbs01 1725354.t2zpbs01 1725357.t2zpbs01 1725359.t2zpbs01
1725362.t2zpbs01 1725367.t2zpbs01 1725368.t2zpbs01 1725369.t2zpbs01 1725370.t2zpbs01
1725371.t2zpbs01 1725374.t2zpbs01 1725381.t2zpbs01 1725383.t2zpbs01 1725386.t2zpbs01
1725391.t2zpbs01 1725395.t2zpbs01 1725396.t2zpbs01 1725397.t2zpbs01 1725399.t2zpbs01
1725400.t2zpbs01 1725401.t2zpbs01 1725403.t2zpbs01

(S[X] キュー)
912006.t2zpbs05 912008.t2zpbs05 912009.t2zpbs05 912010.t2zpbs05 912011.t2zpbs05
912012.t2zpbs05 912015.t2zpbs05 912263.t2zpbs05 912318.t2zpbs05 912322.t2zpbs05
912323.t2zpbs05 912440.t2zpbs05 912441.t2zpbs05 912444.t2zpbs05 912445.t2zpbs05
912446.t2zpbs05 912554.t2zpbs05 912556.t2zpbs05 912562.t2zpbs05 912563.t2zpbs05
912564.t2zpbs05 912565.t2zpbs05 912566.t2zpbs05 912567.t2zpbs05 912568.t2zpbs05
912569.t2zpbs05 912571.t2zpbs05 912577.t2zpbs05 912578.t2zpbs05 912591.t2zpbs05
912592.t2zpbs05 912594.t2zpbs05 912595.t2zpbs05 912596.t2zpbs05 912597.t2zpbs05
912598.t2zpbs05 912599.t2zpbs05 912600.t2zpbs05 912601.t2zpbs05 912602.t2zpbs05
912604.t2zpbs05 912605.t2zpbs05 912606.t2zpbs05 912607.t2zpbs05 912608.t2zpbs05
912609.t2zpbs05 912610.t2zpbs05 912611.t2zpbs05 912612.t2zpbs05 912613.t2zpbs05
912614.t2zpbs05 912615.t2zpbs05 912616.t2zpbs05 912617.t2zpbs05 912618.t2zpbs05
912619.t2zpbs05 912620.t2zpbs05 912621.t2zpbs05 912622.t2zpbs05 912623.t2zpbs05

(S96 キュー)
1724721.t2zpbs01 1725194.t2zpbs01 1725197.t2zpbs01 1725198.t2zpbs01 1725200.t2zpbs01
1725202.t2zpbs01 1725203.t2zpbs01 1725207.t2zpbs01 1725388.t2zpbs01 1725389.t2zpbs01
1725392.t2zpbs01 1725393.t2zpbs01 1725398.t2zpbs01 1725402.t2zpbs01 1725404.t2zpbs01

(L256 キュー)
該当ジョブ無し

(L512 キュー)
1725385.t2zpbs01

(G キュー)
2019530.t2zpbs03 2019619.t2zpbs03 2019623.t2zpbs03 2019628.t2zpbs03 2019877.t2zpbs03
2019879.t2zpbs03 2019881.t2zpbs03 2019882.t2zpbs03 2019892.t2zpbs03 2019915.t2zpbs03
2019921.t2zpbs03 2019972.t2zpbs03 2019974.t2zpbs03 2019978.t2zpbs03 2019993.t2zpbs03
2019994.t2zpbs03 2019996.t2zpbs03 2019997.t2zpbs03 2019998.t2zpbs03 2019999.t2zpbs03
2020000.t2zpbs03 2020001.t2zpbs03 2020002.t2zpbs03 2020003.t2zpbs03 2020004.t2zpbs03
2020006.t2zpbs03 2020008.t2zpbs03 2020011.t2zpbs03 2020012.t2zpbs03 2020013.t2zpbs03
2020014.t2zpbs03 2020015.t2zpbs03 2020017.t2zpbs03 2020018.t2zpbs03 2020019.t2zpbs03
2020020.t2zpbs03 2020021.t2zpbs03 2020022.t2zpbs03 2020024.t2zpbs03 2020025.t2zpbs03
2020026.t2zpbs03 2020027.t2zpbs03 2020028.t2zpbs03 2020030.t2zpbs03 2020321.t2zpbs03
2020397.t2zpbs03 2020399.t2zpbs03 2020412.t2zpbs03 2020436.t2zpbs03 2020437.t2zpbs03
2020440.t2zpbs03 2020441.t2zpbs03 2020442.t2zpbs03 2020443.t2zpbs03 2020444.t2zpbs03
2020445.t2zpbs03 2020446.t2zpbs03 2020447.t2zpbs03 2020448.t2zpbs03 2020449.t2zpbs03
2020450.t2zpbs03 2020457.t2zpbs03 2020460.t2zpbs03 2020464.t2zpbs03 2020518.t2zpbs03
2020523.t2zpbs03 2020524.t2zpbs03 2020525.t2zpbs03 2020526.t2zpbs03

(V キュー)
1716598.t2zpbs-vm1 1716599.t2zpbs-vm1 1716600.t2zpbs-vm1 1716602.t2zpbs-vm1 1716603.t2zpbs-vm1
1716604.t2zpbs-vm1 1716605.t2zpbs-vm1 1716606.t2zpbs-vm1 1716607.t2zpbs-vm1 1716608.t2zpbs-vm1
1716609.t2zpbs-vm1 1716610.t2zpbs-vm1 1716611.t2zpbs-vm1 1716612.t2zpbs-vm1 1716613.t2zpbs-vm1
1716614.t2zpbs-vm1 1716615.t2zpbs-vm1 1716616.t2zpbs-vm1 1716617.t2zpbs-vm1 1716618.t2zpbs-vm1
1716619.t2zpbs-vm1 1716620.t2zpbs-vm1 1716621.t2zpbs-vm1 1720855.t2zpbs-vm1 1721246.t2zpbs-vm1
1721367.t2zpbs-vm1 1721437.t2zpbs-vm1 1721539.t2zpbs-vm1 1721543.t2zpbs-vm1 1721549.t2zpbs-vm1
1721562.t2zpbs-vm1 1721599.t2zpbs-vm1 1721602.t2zpbs-vm1 1721609.t2zpbs-vm1 1721626.t2zpbs-vm1
1721630.t2zpbs-vm1 1721652.t2zpbs-vm1 1721655.t2zpbs-vm1 1721658.t2zpbs-vm1 1722261.t2zpbs-vm1
1722262.t2zpbs-vm1 1722263.t2zpbs-vm1 1722481.t2zpbs-vm1 1722598.t2zpbs-vm1 1722870.t2zpbs-vm1
1722599.t2zpbs-vm1 1722601.t2zpbs-vm1 1722602.t2zpbs-vm1 1722603.t2zpbs-vm1 1722604.t2zpbs-vm1
1722606.t2zpbs-vm1 1722608.t2zpbs-vm1 1722610.t2zpbs-vm1 1722611.t2zpbs-vm1 1722612.t2zpbs-vm1
1722614.t2zpbs-vm1 1722615.t2zpbs-vm1 1722621.t2zpbs-vm1 1722622.t2zpbs-vm1 1722623.t2zpbs-vm1
1722624.t2zpbs-vm1 1722626.t2zpbs-vm1 1722629.t2zpbs-vm1 1722630.t2zpbs-vm1 1722632.t2zpbs-vm1
1722634.t2zpbs-vm1 1722636.t2zpbs-vm1 1722637.t2zpbs-vm1 1722638.t2zpbs-vm1 1722640.t2zpbs-vm1
1722641.t2zpbs-vm1 1722642.t2zpbs-vm1 1722643.t2zpbs-vm1 1722644.t2zpbs-vm1 1722645.t2zpbs-vm1
1722646.t2zpbs-vm1 1722647.t2zpbs-vm1 1722648.t2zpbs-vm1 1722649.t2zpbs-vm1 1722650.t2zpbs-vm1
1722653.t2zpbs-vm1 1722654.t2zpbs-vm1 1722655.t2zpbs-vm1 1722656.t2zpbs-vm1 1722658.t2zpbs-vm1
1722660.t2zpbs-vm1 1722661.t2zpbs-vm1 1722662.t2zpbs-vm1 1722663.t2zpbs-vm1 1722664.t2zpbs-vm1
1722668.t2zpbs-vm1 1722669.t2zpbs-vm1 1722670.t2zpbs-vm1 1722671.t2zpbs-vm1 1722672.t2zpbs-vm1
1722673.t2zpbs-vm1 1722674.t2zpbs-vm1 1722675.t2zpbs-vm1 1722676.t2zpbs-vm1 1722677.t2zpbs-vm1
1722678.t2zpbs-vm1 1722679.t2zpbs-vm1 1722680.t2zpbs-vm1 1722682.t2zpbs-vm1 1722684.t2zpbs-vm1
1722685.t2zpbs-vm1 1722686.t2zpbs-vm1 1722687.t2zpbs-vm1 1722688.t2zpbs-vm1 1722689.t2zpbs-vm1
1722690.t2zpbs-vm1 1722691.t2zpbs-vm1 1722692.t2zpbs-vm1 1722693.t2zpbs-vm1 1722694.t2zpbs-vm1
1722695.t2zpbs-vm1 1722696.t2zpbs-vm1 1722697.t2zpbs-vm1 1722699.t2zpbs-vm1 1722700.t2zpbs-vm1
1722702.t2zpbs-vm1 1722703.t2zpbs-vm1 1722792.t2zpbs-vm1 1723079.t2zpbs-vm1 1723081.t2zpbs-vm1
1723082.t2zpbs-vm1 1723106.t2zpbs-vm1 1723113.t2zpbs-vm1 1723114.t2zpbs-vm1 1723115.t2zpbs-vm1
1723121.t2zpbs-vm1 1723122.t2zpbs-vm1 1723123.t2zpbs-vm1 1723161.t2zpbs-vm1 1723162.t2zpbs-vm1
1723163.t2zpbs-vm1 1723164.t2zpbs-vm1 1723165.t2zpbs-vm1 1723166.t2zpbs-vm1 1723167.t2zpbs-vm1
1723168.t2zpbs-vm1 1723169.t2zpbs-vm1 1723170.t2zpbs-vm1 1723171.t2zpbs-vm1 1723172.t2zpbs-vm1
1723173.t2zpbs-vm1 1723174.t2zpbs-vm1 1723175.t2zpbs-vm1 1723176.t2zpbs-vm1 1723177.t2zpbs-vm1
1723178.t2zpbs-vm1 1723179.t2zpbs-vm1 1723180.t2zpbs-vm1 1723181.t2zpbs-vm1 1723182.t2zpbs-vm1
1723183.t2zpbs-vm1 1723184.t2zpbs-vm1 1723185.t2zpbs-vm1 1723186.t2zpbs-vm1 1723187.t2zpbs-vm1
1723188.t2zpbs-vm1 1723189.t2zpbs-vm1 1723190.t2zpbs-vm1 1723191.t2zpbs-vm1 1723192.t2zpbs-vm1
1723193.t2zpbs-vm1 1723194.t2zpbs-vm1 1723195.t2zpbs-vm1 1723196.t2zpbs-vm1 1723197.t2zpbs-vm1
1723198.t2zpbs-vm1 1723199.t2zpbs-vm1 1723200.t2zpbs-vm1 1723201.t2zpbs-vm1 1723202.t2zpbs-vm1
1723203.t2zpbs-vm1 1723204.t2zpbs-vm1 1723205.t2zpbs-vm1 1723206.t2zpbs-vm1 1723207.t2zpbs-vm1
1723208.t2zpbs-vm1 1723209.t2zpbs-vm1 1723210.t2zpbs-vm1 1723211.t2zpbs-vm1 1723212.t2zpbs-vm1
1723213.t2zpbs-vm1 1723214.t2zpbs-vm1 1723215.t2zpbs-vm1 1723216.t2zpbs-vm1 1723217.t2zpbs-vm1
1723218.t2zpbs-vm1 1723219.t2zpbs-vm1 1723220.t2zpbs-vm1 1723221.t2zpbs-vm1 1723222.t2zpbs-vm1
1723223.t2zpbs-vm1 1723224.t2zpbs-vm1 1723225.t2zpbs-vm1 1723226.t2zpbs-vm1 1723227.t2zpbs-vm1
1723228.t2zpbs-vm1 1723229.t2zpbs-vm1 1723230.t2zpbs-vm1 1723231.t2zpbs-vm1 1723232.t2zpbs-vm1
1723233.t2zpbs-vm1 1723234.t2zpbs-vm1 1723235.t2zpbs-vm1 1723236.t2zpbs-vm1 1723237.t2zpbs-vm1
1723238.t2zpbs-vm1 1723239.t2zpbs-vm1 1723240.t2zpbs-vm1 1723241.t2zpbs-vm1 1723242.t2zpbs-vm1
1723243.t2zpbs-vm1 1723244.t2zpbs-vm1 1723245.t2zpbs-vm1 1723246.t2zpbs-vm1 1723247.t2zpbs-vm1
1723248.t2zpbs-vm1 1723249.t2zpbs-vm1 1723250.t2zpbs-vm1 1723251.t2zpbs-vm1 1723252.t2zpbs-vm1
1723253.t2zpbs-vm1 1723254.t2zpbs-vm1 1723255.t2zpbs-vm1 1723256.t2zpbs-vm1 1723257.t2zpbs-vm1
1723258.t2zpbs-vm1 1723259.t2zpbs-vm1 1723260.t2zpbs-vm1 1723261.t2zpbs-vm1 1723262.t2zpbs-vm1
1723263.t2zpbs-vm1 1723264.t2zpbs-vm1 1723265.t2zpbs-vm1 1723266.t2zpbs-vm1 1723267.t2zpbs-vm1
1723268.t2zpbs-vm1 1723269.t2zpbs-vm1 1723270.t2zpbs-vm1 1723271.t2zpbs-vm1 1723272.t2zpbs-vm1
1723273.t2zpbs-vm1 1723274.t2zpbs-vm1 1723275.t2zpbs-vm1 1723276.t2zpbs-vm1 1723277.t2zpbs-vm1
1723278.t2zpbs-vm1 1723279.t2zpbs-vm1 1723280.t2zpbs-vm1 1723281.t2zpbs-vm1 1723282.t2zpbs-vm1
1723283.t2zpbs-vm1 1723284.t2zpbs-vm1 1723285.t2zpbs-vm1 1723286.t2zpbs-vm1 1723287.t2zpbs-vm1
1723288.t2zpbs-vm1 1723289.t2zpbs-vm1 1723290.t2zpbs-vm1 1723291.t2zpbs-vm1 1723292.t2zpbs-vm1
1723390.t2zpbs-vm1 1723405.t2zpbs-vm1 1723411.t2zpbs-vm1 1723424.t2zpbs-vm1 1723425.t2zpbs-vm1
1723426.t2zpbs-vm1 1723427.t2zpbs-vm1 1723428.t2zpbs-vm1 1723430.t2zpbs-vm1 1723470.t2zpbs-vm1
1723475.t2zpbs-vm1 1723481.t2zpbs-vm1 1723501.t2zpbs-vm1 1723504.t2zpbs-vm1 1723505.t2zpbs-vm1
1723515.t2zpbs-vm1 1723525.t2zpbs-vm1 1723536.t2zpbs-vm1 1723551.t2zpbs-vm1 1723553.t2zpbs-vm1
1723555.t2zpbs-vm1 1723556.t2zpbs-vm1 1723557.t2zpbs-vm1 1723567.t2zpbs-vm1 1723573.t2zpbs-vm1
1723574.t2zpbs-vm1 1723579.t2zpbs-vm1 1723580.t2zpbs-vm1 1723581.t2zpbs-vm1 1723582.t2zpbs-vm1
1723583.t2zpbs-vm1 1723584.t2zpbs-vm1 1723586.t2zpbs-vm1 1723587.t2zpbs-vm1 1723588.t2zpbs-vm1
1723591.t2zpbs-vm1 1723621.t2zpbs-vm1 1723622.t2zpbs-vm1 1723623.t2zpbs-vm1 1723624.t2zpbs-vm1
1723625.t2zpbs-vm1 1723626.t2zpbs-vm1 1723628.t2zpbs-vm1 1723629.t2zpbs-vm1 1723630.t2zpbs-vm1
1723631.t2zpbs-vm1 1723632.t2zpbs-vm1 1723633.t2zpbs-vm1 1723634.t2zpbs-vm1 1723635.t2zpbs-vm1
1723636.t2zpbs-vm1 1723637.t2zpbs-vm1 1723638.t2zpbs-vm1 1723639.t2zpbs-vm1 1723640.t2zpbs-vm1
1723641.t2zpbs-vm1 1723642.t2zpbs-vm1

(U キュー)
1723585.t2zpbs-vm1 1723627.t2zpbs-vm1

(予約キュー)
908283.t2zpbs05 908284.t2zpbs05 908285.t2zpbs05 908286.t2zpbs05 908287.t2zpbs05
908288.t2zpbs05 908289.t2zpbs05 908290.t2zpbs05 908291.t2zpbs05 908292.t2zpbs05
908293.t2zpbs05 908294.t2zpbs05 908295.t2zpbs05 908296.t2zpbs05 908297.t2zpbs05
908298.t2zpbs05 908299.t2zpbs05 908300.t2zpbs05 908301.t2zpbs05 908302.t2zpbs05
908303.t2zpbs05 908304.t2zpbs05 908305.t2zpbs05 908306.t2zpbs05 908307.t2zpbs05
908308.t2zpbs05 908309.t2zpbs05 908310.t2zpbs05 908311.t2zpbs05 908313.t2zpbs05
908314.t2zpbs05 908315.t2zpbs05 908316.t2zpbs05 908317.t2zpbs05 908318.t2zpbs05
908319.t2zpbs05 908320.t2zpbs05 908321.t2zpbs05 908322.t2zpbs05 908323.t2zpbs05
908324.t2zpbs05 908325.t2zpbs05 908326.t2zpbs05 908327.t2zpbs05 908328.t2zpbs05
908329.t2zpbs05 908330.t2zpbs05 908331.t2zpbs05 908332.t2zpbs05 908333.t2zpbs05
908435.t2zpbs05 908436.t2zpbs05 908437.t2zpbs05 908438.t2zpbs05 908439.t2zpbs05
908440.t2zpbs05 908441.t2zpbs05 908442.t2zpbs05 908443.t2zpbs05 908444.t2zpbs05
908446.t2zpbs05 908447.t2zpbs05 908448.t2zpbs05 908449.t2zpbs05 908450.t2zpbs05
908451.t2zpbs05 908452.t2zpbs05 908453.t2zpbs05 908454.t2zpbs05 908455.t2zpbs05
908456.t2zpbs05 908457.t2zpbs05 908458.t2zpbs05 908459.t2zpbs05 908460.t2zpbs05
908461.t2zpbs05 908462.t2zpbs05 908463.t2zpbs05 908464.t2zpbs05 908465.t2zpbs05
908466.t2zpbs05 908467.t2zpbs05 908468.t2zpbs05 908469.t2zpbs05 908470.t2zpbs05
908471.t2zpbs05 908472.t2zpbs05 908473.t2zpbs05 908474.t2zpbs05 908475.t2zpbs05
908476.t2zpbs05 908477.t2zpbs05 908478.t2zpbs05 908479.t2zpbs05 908480.t2zpbs05
908481.t2zpbs05 908482.t2zpbs05 908483.t2zpbs05 908484.t2zpbs05 908546.t2zpbs05
908547.t2zpbs05 908548.t2zpbs05 908549.t2zpbs05 908550.t2zpbs05 908551.t2zpbs05
908552.t2zpbs05 908553.t2zpbs05 908554.t2zpbs05 908555.t2zpbs05 908556.t2zpbs05
908557.t2zpbs05 908558.t2zpbs05 908559.t2zpbs05 908560.t2zpbs05 908561.t2zpbs05
908562.t2zpbs05 908563.t2zpbs05 908564.t2zpbs05 908565.t2zpbs05 908566.t2zpbs05
908567.t2zpbs05 908568.t2zpbs05 908569.t2zpbs05 908570.t2zpbs05 908571.t2zpbs05
908572.t2zpbs05 908573.t2zpbs05 908574.t2zpbs05 908575.t2zpbs05 910196.t2zpbs05
912324.t2zpbs05 912326.t2zpbs05 912327.t2zpbs05 912329.t2zpbs05 912330.t2zpbs05
912331.t2zpbs05 912332.t2zpbs05 912333.t2zpbs05 912334.t2zpbs05 912335.t2zpbs05
912447.t2zpbs05 912506.t2zpbs05 912507.t2zpbs05 912508.t2zpbs05 912509.t2zpbs05
912511.t2zpbs05 912512.t2zpbs05 912513.t2zpbs05 912514.t2zpbs05 912515.t2zpbs05
912516.t2zpbs05 912517.t2zpbs05 912518.t2zpbs05 912519.t2zpbs05 912520.t2zpbs05
912521.t2zpbs05 912522.t2zpbs05 912523.t2zpbs05 912524.t2zpbs05 912525.t2zpbs05
912526.t2zpbs05 912527.t2zpbs05 912528.t2zpbs05 912529.t2zpbs05 912530.t2zpbs05
912531.t2zpbs05 912532.t2zpbs05 912533.t2zpbs05 912534.t2zpbs05