このページの更新は終了しました。

最新の情報はTSUBAME3.0計算サービスのWebページをご覧ください。

TSUBAME2.5からTSUBAME3.0へのデータ移行方法の資料はこちら

【障害報告】2015.11.14発生:/work1, /gscr0 ストレージ障害

(バッチキューを利用している全ての方向けの情報です)

                             学術国際情報センター
平成27年11月17日

下記の通りストレージに障害が発生しました。皆様にはご迷惑をおかけして申し訳ございませんでした。

日時:11月14日(土) 18:50 から 19:30 頃

影響:

/work1, /gscr0 上のファイル、ディレクトリへのI/Oが一時的に出来なくなりました。8台あるOSSの中の1台のt2s007045がマウントするOST(gscr0_OST04、work1_OST34〜40)上のファイル、ディレクトリが該当します。

詳細:

8台あるOSSの中の1台であるt2s007045が過負荷によりSTONITHの発生により再起動され、OSTがt2s007047にフェイルオーバーしております。STONITHの発生からOSTのリカバリ完了までの間、一時的にこれらのOSTへのI/Oができなくなりました。

11月17日現在、t2s007045を除く7台でサービスを稼働させています。元に戻すため11月24日(火)の10:00から11:00に復旧作業を行います。作業中、対象箇所のI/Oが30から60分程度、遅延が発生したり、切断が発生する可能性がありますのでご注意ください。

用語説明:

OSS:Lustreファイルシステムにおいて、計算ノードに対してファイルの中身を実際に送受信するサーバ。/work1, /gscr0は8台のOSSで構成される。

OST:Lustreファイルシステムにおいて、ファイルの中身を実際に保存しているディスクの集合体。/work1, /gscr0は112台のOSTで構成され、1OSSあたり14のOSTが接続される。

STONITH:相手ノードが不安定になったときに、相手ノードをOSごと再起動/停止する機能

参考リンク:

work1, /gscr0負荷状況
http://mon.g.gsic.titech.ac.jp/storage/?c=work1-OSS&m=load_one&r=hour&s=...


障害期間内に影響があった可能性のあるジョブ(期間中に実行中だったジョブ)は以下の通りです。

### S ##########################################
1609455.t2zpbs01 1609456.t2zpbs01 1609457.t2zpbs01 1609459.t2zpbs01 1609460.t2zpbs01
1609461.t2zpbs01 1609462.t2zpbs01 1609463.t2zpbs01 1609464.t2zpbs01 1609465.t2zpbs01
1609466.t2zpbs01 1609467.t2zpbs01 1609468.t2zpbs01 1609469.t2zpbs01 1609471.t2zpbs01
1609472.t2zpbs01 1609473.t2zpbs01 1609474.t2zpbs01 1609475.t2zpbs01 1609476.t2zpbs01
1609477.t2zpbs01 1609478.t2zpbs01 1609479.t2zpbs01 1609480.t2zpbs01 1609481.t2zpbs01
1609482.t2zpbs01 1609483.t2zpbs01 1609484.t2zpbs01 1609486.t2zpbs01 1609487.t2zpbs01
1609488.t2zpbs01 1618188.t2zpbs01 1618676.t2zpbs01 1618685.t2zpbs01 1618695.t2zpbs01
1618704.t2zpbs01 1618713.t2zpbs01 1618888.t2zpbs01 1619370.t2zpbs01 1619379.t2zpbs01
1619387.t2zpbs01 1619634.t2zpbs01 1619636.t2zpbs01 1619643.t2zpbs01 1619818.t2zpbs01
1619824.t2zpbs01 1619849.t2zpbs01 1619851.t2zpbs01 1619853.t2zpbs01 1619867.t2zpbs01
1619952.t2zpbs01 1619990.t2zpbs01 1620005.t2zpbs01 1620015.t2zpbs01 1620052.t2zpbs01
1620056.t2zpbs01 1620127.t2zpbs01 1620128.t2zpbs01 1620143.t2zpbs01 1620144.t2zpbs01
1620160.t2zpbs01 1620161.t2zpbs01 1620186.t2zpbs01 1620216.t2zpbs01 1620226.t2zpbs01
1620229.t2zpbs01 1620233.t2zpbs01 1620236.t2zpbs01 1620241.t2zpbs01 1620242.t2zpbs01
1620774.t2zpbs01 1620882.t2zpbs01 1620883.t2zpbs01 1620888.t2zpbs01 1620892.t2zpbs01
1620900.t2zpbs01 1620905.t2zpbs01 1620906.t2zpbs01 1620907.t2zpbs01 1620914.t2zpbs01
1620936.t2zpbs01 1620986.t2zpbs01 1620987.t2zpbs01 1620988.t2zpbs01 1620989.t2zpbs01
1620990.t2zpbs01 1620991.t2zpbs01 1620992.t2zpbs01 1620993.t2zpbs01 1620994.t2zpbs01
1620995.t2zpbs01 1620996.t2zpbs01 1620997.t2zpbs01 1620998.t2zpbs01 1620999.t2zpbs01
1621000.t2zpbs01 1621001.t2zpbs01 1621002.t2zpbs01 1621003.t2zpbs01 1621004.t2zpbs01
1621005.t2zpbs01 1621006.t2zpbs01 1621007.t2zpbs01 1621008.t2zpbs01 1621009.t2zpbs01
1621010.t2zpbs01 1621011.t2zpbs01 1621012.t2zpbs01 1621013.t2zpbs01 1621014.t2zpbs01
1621015.t2zpbs01 1621016.t2zpbs01 1621062.t2zpbs01 1621063.t2zpbs01 1621064.t2zpbs01
1621065.t2zpbs01

### S(X) ##########################################
806603.t2zpbs05 806623.t2zpbs05 806624.t2zpbs05 806625.t2zpbs05 806626.t2zpbs05
806645.t2zpbs05 806646.t2zpbs05

### S96 ##########################################
該当なし

### L128 ##########################################
1620932.t2zpbs01

### L128F ##########################################
該当なし

### L256 ##########################################
該当なし

### L512 ##########################################
該当なし

### G ##########################################
1975742.t2zpbs03 1975885.t2zpbs03 1975905.t2zpbs03 1975926.t2zpbs03 1975945.t2zpbs03
1975946.t2zpbs03 1975965.t2zpbs03 1975966.t2zpbs03 1975988.t2zpbs03 1976008.t2zpbs03
1976228.t2zpbs03 1976307.t2zpbs03 1976385.t2zpbs03 1976550.t2zpbs03 1976555.t2zpbs03
1976557.t2zpbs03 1976558.t2zpbs03 1976559.t2zpbs03 1976561.t2zpbs03 1976570.t2zpbs03
1976602.t2zpbs03 1976603.t2zpbs03 1976604.t2zpbs03 1976605.t2zpbs03 1976606.t2zpbs03
1976607.t2zpbs03 1976608.t2zpbs03 1976609.t2zpbs03 1976610.t2zpbs03 1976611.t2zpbs03
1976612.t2zpbs03 1976613.t2zpbs03 1976614.t2zpbs03 1976615.t2zpbs03 1976616.t2zpbs03
1976617.t2zpbs03 1976618.t2zpbs03 1976619.t2zpbs03 1976620.t2zpbs03 1976621.t2zpbs03
1976622.t2zpbs03 1976623.t2zpbs03 1976624.t2zpbs03 1976625.t2zpbs03 1976628.t2zpbs03
1976631.t2zpbs03 1976635.t2zpbs03 1976636.t2zpbs03 1976637.t2zpbs03 1976638.t2zpbs03
1976642.t2zpbs03 1976643.t2zpbs03 1976644.t2zpbs03 1976645.t2zpbs03 1976646.t2zpbs03
1976647.t2zpbs03 1976648.t2zpbs03 1976653.t2zpbs03 1976654.t2zpbs03

### V ##########################################
883234.t2zpbs-vm1 883288.t2zpbs-vm1 883289.t2zpbs-vm1 883290.t2zpbs-vm1 883292.t2zpbs-vm1
883294.t2zpbs-vm1 883295.t2zpbs-vm1 883296.t2zpbs-vm1 883298.t2zpbs-vm1 883300.t2zpbs-vm1
883301.t2zpbs-vm1 883302.t2zpbs-vm1 883303.t2zpbs-vm1 883304.t2zpbs-vm1 888177.t2zpbs-vm1
888178.t2zpbs-vm1 888179.t2zpbs-vm1 888180.t2zpbs-vm1 888181.t2zpbs-vm1 888182.t2zpbs-vm1
888184.t2zpbs-vm1 888185.t2zpbs-vm1 888186.t2zpbs-vm1 888187.t2zpbs-vm1 888188.t2zpbs-vm1
888189.t2zpbs-vm1 888190.t2zpbs-vm1 888191.t2zpbs-vm1 888193.t2zpbs-vm1 888194.t2zpbs-vm1
888195.t2zpbs-vm1 888196.t2zpbs-vm1 888197.t2zpbs-vm1 888198.t2zpbs-vm1 888199.t2zpbs-vm1
888200.t2zpbs-vm1 888202.t2zpbs-vm1 888203.t2zpbs-vm1 888204.t2zpbs-vm1 888205.t2zpbs-vm1
888206.t2zpbs-vm1 888207.t2zpbs-vm1 888208.t2zpbs-vm1 888209.t2zpbs-vm1 888210.t2zpbs-vm1
888211.t2zpbs-vm1 888212.t2zpbs-vm1 888213.t2zpbs-vm1 888214.t2zpbs-vm1 888217.t2zpbs-vm1
888218.t2zpbs-vm1 888219.t2zpbs-vm1 888220.t2zpbs-vm1 888222.t2zpbs-vm1 888223.t2zpbs-vm1
888224.t2zpbs-vm1 888225.t2zpbs-vm1 888482.t2zpbs-vm1 889056.t2zpbs-vm1 889070.t2zpbs-vm1
889101.t2zpbs-vm1 892830.t2zpbs-vm1 895736.t2zpbs-vm1 895737.t2zpbs-vm1 895741.t2zpbs-vm1
895742.t2zpbs-vm1 895745.t2zpbs-vm1 895746.t2zpbs-vm1 895747.t2zpbs-vm1 895748.t2zpbs-vm1
895750.t2zpbs-vm1 895752.t2zpbs-vm1 895753.t2zpbs-vm1 895754.t2zpbs-vm1 895755.t2zpbs-vm1
895756.t2zpbs-vm1 895757.t2zpbs-vm1 895758.t2zpbs-vm1 895760.t2zpbs-vm1 895761.t2zpbs-vm1
895763.t2zpbs-vm1 895764.t2zpbs-vm1 895765.t2zpbs-vm1 895766.t2zpbs-vm1 896238.t2zpbs-vm1
896416.t2zpbs-vm1 896981.t2zpbs-vm1 896986.t2zpbs-vm1 896987.t2zpbs-vm1 897016.t2zpbs-vm1
897017.t2zpbs-vm1 897202.t2zpbs-vm1 897204.t2zpbs-vm1 897215.t2zpbs-vm1 897220.t2zpbs-vm1
897234.t2zpbs-vm1 897837.t2zpbs-vm1 898332.t2zpbs-vm1 898628.t2zpbs-vm1 898629.t2zpbs-vm1
898630.t2zpbs-vm1 898631.t2zpbs-vm1 898633.t2zpbs-vm1 898634.t2zpbs-vm1 898635.t2zpbs-vm1
898636.t2zpbs-vm1 898638.t2zpbs-vm1 898639.t2zpbs-vm1 898640.t2zpbs-vm1 898641.t2zpbs-vm1
898642.t2zpbs-vm1 898643.t2zpbs-vm1 898644.t2zpbs-vm1 898645.t2zpbs-vm1 898646.t2zpbs-vm1
898647.t2zpbs-vm1 898648.t2zpbs-vm1 898649.t2zpbs-vm1 898810.t2zpbs-vm1 898835.t2zpbs-vm1
898876.t2zpbs-vm1 898877.t2zpbs-vm1 898879.t2zpbs-vm1 898881.t2zpbs-vm1 898963.t2zpbs-vm1
899066.t2zpbs-vm1 899130.t2zpbs-vm1 899138.t2zpbs-vm1 899139.t2zpbs-vm1 899674.t2zpbs-vm1
899837.t2zpbs-vm1 900081.t2zpbs-vm1 900082.t2zpbs-vm1 900083.t2zpbs-vm1 900084.t2zpbs-vm1
900085.t2zpbs-vm1 900086.t2zpbs-vm1 900087.t2zpbs-vm1 900088.t2zpbs-vm1 900089.t2zpbs-vm1
900090.t2zpbs-vm1 900091.t2zpbs-vm1 900092.t2zpbs-vm1 900093.t2zpbs-vm1 900094.t2zpbs-vm1
900095.t2zpbs-vm1 900096.t2zpbs-vm1 900097.t2zpbs-vm1 900098.t2zpbs-vm1 900099.t2zpbs-vm1
900100.t2zpbs-vm1 900101.t2zpbs-vm1 900102.t2zpbs-vm1 900103.t2zpbs-vm1 900104.t2zpbs-vm1
900105.t2zpbs-vm1 900106.t2zpbs-vm1 900107.t2zpbs-vm1 900108.t2zpbs-vm1 900109.t2zpbs-vm1
900110.t2zpbs-vm1 900111.t2zpbs-vm1 900112.t2zpbs-vm1 900113.t2zpbs-vm1 900114.t2zpbs-vm1
900115.t2zpbs-vm1 900116.t2zpbs-vm1 900117.t2zpbs-vm1 900118.t2zpbs-vm1 900119.t2zpbs-vm1
900120.t2zpbs-vm1 900121.t2zpbs-vm1 900122.t2zpbs-vm1 900123.t2zpbs-vm1 900124.t2zpbs-vm1
900125.t2zpbs-vm1 900126.t2zpbs-vm1 900127.t2zpbs-vm1 900128.t2zpbs-vm1 900129.t2zpbs-vm1
900130.t2zpbs-vm1 900131.t2zpbs-vm1 900132.t2zpbs-vm1 900133.t2zpbs-vm1 900134.t2zpbs-vm1
900135.t2zpbs-vm1 900136.t2zpbs-vm1 900137.t2zpbs-vm1 900138.t2zpbs-vm1 900139.t2zpbs-vm1
900140.t2zpbs-vm1 900141.t2zpbs-vm1 900142.t2zpbs-vm1 900143.t2zpbs-vm1 900144.t2zpbs-vm1
900171.t2zpbs-vm1 900197.t2zpbs-vm1 900210.t2zpbs-vm1 900211.t2zpbs-vm1 900223.t2zpbs-vm1
900224.t2zpbs-vm1 900225.t2zpbs-vm1 900226.t2zpbs-vm1 900231.t2zpbs-vm1 900232.t2zpbs-vm1
900241.t2zpbs-vm1 900254.t2zpbs-vm1 900255.t2zpbs-vm1 900256.t2zpbs-vm1 900257.t2zpbs-vm1
900258.t2zpbs-vm1 900259.t2zpbs-vm1 900260.t2zpbs-vm1 900261.t2zpbs-vm1 900262.t2zpbs-vm1
900263.t2zpbs-vm1 900264.t2zpbs-vm1 900265.t2zpbs-vm1 900266.t2zpbs-vm1 900268.t2zpbs-vm1
900269.t2zpbs-vm1 900270.t2zpbs-vm1 900271.t2zpbs-vm1 900272.t2zpbs-vm1 900276.t2zpbs-vm1
900277.t2zpbs-vm1 900278.t2zpbs-vm1 900279.t2zpbs-vm1 900280.t2zpbs-vm1 900281.t2zpbs-vm1
900282.t2zpbs-vm1 900283.t2zpbs-vm1 900284.t2zpbs-vm1 900285.t2zpbs-vm1 900296.t2zpbs-vm1
900298.t2zpbs-vm1 900307.t2zpbs-vm1 900315.t2zpbs-vm1 900381.t2zpbs-vm1 900386.t2zpbs-vm1
900388.t2zpbs-vm1 900391.t2zpbs-vm1 900392.t2zpbs-vm1 900393.t2zpbs-vm1 900394.t2zpbs-vm1
900395.t2zpbs-vm1 900396.t2zpbs-vm1 900397.t2zpbs-vm1 900398.t2zpbs-vm1 900399.t2zpbs-vm1
900400.t2zpbs-vm1 900401.t2zpbs-vm1 900402.t2zpbs-vm1 900403.t2zpbs-vm1 900404.t2zpbs-vm1
900405.t2zpbs-vm1 900406.t2zpbs-vm1 900407.t2zpbs-vm1 900408.t2zpbs-vm1 900409.t2zpbs-vm1
900410.t2zpbs-vm1 900411.t2zpbs-vm1 900412.t2zpbs-vm1 900413.t2zpbs-vm1 900414.t2zpbs-vm1
900415.t2zpbs-vm1 900418.t2zpbs-vm1 900454.t2zpbs-vm1 900479.t2zpbs-vm1 900480.t2zpbs-vm1
900481.t2zpbs-vm1 900483.t2zpbs-vm1 900485.t2zpbs-vm1 900486.t2zpbs-vm1 900487.t2zpbs-vm1
900488.t2zpbs-vm1 900489.t2zpbs-vm1 900490.t2zpbs-vm1 900491.t2zpbs-vm1 900492.t2zpbs-vm1
900493.t2zpbs-vm1 900494.t2zpbs-vm1 900495.t2zpbs-vm1 900496.t2zpbs-vm1 900497.t2zpbs-vm1
900498.t2zpbs-vm1 900500.t2zpbs-vm1 900502.t2zpbs-vm1 900503.t2zpbs-vm1 900504.t2zpbs-vm1
900505.t2zpbs-vm1 900506.t2zpbs-vm1 900507.t2zpbs-vm1 900509.t2zpbs-vm1 900510.t2zpbs-vm1
900511.t2zpbs-vm1 900514.t2zpbs-vm1 900562.t2zpbs-vm1 900563.t2zpbs-vm1 900564.t2zpbs-vm1
900568.t2zpbs-vm1 900569.t2zpbs-vm1

### U ##########################################
該当なし

### 予約キュー ##########################################
803785.t2zpbs05 804225.t2zpbs05 804263.t2zpbs05 805293.t2zpbs05 805295.t2zpbs05
805296.t2zpbs05 805297.t2zpbs05 805298.t2zpbs05 805299.t2zpbs05 805300.t2zpbs05
805301.t2zpbs05 805302.t2zpbs05 805303.t2zpbs05 805305.t2zpbs05 805306.t2zpbs05
805307.t2zpbs05 805308.t2zpbs05 805309.t2zpbs05 805310.t2zpbs05 805311.t2zpbs05
805313.t2zpbs05 805314.t2zpbs05 805315.t2zpbs05 805316.t2zpbs05 805317.t2zpbs05
805318.t2zpbs05 805319.t2zpbs05 805320.t2zpbs05 805321.t2zpbs05 805322.t2zpbs05
805323.t2zpbs05 805324.t2zpbs05 805325.t2zpbs05 805326.t2zpbs05 805327.t2zpbs05
805328.t2zpbs05 805329.t2zpbs05 805330.t2zpbs05 805331.t2zpbs05 805332.t2zpbs05
805333.t2zpbs05 805334.t2zpbs05 805335.t2zpbs05 805336.t2zpbs05 805337.t2zpbs05
805338.t2zpbs05 805339.t2zpbs05 805340.t2zpbs05 805341.t2zpbs05 805342.t2zpbs05
805343.t2zpbs05 805345.t2zpbs05 805346.t2zpbs05 805682.t2zpbs05 805683.t2zpbs05
805684.t2zpbs05 805685.t2zpbs05 805686.t2zpbs05 805687.t2zpbs05 805688.t2zpbs05
805689.t2zpbs05 805690.t2zpbs05 805691.t2zpbs05 805692.t2zpbs05 805693.t2zpbs05
805694.t2zpbs05 805695.t2zpbs05 805696.t2zpbs05 805697.t2zpbs05 805698.t2zpbs05
805699.t2zpbs05 805700.t2zpbs05 805701.t2zpbs05 805702.t2zpbs05 805703.t2zpbs05