このページの更新は終了しました。

最新の情報はTSUBAME3.0計算サービスのWebページをご覧ください。

TSUBAME2.5からTSUBAME3.0へのデータ移行方法の資料はこちら

【障害報告】2016.2.20発生:/work1, /gscr0 ストレージ障害

(グループディスクを利用している方向けの情報です)

                             学術国際情報センター
平成28年2月25日

 下記の通りストレージに障害が発生し、復旧いたしました。報告が遅くなり皆様にはご迷惑をおかけして申し訳ございませんでした。

 日時:2月20日(土) 1:18 から 1:48 頃

 影響: /work1, /gscr0に断続的にアクセスできない。またはパフォーマンスが低下する。

 詳細:

 8台あるOSSの中の2台のペア t2s007041 及び t2s007043 に何らかの問題が発生し、このサーバで管理されていたOSTに断続的にアクセスできませんでした。

 2/20 01:18、t2s007041 が t2s007043 からの死活監視信号の応答を得られなかったため t2s007043 が障害と判断されt2s007043 が自動で再起動しました。

 またその後 01:33 には逆に t2s007043 が t2s007041 からの死活監視信号の応答が得られないために、t2s007041 が障害と判断され t2s007041 が自動で再起動しました。

その結果、再起動からサービスのフェイルオーバー完了までの間、アクセスが途切れたり、サービスが片寄せされていたため本来のパフォーマンスが得られない期間が断続的に発生しました。

用語説明
  OSS:Lustreファイルシステムにおいて、計算ノードに対してファイルの中身を
     実際に送受信するサーバ

  OST:Lustreファイルシステムにおいて、ファイルの中身を実際に保存している
     ディスクの集合体

 また、影響があったと思われるジョブ(障害発生期間中に実行中であったジョブ)の一覧は下記の通りです。

the number of jobs = 581
### S ##########################################
1684288.t2zpbs01 1684289.t2zpbs01 1684290.t2zpbs01 1684291.t2zpbs01 1684292.t2zpbs01
1684293.t2zpbs01 1685751.t2zpbs01 1686358.t2zpbs01 1686359.t2zpbs01 1686360.t2zpbs01
1686361.t2zpbs01 1686363.t2zpbs01 1686364.t2zpbs01 1686365.t2zpbs01 1686366.t2zpbs01
1686367.t2zpbs01 1686368.t2zpbs01 1686369.t2zpbs01 1686370.t2zpbs01 1686371.t2zpbs01
1686372.t2zpbs01 1686373.t2zpbs01 1686374.t2zpbs01 1686376.t2zpbs01 1686377.t2zpbs01
1686378.t2zpbs01 1686379.t2zpbs01 1686380.t2zpbs01 1686381.t2zpbs01 1686382.t2zpbs01
1686383.t2zpbs01 1686384.t2zpbs01 1686385.t2zpbs01 1686386.t2zpbs01 1686387.t2zpbs01
1686526.t2zpbs01 1686690.t2zpbs01 1686692.t2zpbs01 1686695.t2zpbs01 1686696.t2zpbs01
1686697.t2zpbs01 1686698.t2zpbs01 1686699.t2zpbs01 1686700.t2zpbs01 1686701.t2zpbs01
1686702.t2zpbs01 1686703.t2zpbs01 1686704.t2zpbs01 1686705.t2zpbs01 1686707.t2zpbs01
1686708.t2zpbs01 1686709.t2zpbs01 1686710.t2zpbs01 1686745.t2zpbs01 1686746.t2zpbs01
1686748.t2zpbs01 1686754.t2zpbs01 1686755.t2zpbs01 1686756.t2zpbs01 1686757.t2zpbs01
1686758.t2zpbs01 1686872.t2zpbs01 1686972.t2zpbs01 1686995.t2zpbs01 1686997.t2zpbs01
1686998.t2zpbs01 1687050.t2zpbs01 1687077.t2zpbs01 1687102.t2zpbs01 1687127.t2zpbs01
1687128.t2zpbs01 1687129.t2zpbs01 1687132.t2zpbs01 1687133.t2zpbs01 1687134.t2zpbs01
1687137.t2zpbs01 1687139.t2zpbs01 1687141.t2zpbs01 1687142.t2zpbs01 1687155.t2zpbs01
1687157.t2zpbs01 1687160.t2zpbs01 1687161.t2zpbs01 1687166.t2zpbs01 1687167.t2zpbs01
1687180.t2zpbs01 1687183.t2zpbs01 1687184.t2zpbs01 1687210.t2zpbs01 1687287.t2zpbs01
1687326.t2zpbs01 1687327.t2zpbs01 1687328.t2zpbs01 1687446.t2zpbs01 1687451.t2zpbs01
1687466.t2zpbs01 1687473.t2zpbs01 1687474.t2zpbs01 1687475.t2zpbs01 1687479.t2zpbs01
1687484.t2zpbs01 1687485.t2zpbs01 1687486.t2zpbs01 1687487.t2zpbs01 1687490.t2zpbs01
1687491.t2zpbs01 1687492.t2zpbs01 1687493.t2zpbs01 1687498.t2zpbs01 1687501.t2zpbs01
1687524.t2zpbs01 1687535.t2zpbs01 1687546.t2zpbs01 1687547.t2zpbs01 1687565.t2zpbs01
1687566.t2zpbs01 1687568.t2zpbs01 1687570.t2zpbs01 1687571.t2zpbs01 1687572.t2zpbs01
1687573.t2zpbs01 1687574.t2zpbs01 1687576.t2zpbs01 1687577.t2zpbs01 1687579.t2zpbs01
1687582.t2zpbs01 1687587.t2zpbs01 1687590.t2zpbs01 1687591.t2zpbs01 1687638.t2zpbs01
1687639.t2zpbs01 1687640.t2zpbs01 1687641.t2zpbs01 1687642.t2zpbs01 1687644.t2zpbs01
1687645.t2zpbs01 1687646.t2zpbs01 1687648.t2zpbs01 1687654.t2zpbs01 1687655.t2zpbs01
1687658.t2zpbs01 1687660.t2zpbs01 1687661.t2zpbs01 1687662.t2zpbs01 1687664.t2zpbs01
1687665.t2zpbs01 1687666.t2zpbs01 1687667.t2zpbs01 1687668.t2zpbs01 1687672.t2zpbs01
1687673.t2zpbs01 1687677.t2zpbs01 1687678.t2zpbs01 1687681.t2zpbs01 1687698.t2zpbs01
1687704.t2zpbs01 1687706.t2zpbs01 1687707.t2zpbs01 1687708.t2zpbs01 1687709.t2zpbs01
1687710.t2zpbs01 1687711.t2zpbs01 1687712.t2zpbs01 1687713.t2zpbs01 1687717.t2zpbs01
1687767.t2zpbs01 1687768.t2zpbs01 1687769.t2zpbs01 1687770.t2zpbs01 1687773.t2zpbs01
1687774.t2zpbs01 1687775.t2zpbs01 1687794.t2zpbs01 1687827.t2zpbs01 1687878.t2zpbs01
1687879.t2zpbs01 1687880.t2zpbs01 1687881.t2zpbs01 1687885.t2zpbs01 1687886.t2zpbs01
1687887.t2zpbs01 1687888.t2zpbs01 1687890.t2zpbs01 1687892.t2zpbs01 1687893.t2zpbs01
1687894.t2zpbs01 1687895.t2zpbs01 1687896.t2zpbs01 1687898.t2zpbs01 1687899.t2zpbs01
1687900.t2zpbs01 1687901.t2zpbs01 1687902.t2zpbs01 1687904.t2zpbs01 1687905.t2zpbs01
1687906.t2zpbs01 1687907.t2zpbs01 1687908.t2zpbs01 1687909.t2zpbs01 1687910.t2zpbs01
1687911.t2zpbs01 1687912.t2zpbs01 1687913.t2zpbs01 1687914.t2zpbs01 1687915.t2zpbs01
1687916.t2zpbs01 1687917.t2zpbs01 1687918.t2zpbs01 1687919.t2zpbs01 1687920.t2zpbs01
1687921.t2zpbs01 1687922.t2zpbs01 1687923.t2zpbs01 1687924.t2zpbs01 1687934.t2zpbs01
1687935.t2zpbs01 1687936.t2zpbs01 1687937.t2zpbs01 1687938.t2zpbs01 1687939.t2zpbs01
1687940.t2zpbs01 1687941.t2zpbs01 1687942.t2zpbs01 1687943.t2zpbs01 1687944.t2zpbs01
1687945.t2zpbs01 1687946.t2zpbs01 1687947.t2zpbs01 1687948.t2zpbs01 1687949.t2zpbs01

### X ##########################################
865775.t2zpbs05 865832.t2zpbs05 865833.t2zpbs05 865834.t2zpbs05 865835.t2zpbs05
865836.t2zpbs05 865837.t2zpbs05 865838.t2zpbs05 865839.t2zpbs05 865841.t2zpbs05
865842.t2zpbs05 865843.t2zpbs05 865844.t2zpbs05 865845.t2zpbs05 865846.t2zpbs05
865849.t2zpbs05 865850.t2zpbs05 865851.t2zpbs05 865852.t2zpbs05 865854.t2zpbs05
865857.t2zpbs05 865858.t2zpbs05 865859.t2zpbs05 865860.t2zpbs05 865861.t2zpbs05
865862.t2zpbs05 865867.t2zpbs05 865875.t2zpbs05 865880.t2zpbs05 865881.t2zpbs05
865882.t2zpbs05

### S96 ##########################################
1686826.t2zpbs01 1687010.t2zpbs01 1687480.t2zpbs01 1687551.t2zpbs01 1687683.t2zpbs01
1687684.t2zpbs01 1687685.t2zpbs01 1687686.t2zpbs01 1687687.t2zpbs01 1687688.t2zpbs01
1687689.t2zpbs01 1687690.t2zpbs01 1687691.t2zpbs01 1687692.t2zpbs01 1687693.t2zpbs01
1687694.t2zpbs01 1687695.t2zpbs01 1687696.t2zpbs01 1687697.t2zpbs01 1687699.t2zpbs01
1687700.t2zpbs01 1687701.t2zpbs01 1687702.t2zpbs01 1687703.t2zpbs01

### L128 ##########################################

### L128F ##########################################

### L256 ##########################################
1687163.t2zpbs01

### L512 ##########################################

### G ##########################################
2005504.t2zpbs03 2005554.t2zpbs03 2005566.t2zpbs03 2005599[77].t2zpbs03 2005599[78].t2zpbs03
2005599[79].t2zpbs03 2005599[80].t2zpbs03 2005599[81].t2zpbs03 2005599[85].t2zpbs03 2005599[86].t2zpbs03
2005599[87].t2zpbs03 2005599[88].t2zpbs03 2005599[94].t2zpbs03 2005599[96].t2zpbs03 2005599[97].t2zpbs03
2005599[98].t2zpbs03 2005599[99].t2zpbs03 2005599[].t2zpbs03 2005633.t2zpbs03 2005634.t2zpbs03
2005635.t2zpbs03 2005636.t2zpbs03 2005637.t2zpbs03 2005638.t2zpbs03 2005639.t2zpbs03
2005640.t2zpbs03 2005641.t2zpbs03 2005642.t2zpbs03 2005643.t2zpbs03 2005644.t2zpbs03
2005645.t2zpbs03 2005646.t2zpbs03 2005647.t2zpbs03 2005648.t2zpbs03 2005649.t2zpbs03
2005650.t2zpbs03 2005651.t2zpbs03 2005652.t2zpbs03 2005653.t2zpbs03 2005654.t2zpbs03
2005655.t2zpbs03 2005656.t2zpbs03 2005657.t2zpbs03 2005660.t2zpbs03 2005704.t2zpbs03
2005709.t2zpbs03 2005714.t2zpbs03 2005733.t2zpbs03 2005734.t2zpbs03 2005735.t2zpbs03
2005736.t2zpbs03 2005737.t2zpbs03 2005738.t2zpbs03 2005739.t2zpbs03 2005740.t2zpbs03
2005741.t2zpbs03 2005742.t2zpbs03 2005743.t2zpbs03 2005744.t2zpbs03 2005745.t2zpbs03
2005746.t2zpbs03 2005747.t2zpbs03 2005748.t2zpbs03 2005749.t2zpbs03 2005750.t2zpbs03
2005751.t2zpbs03 2005752.t2zpbs03 2005760.t2zpbs03 2005770.t2zpbs03 2005784.t2zpbs03
2005797.t2zpbs03 2005798.t2zpbs03 2005799.t2zpbs03 2005800.t2zpbs03 2005810.t2zpbs03
2005811.t2zpbs03 2005812.t2zpbs03 2005813.t2zpbs03 2005814.t2zpbs03 2005816.t2zpbs03
2005899.t2zpbs03 2005900.t2zpbs03 2005901.t2zpbs03 2005902.t2zpbs03 2005903.t2zpbs03
2005910.t2zpbs03 2005911.t2zpbs03 2005912.t2zpbs03 2005916.t2zpbs03 2005920.t2zpbs03
2005965[].t2zpbs03 2006107[].t2zpbs03 2006374[].t2zpbs03

### V ##########################################
1296437.t2zpbs-vm1 1313424.t2zpbs-vm1 1313425.t2zpbs-vm1 1313426.t2zpbs-vm1 1313427.t2zpbs-vm1
1313428.t2zpbs-vm1 1313429.t2zpbs-vm1 1313430.t2zpbs-vm1 1313431.t2zpbs-vm1 1313432.t2zpbs-vm1
1313434.t2zpbs-vm1 1313435.t2zpbs-vm1 1313436.t2zpbs-vm1 1313437.t2zpbs-vm1 1313438.t2zpbs-vm1
1313439.t2zpbs-vm1 1313440.t2zpbs-vm1 1313441.t2zpbs-vm1 1313443.t2zpbs-vm1 1313444.t2zpbs-vm1
1313445.t2zpbs-vm1 1313446.t2zpbs-vm1 1313447.t2zpbs-vm1 1313448.t2zpbs-vm1 1313449.t2zpbs-vm1
1313450.t2zpbs-vm1 1313451.t2zpbs-vm1 1313452.t2zpbs-vm1 1313453.t2zpbs-vm1 1313590.t2zpbs-vm1
1313591.t2zpbs-vm1 1313592.t2zpbs-vm1 1313593.t2zpbs-vm1 1313594.t2zpbs-vm1 1313595.t2zpbs-vm1
1313596.t2zpbs-vm1 1313597.t2zpbs-vm1 1313598.t2zpbs-vm1 1313599.t2zpbs-vm1 1313600.t2zpbs-vm1
1313601.t2zpbs-vm1 1313602.t2zpbs-vm1 1313603.t2zpbs-vm1 1313604.t2zpbs-vm1 1313605.t2zpbs-vm1
1313606.t2zpbs-vm1 1313607.t2zpbs-vm1 1313608.t2zpbs-vm1 1313610.t2zpbs-vm1 1313612.t2zpbs-vm1
1313613.t2zpbs-vm1 1314037.t2zpbs-vm1 1314071.t2zpbs-vm1 1315325.t2zpbs-vm1 1315364.t2zpbs-vm1
1315367.t2zpbs-vm1 1315368.t2zpbs-vm1 1315492.t2zpbs-vm1 1317496.t2zpbs-vm1 1318975.t2zpbs-vm1
1319300.t2zpbs-vm1 1326313.t2zpbs-vm1 1327039.t2zpbs-vm1 1328225.t2zpbs-vm1 1328855.t2zpbs-vm1
1328861.t2zpbs-vm1 1328867.t2zpbs-vm1 1328878.t2zpbs-vm1 1328890.t2zpbs-vm1 1328899.t2zpbs-vm1
1328904.t2zpbs-vm1 1328909.t2zpbs-vm1 1328915.t2zpbs-vm1 1328916.t2zpbs-vm1 1328917.t2zpbs-vm1
1329269.t2zpbs-vm1 1329674.t2zpbs-vm1 1329868.t2zpbs-vm1 1329955.t2zpbs-vm1 1329961.t2zpbs-vm1
1331449.t2zpbs-vm1 1331739.t2zpbs-vm1 1331932.t2zpbs-vm1 1331969.t2zpbs-vm1 1331998.t2zpbs-vm1
1332019.t2zpbs-vm1 1332076.t2zpbs-vm1 1332532.t2zpbs-vm1 1332724.t2zpbs-vm1 1332956.t2zpbs-vm1
1332984.t2zpbs-vm1 1333711.t2zpbs-vm1 1333720.t2zpbs-vm1 1333730.t2zpbs-vm1 1333733.t2zpbs-vm1
1333739.t2zpbs-vm1 1333746.t2zpbs-vm1 1333775.t2zpbs-vm1 1333779.t2zpbs-vm1 1333818.t2zpbs-vm1
1333854.t2zpbs-vm1 1333928.t2zpbs-vm1 1333948.t2zpbs-vm1 1333974.t2zpbs-vm1 1334009.t2zpbs-vm1
1334030.t2zpbs-vm1 1334033.t2zpbs-vm1 1334072.t2zpbs-vm1 1334078.t2zpbs-vm1 1334148.t2zpbs-vm1
1334682.t2zpbs-vm1 1334756.t2zpbs-vm1 1334853.t2zpbs-vm1 1334872.t2zpbs-vm1 1335158.t2zpbs-vm1
1335159.t2zpbs-vm1 1335205.t2zpbs-vm1 1335229.t2zpbs-vm1 1335319.t2zpbs-vm1 1335320.t2zpbs-vm1
1335322.t2zpbs-vm1 1335324.t2zpbs-vm1 1335420.t2zpbs-vm1 1335422.t2zpbs-vm1 1335425.t2zpbs-vm1
1335426.t2zpbs-vm1 1335433.t2zpbs-vm1 1335434.t2zpbs-vm1 1335435.t2zpbs-vm1 1335436.t2zpbs-vm1
1335437.t2zpbs-vm1 1335438.t2zpbs-vm1 1335439.t2zpbs-vm1 1335440.t2zpbs-vm1 1335527.t2zpbs-vm1
1335528.t2zpbs-vm1 1335529.t2zpbs-vm1 1335530.t2zpbs-vm1 1335531.t2zpbs-vm1 1335532.t2zpbs-vm1
1335533.t2zpbs-vm1 1335534.t2zpbs-vm1 1335535.t2zpbs-vm1 1335536.t2zpbs-vm1 1335537.t2zpbs-vm1
1335538.t2zpbs-vm1 1335539.t2zpbs-vm1 1335540.t2zpbs-vm1 1335541.t2zpbs-vm1 1335542.t2zpbs-vm1
1335543.t2zpbs-vm1 1335544.t2zpbs-vm1 1335545.t2zpbs-vm1 1335546.t2zpbs-vm1 1335547.t2zpbs-vm1
1335548.t2zpbs-vm1 1335549.t2zpbs-vm1 1335550.t2zpbs-vm1 1335551.t2zpbs-vm1 1335555.t2zpbs-vm1
1335556.t2zpbs-vm1 1335599.t2zpbs-vm1 1335640.t2zpbs-vm1 1335641.t2zpbs-vm1 1335642.t2zpbs-vm1
1335643.t2zpbs-vm1 1335644.t2zpbs-vm1 1335730.t2zpbs-vm1 1335731.t2zpbs-vm1 1335732.t2zpbs-vm1
1335733.t2zpbs-vm1 1335734.t2zpbs-vm1 1335735.t2zpbs-vm1 1335736.t2zpbs-vm1 1335737.t2zpbs-vm1
1335738.t2zpbs-vm1 1335739.t2zpbs-vm1 1335742.t2zpbs-vm1 1335746.t2zpbs-vm1 1335750.t2zpbs-vm1
1335758.t2zpbs-vm1 1335759.t2zpbs-vm1 1335761.t2zpbs-vm1 1335764.t2zpbs-vm1 1335768.t2zpbs-vm1
1335772.t2zpbs-vm1 1335781.t2zpbs-vm1 1335803.t2zpbs-vm1 1335809.t2zpbs-vm1 1335811.t2zpbs-vm1
1335817.t2zpbs-vm1 1335820.t2zpbs-vm1 1335821.t2zpbs-vm1 1335823.t2zpbs-vm1 1335824.t2zpbs-vm1
1335825.t2zpbs-vm1 1335827.t2zpbs-vm1 1335829.t2zpbs-vm1 1335830.t2zpbs-vm1 1335832.t2zpbs-vm1
1335835.t2zpbs-vm1 1335839.t2zpbs-vm1

### U ##########################################

### R ##########################################
865775.t2zpbs05 865854.t2zpbs05 865875.t2zpbs05 865880.t2zpbs05