TSUBAME3.0計算サービスのWebページはこちら

TSUBAME2.5からTSUBAME3.0へのデータ移行方法の資料はこちら

【障害報告】2017.6.26発生:/work1 ストレージ障害

(グループディスクを利用している方向けの情報です)

学術国際情報センター
2017年6月27日

下記の通りストレージに障害が発生し、復旧いたしました。

 時間帯: 6月26日(月)11:23 から 6月26日(月)12:20

 影響:一部の計算サーバから/work1にアクセスできない。また復旧中に一時的に/gscr0にアクセスできない。

 詳細:

/work1を構成する2台で冗長化されたMDSの1台(t2s007015)が不安定となり、一部の計算ノードとreconnecting/refused reconnectionのエラーが発生しており、work1にI/Oできなかったジョブがあると考えられます。フェイルオーバ時に資源を共有する/gscr0にもアクセス不能(6/26 12:35から12:44)となりましたが12:20に復旧しました。

用語説明

OST:Lustreファイルシステムにおいて、ファイルの中身を実際に保存しているディスクの集合体

MDS:Lustreファイルシステムにおいて、計算ノードに対してファイルのメタ情報を実際に送受信するサーバ

MDT:Lustreファイルシステムにおいて、ファイルのメタ情報を実際に保存しているディスクの集合体


なお、影響があったと思われるジョブ(障害発生期間中に実行中であったジョブ)の一覧は下記の通りです。

<Sキュー:147ジョブ>
2224212.t2zpbs01, 2224214.t2zpbs01, 2224215.t2zpbs01, 2224216.t2zpbs01, 2224235.t2zpbs01
2224236.t2zpbs01, 2224237.t2zpbs01, 2224238.t2zpbs01, 2224239.t2zpbs01, 2224240.t2zpbs01
2224241.t2zpbs01, 2224242.t2zpbs01, 2224243.t2zpbs01, 2224244.t2zpbs01, 2224245.t2zpbs01
2224247.t2zpbs01, 2224248.t2zpbs01, 2224249.t2zpbs01, 2224250.t2zpbs01, 2224251.t2zpbs01
2224252.t2zpbs01, 2224253.t2zpbs01, 2224254.t2zpbs01, 2224255.t2zpbs01, 2224257.t2zpbs01
2224258.t2zpbs01, 2224259.t2zpbs01, 2224260.t2zpbs01, 2224261.t2zpbs01, 2224262.t2zpbs01
2228466.t2zpbs01, 2228681.t2zpbs01, 2229363.t2zpbs01, 2229435.t2zpbs01, 2229446.t2zpbs01
2229447.t2zpbs01, 2229475.t2zpbs01, 2229509.t2zpbs01, 2229513.t2zpbs01, 2229515.t2zpbs01
2229521.t2zpbs01, 2229523.t2zpbs01, 2229524.t2zpbs01, 2229525.t2zpbs01, 2229528.t2zpbs01
2229530.t2zpbs01, 2229533.t2zpbs01, 2229541.t2zpbs01, 2229545.t2zpbs01, 2229549.t2zpbs01
2229550.t2zpbs01, 2229553.t2zpbs01, 2229556.t2zpbs01, 2229560.t2zpbs01, 2229562.t2zpbs01
2229563.t2zpbs01, 2229565.t2zpbs01, 2229568.t2zpbs01, 2229569.t2zpbs01, 2229572.t2zpbs01
2229573.t2zpbs01, 2229578.t2zpbs01, 2229579.t2zpbs01, 2229581.t2zpbs01, 2229583.t2zpbs01
2229584.t2zpbs01, 2229586.t2zpbs01, 2229588.t2zpbs01, 2229592.t2zpbs01, 2229594.t2zpbs01
2229596.t2zpbs01, 2229597.t2zpbs01, 2229598.t2zpbs01, 2229619.t2zpbs01, 2229623.t2zpbs01
2229645.t2zpbs01, 2229665.t2zpbs01, 2229681.t2zpbs01, 2229727[1].t2zpbs01, 2229727[2].t2zpbs01
2229727[3].t2zpbs01, 2229727[4].t2zpbs01, 2229727[5].t2zpbs01, 2229786.t2zpbs01, 2229790.t2zpbs01
2229824.t2zpbs01, 2229845.t2zpbs01, 2229859.t2zpbs01, 2229876.t2zpbs01, 2229881.t2zpbs01
2229885.t2zpbs01, 2229888.t2zpbs01, 2229909.t2zpbs01, 2229926.t2zpbs01, 2229927.t2zpbs01
2229931.t2zpbs01, 2229941.t2zpbs01, 2229953.t2zpbs01, 2229954.t2zpbs01, 2229955.t2zpbs01
2229956.t2zpbs01, 2229957.t2zpbs01, 2229958.t2zpbs01, 2229959.t2zpbs01, 2229960.t2zpbs01
2229961.t2zpbs01, 2229967.t2zpbs01, 2229968.t2zpbs01, 2229969.t2zpbs01, 2229971.t2zpbs01
2229972.t2zpbs01, 2229973.t2zpbs01, 2229974.t2zpbs01, 2229975.t2zpbs01, 2229976.t2zpbs01
2229977.t2zpbs01, 2229978.t2zpbs01, 2229979.t2zpbs01, 2229980.t2zpbs01, 2229981.t2zpbs01
2229982.t2zpbs01, 2229983.t2zpbs01, 2229984.t2zpbs01, 2229985.t2zpbs01, 2229986.t2zpbs01
2229987.t2zpbs01, 2229988.t2zpbs01, 2229989.t2zpbs01, 2229990.t2zpbs01, 2229991.t2zpbs01
2229992.t2zpbs01, 2229993.t2zpbs01, 2229994.t2zpbs01, 2229995.t2zpbs01, 2229996.t2zpbs01
2229997.t2zpbs01, 2229998.t2zpbs01, 2229999.t2zpbs01, 2230000.t2zpbs01, 2230002.t2zpbs01
2230006.t2zpbs01, 2230007.t2zpbs01, 2230008.t2zpbs01, 2230009.t2zpbs01, 2230010.t2zpbs01
2230011.t2zpbs01, 2230014.t2zpbs01

<S96キュー:2ジョブ>
2229871.t2zpbs01, 2230012.t2zpbs01

<Gキュー:171ジョブ>
2147025.t2zpbs03, 2149968.t2zpbs03, 2151250.t2zpbs03, 2155154.t2zpbs03, 2157979.t2zpbs03
2158106.t2zpbs03, 2158112.t2zpbs03, 2158117.t2zpbs03, 2158570.t2zpbs03, 2158571.t2zpbs03
2158572.t2zpbs03, 2158573.t2zpbs03, 2158574.t2zpbs03, 2158576.t2zpbs03, 2158577.t2zpbs03
2158578.t2zpbs03, 2158579.t2zpbs03, 2158580.t2zpbs03, 2158626.t2zpbs03, 2158641.t2zpbs03
2158755.t2zpbs03, 2158941.t2zpbs03, 2159018[1].t2zpbs03, 2159018[2].t2zpbs03, 2159018[3].t2zpbs03
2159018[4].t2zpbs03, 2159018[5].t2zpbs03, 2159061[10].t2zpbs03, 2159061[11].t2zpbs03, 2159061[12].t2zpbs03
2159061[13].t2zpbs03, 2159061[14].t2zpbs03, 2159061[15].t2zpbs03, 2159061[16].t2zpbs03, 2159061[17].t2zpbs03
2159061[18].t2zpbs03, 2159061[19].t2zpbs03, 2159061[1].t2zpbs03, 2159061[20].t2zpbs03, 2159061[21].t2zpbs03
2159061[22].t2zpbs03, 2159061[23].t2zpbs03, 2159061[24].t2zpbs03, 2159061[25].t2zpbs03, 2159061[26].t2zpbs03
2159061[27].t2zpbs03, 2159061[28].t2zpbs03, 2159061[29].t2zpbs03, 2159061[2].t2zpbs03, 2159061[30].t2zpbs03
2159061[3].t2zpbs03, 2159061[4].t2zpbs03, 2159061[5].t2zpbs03, 2159061[6].t2zpbs03, 2159061[7].t2zpbs03
2159061[8].t2zpbs03, 2159061[9].t2zpbs03, 2159335.t2zpbs03, 2159336.t2zpbs03, 2159337.t2zpbs03
2159338.t2zpbs03, 2159339.t2zpbs03, 2159340.t2zpbs03, 2159341.t2zpbs03, 2159342.t2zpbs03
2159343.t2zpbs03, 2159344.t2zpbs03, 2159345.t2zpbs03, 2159346.t2zpbs03, 2159347.t2zpbs03
2159348.t2zpbs03, 2159349.t2zpbs03, 2159350.t2zpbs03, 2159351.t2zpbs03, 2159352.t2zpbs03
2159353.t2zpbs03, 2159355.t2zpbs03, 2159356.t2zpbs03, 2159357.t2zpbs03, 2159358.t2zpbs03
2159359.t2zpbs03, 2159360.t2zpbs03, 2159361.t2zpbs03, 2159362.t2zpbs03, 2159363.t2zpbs03
2159364.t2zpbs03, 2159365.t2zpbs03, 2159419.t2zpbs03, 2159420.t2zpbs03, 2159444.t2zpbs03
2159448.t2zpbs03, 2159450.t2zpbs03, 2159452.t2zpbs03, 2159453.t2zpbs03, 2159455.t2zpbs03
2159456.t2zpbs03, 2159457.t2zpbs03, 2159459.t2zpbs03, 2159461.t2zpbs03, 2159479.t2zpbs03
2159480.t2zpbs03, 2159481.t2zpbs03, 2159482.t2zpbs03, 2159485.t2zpbs03, 2159591.t2zpbs03
2159593.t2zpbs03, 2159594.t2zpbs03, 2159595.t2zpbs03, 2159596.t2zpbs03, 2159597.t2zpbs03
2159598.t2zpbs03, 2159599.t2zpbs03, 2159600.t2zpbs03, 2159601.t2zpbs03, 2159602.t2zpbs03
2159603.t2zpbs03, 2159604.t2zpbs03, 2159605.t2zpbs03, 2159606.t2zpbs03, 2159607.t2zpbs03
2159609.t2zpbs03, 2159610.t2zpbs03, 2159611.t2zpbs03, 2159612.t2zpbs03, 2159613.t2zpbs03
2159614.t2zpbs03, 2159615.t2zpbs03, 2159616.t2zpbs03, 2159617.t2zpbs03, 2159618.t2zpbs03
2159619.t2zpbs03, 2159620.t2zpbs03, 2159621.t2zpbs03, 2159622.t2zpbs03, 2159623.t2zpbs03
2159624.t2zpbs03, 2159625.t2zpbs03, 2159626.t2zpbs03, 2159627.t2zpbs03, 2159631.t2zpbs03
2159634.t2zpbs03, 2159662.t2zpbs03, 2159717.t2zpbs03, 2159723.t2zpbs03, 2159724.t2zpbs03
2159750.t2zpbs03, 2159764.t2zpbs03, 2159765.t2zpbs03, 2159767.t2zpbs03, 2159770.t2zpbs03
2159771.t2zpbs03, 2159772.t2zpbs03, 2159773.t2zpbs03, 2159774.t2zpbs03, 2159775.t2zpbs03
2159776.t2zpbs03, 2159777.t2zpbs03, 2159778.t2zpbs03, 2159779.t2zpbs03, 2159780.t2zpbs03
2159781.t2zpbs03, 2159782.t2zpbs03, 2159783.t2zpbs03, 2159784.t2zpbs03, 2159785.t2zpbs03
2159786.t2zpbs03, 2159787.t2zpbs03, 2159788.t2zpbs03, 2159789.t2zpbs03, 2159790.t2zpbs03
2159791.t2zpbs03

<Vキュー:101ジョブ>
2530151.t2zpbs-vm1, 2530170.t2zpbs-vm1, 2531778.t2zpbs-vm1, 2532446.t2zpbs-vm1, 2532466.t2zpbs-vm1
2532688.t2zpbs-vm1, 2532689.t2zpbs-vm1, 2532695.t2zpbs-vm1, 2532697.t2zpbs-vm1, 2532698.t2zpbs-vm1
2532699.t2zpbs-vm1, 2532700.t2zpbs-vm1, 2532701.t2zpbs-vm1, 2532702.t2zpbs-vm1, 2532703.t2zpbs-vm1
2532705.t2zpbs-vm1, 2532707.t2zpbs-vm1, 2532708.t2zpbs-vm1, 2532709.t2zpbs-vm1, 2532710.t2zpbs-vm1
2532711.t2zpbs-vm1, 2532721.t2zpbs-vm1, 2532722.t2zpbs-vm1, 2532724.t2zpbs-vm1, 2532725.t2zpbs-vm1
2532727.t2zpbs-vm1, 2532778.t2zpbs-vm1, 2532780.t2zpbs-vm1, 2532781.t2zpbs-vm1, 2532782.t2zpbs-vm1
2532833.t2zpbs-vm1, 2532834.t2zpbs-vm1, 2532899.t2zpbs-vm1, 2532901.t2zpbs-vm1, 2532902.t2zpbs-vm1
2532903.t2zpbs-vm1, 2532904.t2zpbs-vm1, 2532905.t2zpbs-vm1, 2532906.t2zpbs-vm1, 2532907.t2zpbs-vm1
2532908.t2zpbs-vm1, 2532909.t2zpbs-vm1, 2532910.t2zpbs-vm1, 2532911.t2zpbs-vm1, 2532912.t2zpbs-vm1
2532913.t2zpbs-vm1, 2532914.t2zpbs-vm1, 2532915.t2zpbs-vm1, 2532916.t2zpbs-vm1, 2532917.t2zpbs-vm1
2532918.t2zpbs-vm1, 2532919.t2zpbs-vm1, 2532920.t2zpbs-vm1, 2532921.t2zpbs-vm1, 2532922.t2zpbs-vm1
2532923.t2zpbs-vm1, 2532924.t2zpbs-vm1, 2532925.t2zpbs-vm1, 2532926.t2zpbs-vm1, 2532927.t2zpbs-vm1
2532928.t2zpbs-vm1, 2532929.t2zpbs-vm1, 2532930.t2zpbs-vm1, 2532931.t2zpbs-vm1, 2532932.t2zpbs-vm1
2532933.t2zpbs-vm1, 2532934.t2zpbs-vm1, 2532935.t2zpbs-vm1, 2532936.t2zpbs-vm1, 2532937.t2zpbs-vm1
2532938.t2zpbs-vm1, 2532939.t2zpbs-vm1, 2532940.t2zpbs-vm1, 2532941.t2zpbs-vm1, 2532942.t2zpbs-vm1
2532943.t2zpbs-vm1, 2532944.t2zpbs-vm1, 2532945.t2zpbs-vm1, 2532946.t2zpbs-vm1, 2532947.t2zpbs-vm1
2532948.t2zpbs-vm1, 2532949.t2zpbs-vm1, 2532950.t2zpbs-vm1, 2532951.t2zpbs-vm1, 2532952.t2zpbs-vm1
2532953.t2zpbs-vm1, 2532954.t2zpbs-vm1, 2532955.t2zpbs-vm1, 2532956.t2zpbs-vm1, 2532957.t2zpbs-vm1
2532958.t2zpbs-vm1, 2532959.t2zpbs-vm1, 2532960.t2zpbs-vm1, 2532961.t2zpbs-vm1, 2532962.t2zpbs-vm1
2532963.t2zpbs-vm1, 2532964.t2zpbs-vm1, 2532965.t2zpbs-vm1, 2532966.t2zpbs-vm1, 2532967.t2zpbs-vm1
2532968.t2zpbs-vm1

<L256キュー:4ジョブ>
2230001.t2zpbs01, 2230003.t2zpbs01, 2230004.t2zpbs01, 2230005.t2zpbs01