このページの更新は終了しました。

最新の情報はTSUBAME3.0計算サービスのWebページをご覧ください。

TSUBAME2.5からTSUBAME3.0へのデータ移行方法の資料はこちら

【障害報告】2017.2.13発生:/work0 ストレージ障害

(グループディスクを利用している方向けの情報です)

                             学術国際情報センター
2017年2月15日

 下記の通りストレージに障害が発生し、復旧いたしました。

 時間帯:2月13(月)14:58から15:13頃

 影響:/work0へのアクセスに一時的なI/O遅延やエラーが発生した可能性があります

 詳細:

/work0 を構成する2台で冗長化されている MDS(MetaData Server) として稼働していた t2s007017 において障害が発生しました。

その結果、MDS のサービス(MDT, MetaData Target)を対となる t2s007019 にフェイルオーバーしました。

期間中、一時的なI/O遅延やエラーが発生した可能性があります。

用語説明

MDS:Lustreファイルシステムにおいて、計算ノードに対してファイルのメタ情報を実際に送受信するサーバ

MDT:Lustreファイルシステムにおいて、ファイルのメタ情報を実際に保存しているディスクの集合体


 なお、影響があったと思われるジョブ(障害発生期間中に実行中であったジョブ)の一覧は下記の通りです。

<Sキュー:160ジョブ>
2016236.t2zpbs01, 2021176.t2zpbs01, 2021194.t2zpbs01, 2021221.t2zpbs01, 2021250.t2zpbs01
2021272.t2zpbs01, 2021320.t2zpbs01, 2021392.t2zpbs01, 2021456.t2zpbs01, 2021477.t2zpbs01
2021575.t2zpbs01, 2025116.t2zpbs01, 2025117.t2zpbs01, 2025118.t2zpbs01, 2025119.t2zpbs01
2025120.t2zpbs01, 2025121.t2zpbs01, 2025122.t2zpbs01, 2025123.t2zpbs01, 2025124.t2zpbs01
2025125.t2zpbs01, 2025126.t2zpbs01, 2025127.t2zpbs01, 2025128.t2zpbs01, 2025129.t2zpbs01
2025130.t2zpbs01, 2025131.t2zpbs01, 2025132.t2zpbs01, 2025133.t2zpbs01, 2025134.t2zpbs01
2025135.t2zpbs01, 2025141.t2zpbs01, 2025142.t2zpbs01, 2025143.t2zpbs01, 2025144.t2zpbs01
2025145.t2zpbs01, 2025260.t2zpbs01, 2025395.t2zpbs01, 2025408.t2zpbs01, 2025411.t2zpbs01
2025561.t2zpbs01, 2025605.t2zpbs01, 2026375.t2zpbs01, 2026380.t2zpbs01, 2026381.t2zpbs01
2026382.t2zpbs01, 2026871.t2zpbs01, 2026876.t2zpbs01, 2027274.t2zpbs01, 2027277.t2zpbs01
2027278.t2zpbs01, 2027279.t2zpbs01, 2027280.t2zpbs01, 2027281.t2zpbs01, 2027282.t2zpbs01
2027283.t2zpbs01, 2027285.t2zpbs01, 2027286.t2zpbs01, 2027288.t2zpbs01, 2027289.t2zpbs01
2027290.t2zpbs01, 2027291.t2zpbs01, 2027292.t2zpbs01, 2027293.t2zpbs01, 2027295.t2zpbs01
2027298.t2zpbs01, 2027299.t2zpbs01, 2027300.t2zpbs01, 2027301.t2zpbs01, 2027303.t2zpbs01
2027304.t2zpbs01, 2027306.t2zpbs01, 2027308.t2zpbs01, 2027309.t2zpbs01, 2027310.t2zpbs01
2027311.t2zpbs01, 2027312.t2zpbs01, 2027313.t2zpbs01, 2027344.t2zpbs01, 2027373.t2zpbs01
2027443.t2zpbs01, 2027463.t2zpbs01, 2027664.t2zpbs01, 2027721.t2zpbs01, 2027816.t2zpbs01
2027817.t2zpbs01, 2027818.t2zpbs01, 2027819.t2zpbs01, 2027822.t2zpbs01, 2027823.t2zpbs01
2027825.t2zpbs01, 2027826.t2zpbs01, 2027827.t2zpbs01, 2027830.t2zpbs01, 2032066.t2zpbs01
2032165.t2zpbs01, 2032482.t2zpbs01, 2032790.t2zpbs01, 2034073.t2zpbs01, 2034507.t2zpbs01
2034812.t2zpbs01, 2034864.t2zpbs01, 2035833.t2zpbs01, 2036685.t2zpbs01, 2036755.t2zpbs01
2036872.t2zpbs01, 2037278.t2zpbs01, 2037467.t2zpbs01, 2037706.t2zpbs01, 2037710.t2zpbs01
2037761.t2zpbs01, 2037802.t2zpbs01, 2037820.t2zpbs01, 2038057.t2zpbs01, 2038161.t2zpbs01
2038233.t2zpbs01, 2038446.t2zpbs01, 2038850.t2zpbs01, 2039172.t2zpbs01, 2039243.t2zpbs01
2039273.t2zpbs01, 2039311.t2zpbs01, 2039314.t2zpbs01, 2039455.t2zpbs01, 2039649.t2zpbs01
2039702.t2zpbs01, 2039767[10].t2zpbs01, 2039767[11].t2zpbs01, 2039767[12].t2zpbs01, 2039767[13].t2zpbs01
2039767[1].t2zpbs01, 2039767[2].t2zpbs01, 2039767[3].t2zpbs01, 2039767[4].t2zpbs01, 2039767[5].t2zpbs01
2039767[6].t2zpbs01, 2039767[7].t2zpbs01, 2039767[8].t2zpbs01, 2039767[9].t2zpbs01, 2039777.t2zpbs01
2039778.t2zpbs01, 2039779.t2zpbs01, 2039780.t2zpbs01, 2039781.t2zpbs01, 2039782.t2zpbs01
2039783.t2zpbs01, 2039784.t2zpbs01, 2039785.t2zpbs01, 2039786.t2zpbs01, 2039787.t2zpbs01
2039788.t2zpbs01, 2039789.t2zpbs01, 2039790.t2zpbs01, 2039791.t2zpbs01, 2039792.t2zpbs01
2039793.t2zpbs01, 2039794.t2zpbs01, 2039795.t2zpbs01, 2039796.t2zpbs01, 2039797.t2zpbs01

<S96キュー:43ジョブ>
2021244.t2zpbs01, 2021261.t2zpbs01, 2023940.t2zpbs01, 2023946.t2zpbs01, 2023950.t2zpbs01
2023951.t2zpbs01, 2023952.t2zpbs01, 2023953.t2zpbs01, 2023954.t2zpbs01, 2023955.t2zpbs01
2023956.t2zpbs01, 2023957.t2zpbs01, 2023958.t2zpbs01, 2023959.t2zpbs01, 2023960.t2zpbs01
2023961.t2zpbs01, 2023962.t2zpbs01, 2023963.t2zpbs01, 2023964.t2zpbs01, 2023965.t2zpbs01
2023966.t2zpbs01, 2023967.t2zpbs01, 2023968.t2zpbs01, 2023969.t2zpbs01, 2023970.t2zpbs01
2023971.t2zpbs01, 2023972.t2zpbs01, 2023973.t2zpbs01, 2023974.t2zpbs01, 2023975.t2zpbs01
2023976.t2zpbs01, 2023977.t2zpbs01, 2023978.t2zpbs01, 2023980.t2zpbs01, 2023981.t2zpbs01
2023982.t2zpbs01, 2023983.t2zpbs01, 2023986.t2zpbs01, 2023987.t2zpbs01, 2023988.t2zpbs01
2023989.t2zpbs01, 2023990.t2zpbs01, 2023991.t2zpbs01

<Gキュー:55ジョブ>
2107441.t2zpbs03, 2108173.t2zpbs03, 2108174.t2zpbs03, 2108245.t2zpbs03, 2108253.t2zpbs03
2108260.t2zpbs03, 2108262.t2zpbs03, 2108282.t2zpbs03, 2108284.t2zpbs03, 2108299.t2zpbs03
2108306.t2zpbs03, 2108331.t2zpbs03, 2108335.t2zpbs03, 2108338.t2zpbs03, 2108339.t2zpbs03
2108340.t2zpbs03, 2108341.t2zpbs03, 2108342.t2zpbs03, 2108357.t2zpbs03, 2108360.t2zpbs03
2108361.t2zpbs03, 2108369.t2zpbs03, 2108372.t2zpbs03, 2108374.t2zpbs03, 2108377.t2zpbs03
2108382[1].t2zpbs03, 2108382[2].t2zpbs03, 2108383[2].t2zpbs03, 2108384[0].t2zpbs03, 2108384[1].t2zpbs03
2108384[2].t2zpbs03, 2108384[3].t2zpbs03, 2108384[4].t2zpbs03, 2108385.t2zpbs03, 2108387.t2zpbs03
2108391.t2zpbs03, 2108392.t2zpbs03, 2108398.t2zpbs03, 2108410.t2zpbs03, 2108417.t2zpbs03
2108421[0].t2zpbs03, 2108421[1].t2zpbs03, 2108421[2].t2zpbs03, 2108421[3].t2zpbs03, 2108421[4].t2zpbs03
2108422[0].t2zpbs03, 2108422[1].t2zpbs03, 2108422[2].t2zpbs03, 2108422[3].t2zpbs03, 2108422[4].t2zpbs03
2108423[0].t2zpbs03, 2108423[1].t2zpbs03, 2108423[2].t2zpbs03, 2108423[3].t2zpbs03, 2108423[4].t2zpbs03

<Vキュー:309ジョブ>
2402117.t2zpbs-vm1, 2403734.t2zpbs-vm1, 2403735.t2zpbs-vm1, 2403738.t2zpbs-vm1, 2403739.t2zpbs-vm1
2404674.t2zpbs-vm1, 2404678.t2zpbs-vm1, 2405307.t2zpbs-vm1