【障害報告】2017.3.17発生:/work1, /gscr0 ストレージ障害

(グループディスクを利用している方向けの情報です)

                             学術国際情報センター
2017年3月17日

 下記の通りストレージに障害が発生し、復旧いたしました。

 時間帯:3月17(金)14:4115:50から20:08頃

 影響範囲:/work1, /gscr0にアクセスできない
      /work1 15:50から20:08
      /gscr0 15:56から18:17

 詳細:

(3/29追記)

大きく3つの問題が発生しています。

3月14日に/work1, /gscr0を構成する4台あるストレージコントローラの1台に故障が発生しました(*1)。2台でペアを組んでサービスを提供しているためこの時点では1台分の処理をもう一台が肩代わりすることによる速度低下にとどまっていました。3月15日に故障したコントローラを交換しました。その時にこのコントローラに接続されているInfinibandケーブルの一部も故障していることがわかりましたので交換ケーブルを発注し3月17日に交換が完了しました。機械は正常に戻ったため同17日に交換になったHCAをシステムに認識させるため、MDT,OSTをテイクオーバをすることになり、14:15より作業を開始しました。ところが15:50頃に/work1でJournalの問題(デットロック)でMDSの処理がスタックする問題が発生しました。またその後の復旧中にSTONITHが動いてしまう問題が複数発生しました。

Journalの問題は昨年の5月11日今年の2月3日に発生した問題と同種となります。本問題の調査にはvmcoreの取得が必要ですが、これまでに取得に失敗しています。2月停電メンテナンス時にcrashkernel値を512MBに増やし取得を試みましたがこれでも失敗し1024MBに変更し経過を見ています。このメモリ量を増やすとその分だけMDS本来のサービスに利用できるメモリ量が減少するためバランスが重要となります。

STONITHが動いていしまう問題も以前より(例えば2016年10月7日)発生していた問題でしたが2月の停電メンテナンス時に修正パッチを適用したことで、問題発生時に見られたエラーメッセージは発生しなくなっており、問題自体は解決できていると考えられております。しかし、別の問題で引き続きumount に時間を要しており STONITH が動いてしまっている状況と考えられます。年度末メンテナンス開始時にLustreのdebugログを取得できるよう設定を行ってから停止作業を行なった結果、一部のノードで時間を要する動作が見られたため、その際に取得したログから確認作業を進めています。

*1…コントローラの一部ロットに搭載されている PCI Riser カードに不具合が存在しており、通常稼働時の電気的負荷により回路がショート、PCI Riser カードおよび周辺が焼け焦げる問題が報告されており、今回の問題のコントローラを確認したところ、類似の事象が発生していることがわかりました。その後全てのコントローラを精査したところ12台のうち9台がこの不具合に該当していることがわかり交換の手配を行なっています。

用語説明

MDS:Lustreファイルシステムにおいて、計算ノードに対してファイルのメタ情報を実際に送受信するサーバ

MDT:Lustreファイルシステムにおいて、ファイルのメタ情報を実際に保存しているディスクの集合体

OST:Lustreファイルシステムにおいて、ファイルの中身を実際に保存しているディスクの集合体

STONITH:監視対象に異常が発生した場合に強制的に停止もしくは再起動させる機能


 なお、影響があったと思われるジョブ(障害発生期間中に実行中であったジョブ)の一覧は下記の通りです。(4/5訂正)

<Sキュー:228ジョブ>
2120447.t2zpbs01 2120449.t2zpbs01 2120451.t2zpbs01 2120452.t2zpbs01 2120454.t2zpbs01
2120455.t2zpbs01 2120456.t2zpbs01 2120457.t2zpbs01 2120458.t2zpbs01 2120459.t2zpbs01
2120460.t2zpbs01 2120461.t2zpbs01 2120462.t2zpbs01 2120463.t2zpbs01 2120464.t2zpbs01
2120465.t2zpbs01 2120466.t2zpbs01 2120467.t2zpbs01 2120468.t2zpbs01 2120471.t2zpbs01
2120473.t2zpbs01 2120475.t2zpbs01 2120477.t2zpbs01 2120479.t2zpbs01 2120481.t2zpbs01
2120483.t2zpbs01 2120485.t2zpbs01 2120487.t2zpbs01 2120490.t2zpbs01 2120492.t2zpbs01
2120493.t2zpbs01 2120494.t2zpbs01 2120496.t2zpbs01 2120498.t2zpbs01 2120500.t2zpbs01
2120503.t2zpbs01 2120504.t2zpbs01 2120505.t2zpbs01 2120506.t2zpbs01 2120507.t2zpbs01
2127766.t2zpbs01 2127776.t2zpbs01 2127850.t2zpbs01 2127851.t2zpbs01 2127852.t2zpbs01
2127853.t2zpbs01 2127865.t2zpbs01 2127866.t2zpbs01 2127867.t2zpbs01 2128311.t2zpbs01
2128320.t2zpbs01 2128338.t2zpbs01 2128339.t2zpbs01 2128370.t2zpbs01 2128388.t2zpbs01
2128390.t2zpbs01 2128393.t2zpbs01 2128394.t2zpbs01 2128402.t2zpbs01 2128403.t2zpbs01
2128413.t2zpbs01 2128435.t2zpbs01 2128489.t2zpbs01 2128493.t2zpbs01 2128527.t2zpbs01
2128529.t2zpbs01 2128531.t2zpbs01 2128532.t2zpbs01 2128533.t2zpbs01 2128534.t2zpbs01
2128535.t2zpbs01 2128537.t2zpbs01 2128541.t2zpbs01 2128543.t2zpbs01 2128544.t2zpbs01
2128545.t2zpbs01 2128546.t2zpbs01 2128547.t2zpbs01 2128548.t2zpbs01 2128549.t2zpbs01
2128550.t2zpbs01 2128551.t2zpbs01 2128552.t2zpbs01 2128553.t2zpbs01 2128554.t2zpbs01
2128555.t2zpbs01 2128556.t2zpbs01 2128557.t2zpbs01 2128558.t2zpbs01 2128559.t2zpbs01
2128560.t2zpbs01 2128581.t2zpbs01 2128582.t2zpbs01 2128583.t2zpbs01 2128584.t2zpbs01
2128585.t2zpbs01 2128586.t2zpbs01 2128589.t2zpbs01 2128616.t2zpbs01 2128617.t2zpbs01
2128618.t2zpbs01 2128619.t2zpbs01 2128620.t2zpbs01 2128621.t2zpbs01 2128630.t2zpbs01
2128631.t2zpbs01 2128632.t2zpbs01 2128633.t2zpbs01 2128643.t2zpbs01 2128651.t2zpbs01
2128652.t2zpbs01 2128653.t2zpbs01 2128654.t2zpbs01 2128655.t2zpbs01 2128657.t2zpbs01
2128658.t2zpbs01 2128661.t2zpbs01 2128674.t2zpbs01 2128675.t2zpbs01 2128683.t2zpbs01
2128710.t2zpbs01 2128711.t2zpbs01 2128712.t2zpbs01 2128717.t2zpbs01 2128718.t2zpbs01
2128727.t2zpbs01 2128728.t2zpbs01 2128729.t2zpbs01 2128730.t2zpbs01 2128731.t2zpbs01
2128733.t2zpbs01 2128735.t2zpbs01 2128737.t2zpbs01 2128738.t2zpbs01 2128739.t2zpbs01
2128757.t2zpbs01 2128761.t2zpbs01 2128762.t2zpbs01 2128764.t2zpbs01 2128769.t2zpbs01
2128773[10].t2zpbs01 2128773[11].t2zpbs01 2128773[12].t2zpbs01 2128773[13].t2zpbs01 2128773[14].t2zpbs01
2128773[15].t2zpbs01 2128773[16].t2zpbs01 2128773[17].t2zpbs01 2128773[18].t2zpbs01 2128773[19].t2zpbs01
2128773[1].t2zpbs01 2128773[20].t2zpbs01 2128773[2].t2zpbs01 2128773[3].t2zpbs01 2128773[4].t2zpbs01
2128773[5].t2zpbs01 2128773[6].t2zpbs01 2128773[7].t2zpbs01 2128773[8].t2zpbs01 2128773[9].t2zpbs01
2128797.t2zpbs01 2128805.t2zpbs01 2128806.t2zpbs01 2128807.t2zpbs01 2128808.t2zpbs01
2128809.t2zpbs01 2128810.t2zpbs01 2128811.t2zpbs01 2128812.t2zpbs01 2128813.t2zpbs01
2128814.t2zpbs01 2128815.t2zpbs01 2128816.t2zpbs01 2128817.t2zpbs01 2128818.t2zpbs01
2128819.t2zpbs01 2128820.t2zpbs01 2128821.t2zpbs01 2128822.t2zpbs01 2128823.t2zpbs01
2128824.t2zpbs01 2128825.t2zpbs01 2128826.t2zpbs01 2128827.t2zpbs01 2128828.t2zpbs01
2128829.t2zpbs01 2128830.t2zpbs01 2128831.t2zpbs01 2128832.t2zpbs01 2128833.t2zpbs01
2128834.t2zpbs01 2128835.t2zpbs01 2128836.t2zpbs01 2128837.t2zpbs01 2128838.t2zpbs01
2128839.t2zpbs01 2128840.t2zpbs01 2128841.t2zpbs01 2128842.t2zpbs01 2128843.t2zpbs01
2128846.t2zpbs01 2128852.t2zpbs01 2128857.t2zpbs01 2128860.t2zpbs01 2128861.t2zpbs01
2128865.t2zpbs01 2128866.t2zpbs01 2128876.t2zpbs01 2128882.t2zpbs01 2128883.t2zpbs01
2128884.t2zpbs01 2128885.t2zpbs01 2128886.t2zpbs01 2128887.t2zpbs01 2128888.t2zpbs01
2128889.t2zpbs01 2128891.t2zpbs01 2128893.t2zpbs01 2128894.t2zpbs01 2128895.t2zpbs01
2128897.t2zpbs01 2128898.t2zpbs01 2128899.t2zpbs01 2128900.t2zpbs01 2128901.t2zpbs01
2128902.t2zpbs01 2128903.t2zpbs01 2128904.t2zpbs01

<S96キュー:28ジョブ>
2128291.t2zpbs01 2128292.t2zpbs01 2128293.t2zpbs01 2128294.t2zpbs01 2128295.t2zpbs01
2128296.t2zpbs01 2128297.t2zpbs01 2128298.t2zpbs01 2128299.t2zpbs01 2128300.t2zpbs01
2128301.t2zpbs01 2128302.t2zpbs01 2128395.t2zpbs01 2128679.t2zpbs01 2128680.t2zpbs01
2128681.t2zpbs01 2128682.t2zpbs01 2128685.t2zpbs01 2128696.t2zpbs01 2128698.t2zpbs01
2128699.t2zpbs01 2128700.t2zpbs01 2128723.t2zpbs01 2128745.t2zpbs01 2128759.t2zpbs01
2128776.t2zpbs01 2128777.t2zpbs01 2128778.t2zpbs01

<Gキュー:61ジョブ>
2116715.t2zpbs03 2116716.t2zpbs03 2116917.t2zpbs03 2117755.t2zpbs03 2117756.t2zpbs03
2117757.t2zpbs03 2117758.t2zpbs03 2117759.t2zpbs03 2117864.t2zpbs03 2117873.t2zpbs03
2117936.t2zpbs03 2117937.t2zpbs03 2117938.t2zpbs03 2117939.t2zpbs03 2117972.t2zpbs03
2117974.t2zpbs03 2117983.t2zpbs03 2117984.t2zpbs03 2118260.t2zpbs03 2118262.t2zpbs03
2118334.t2zpbs03 2118335.t2zpbs03 2118336.t2zpbs03 2118337.t2zpbs03 2118338.t2zpbs03
2118339.t2zpbs03 2118347.t2zpbs03 2118380.t2zpbs03 2118381.t2zpbs03 2118382.t2zpbs03
2118399.t2zpbs03 2118403[10].t2zpbs03 2118403[11].t2zpbs03 2118403[12].t2zpbs03 2118403[13].t2zpbs03
2118403[14].t2zpbs03 2118403[15].t2zpbs03 2118403[16].t2zpbs03 2118403[17].t2zpbs03 2118403[18].t2zpbs03
2118403[19].t2zpbs03 2118403[1].t2zpbs03 2118403[20].t2zpbs03 2118403[21].t2zpbs03 2118403[22].t2zpbs03
2118403[23].t2zpbs03 2118403[24].t2zpbs03 2118403[25].t2zpbs03 2118403[26].t2zpbs03 2118403[2].t2zpbs03
2118403[3].t2zpbs03 2118403[4].t2zpbs03 2118403[5].t2zpbs03 2118403[6].t2zpbs03 2118403[7].t2zpbs03
2118403[8].t2zpbs03 2118403[9].t2zpbs03 2118414.t2zpbs03 2118415.t2zpbs03 2118416.t2zpbs03
2118513.t2zpbs03

<Vキュー:396ジョブ>
2462851.t2zpbs-vm1 2462852.t2zpbs-vm1 2464283.t2zpbs-vm1 2464944.t2zpbs-vm1 2465138.t2zpbs-vm1
2465596.t2zpbs-vm1 2465597.t2zpbs-vm1 2465598.t2zpbs-vm1 2466145.t2zpbs-vm1 2466147.t2zpbs-vm1
2466148.t2zpbs-vm1 2466200.t2zpbs-vm1 2466201.t2zpbs-vm1 2466202.t2zpbs-vm1 2466203.t2zpbs-vm1
2466204.t2zpbs-vm1 2466205.t2zpbs-vm1 2466206.t2zpbs-vm1 2466210.t2zpbs-vm1 2466221.t2zpbs-vm1
2466222.t2zpbs-vm1 2466224.t2zpbs-vm1 2466225.t2zpbs-vm1 2466226.t2zpbs-vm1 2466227.t2zpbs-vm1
2466228.t2zpbs-vm1 2466229.t2zpbs-vm1 2466230.t2zpbs-vm1 2466231.t2zpbs-vm1 2466232.t2zpbs-vm1
2466233.t2zpbs-vm1 2466234.t2zpbs-vm1 2466236.t2zpbs-vm1 2466237.t2zpbs-vm1 2466238.t2zpbs-vm1
2466240.t2zpbs-vm1 2466242.t2zpbs-vm1 2466243.t2zpbs-vm1 2466244.t2zpbs-vm1 2466245.t2zpbs-vm1
2466246.t2zpbs-vm1 2466247.t2zpbs-vm1 2466248.t2zpbs-vm1 2466249.t2zpbs-vm1 2466250.t2zpbs-vm1
2466252.t2zpbs-vm1 2466253.t2zpbs-vm1 2466254.t2zpbs-vm1 2466255.t2zpbs-vm1 2466256.t2zpbs-vm1
2466257.t2zpbs-vm1 2466258.t2zpbs-vm1 2466259.t2zpbs-vm1 2466260.t2zpbs-vm1 2466309.t2zpbs-vm1
2466311.t2zpbs-vm1 2466312.t2zpbs-vm1 2466368.t2zpbs-vm1 2466370.t2zpbs-vm1 2466389.t2zpbs-vm1
2466390.t2zpbs-vm1 2466391.t2zpbs-vm1 2466392.t2zpbs-vm1 2466394.t2zpbs-vm1 2466395.t2zpbs-vm1
2466396.t2zpbs-vm1 2466397.t2zpbs-vm1 2466398.t2zpbs-vm1 2466425.t2zpbs-vm1 2466426.t2zpbs-vm1
2466672.t2zpbs-vm1 2466673.t2zpbs-vm1 2466674.t2zpbs-vm1 2466675.t2zpbs-vm1 2466676.t2zpbs-vm1
2466677.t2zpbs-vm1 2466678.t2zpbs-vm1 2466679.t2zpbs-vm1 2466680.t2zpbs-vm1 2466681.t2zpbs-vm1
2466682.t2zpbs-vm1 2466683.t2zpbs-vm1 2466684.t2zpbs-vm1 2466685.t2zpbs-vm1 2466686.t2zpbs-vm1
2466687.t2zpbs-vm1 2466688.t2zpbs-vm1 2466689.t2zpbs-vm1 2466690.t2zpbs-vm1 2466691.t2zpbs-vm1
2466692.t2zpbs-vm1 2466693.t2zpbs-vm1 2466694.t2zpbs-vm1 2466715.t2zpbs-vm1 2466716.t2zpbs-vm1
2466733.t2zpbs-vm1 2466734.t2zpbs-vm1 2466735.t2zpbs-vm1 2466736.t2zpbs-vm1 2466737.t2zpbs-vm1
2466738.t2zpbs-vm1 2466739.t2zpbs-vm1 2466740.t2zpbs-vm1 2466741.t2zpbs-vm1 2466742.t2zpbs-vm1
2466743.t2zpbs-vm1 2466744.t2zpbs-vm1 2466745.t2zpbs-vm1 2466746.t2zpbs-vm1 2466747.t2zpbs-vm1
2466748.t2zpbs-vm1 2466749.t2zpbs-vm1 2466750.t2zpbs-vm1 2466751.t2zpbs-vm1 2466752.t2zpbs-vm1
2466753.t2zpbs-vm1 2466754.t2zpbs-vm1 2466755.t2zpbs-vm1 2466756.t2zpbs-vm1 2466757.t2zpbs-vm1
2466758.t2zpbs-vm1 2466759.t2zpbs-vm1 2466760.t2zpbs-vm1 2466761.t2zpbs-vm1 2466762.t2zpbs-vm1
2466763.t2zpbs-vm1 2466764.t2zpbs-vm1 2466782.t2zpbs-vm1 2466783.t2zpbs-vm1 2466784.t2zpbs-vm1
2466785.t2zpbs-vm1 2466786.t2zpbs-vm1 2466787.t2zpbs-vm1 2466789.t2zpbs-vm1 2466790.t2zpbs-vm1
2466791.t2zpbs-vm1 2466792.t2zpbs-vm1 2466793.t2zpbs-vm1 2466794.t2zpbs-vm1 2466795.t2zpbs-vm1
2466796.t2zpbs-vm1 2466797.t2zpbs-vm1 2466798.t2zpbs-vm1 2466799.t2zpbs-vm1 2466800.t2zpbs-vm1
2466801.t2zpbs-vm1 2466806.t2zpbs-vm1 2466807.t2zpbs-vm1 2466808.t2zpbs-vm1 2466809.t2zpbs-vm1
2466810.t2zpbs-vm1 2466811.t2zpbs-vm1 2466812.t2zpbs-vm1 2466813.t2zpbs-vm1 2466814.t2zpbs-vm1
2466815.t2zpbs-vm1 2466816.t2zpbs-vm1 2466817.t2zpbs-vm1 2466818.t2zpbs-vm1 2466822.t2zpbs-vm1
2466823.t2zpbs-vm1 2466824.t2zpbs-vm1 2466825.t2zpbs-vm1 2466826.t2zpbs-vm1 2466827.t2zpbs-vm1
2466828.t2zpbs-vm1 2466829.t2zpbs-vm1 2466830.t2zpbs-vm1 2466831.t2zpbs-vm1 2466832.t2zpbs-vm1
2466833.t2zpbs-vm1 2466834.t2zpbs-vm1 2466836.t2zpbs-vm1 2466838.t2zpbs-vm1 2466840.t2zpbs-vm1
2466841.t2zpbs-vm1 2466843.t2zpbs-vm1 2466844.t2zpbs-vm1 2466845.t2zpbs-vm1 2466855.t2zpbs-vm1
2466856.t2zpbs-vm1 2466877.t2zpbs-vm1 2466878.t2zpbs-vm1 2466892.t2zpbs-vm1 2466893.t2zpbs-vm1
2466894.t2zpbs-vm1 2466895.t2zpbs-vm1 2466902.t2zpbs-vm1 2466904.t2zpbs-vm1 2466905.t2zpbs-vm1
2466910.t2zpbs-vm1 2466912.t2zpbs-vm1 2466914.t2zpbs-vm1 2466915.t2zpbs-vm1 2466916.t2zpbs-vm1
2466917.t2zpbs-vm1 2466918.t2zpbs-vm1 2466919.t2zpbs-vm1 2466922.t2zpbs-vm1 2466923.t2zpbs-vm1
2466926.t2zpbs-vm1 2466928.t2zpbs-vm1 2466929.t2zpbs-vm1 2466931.t2zpbs-vm1 2466932.t2zpbs-vm1
2466933.t2zpbs-vm1 2466935.t2zpbs-vm1 2466937.t2zpbs-vm1 2466939.t2zpbs-vm1 2466940.t2zpbs-vm1
2466941.t2zpbs-vm1 2466945.t2zpbs-vm1 2466946.t2zpbs-vm1 2466947.t2zpbs-vm1 2466948.t2zpbs-vm1
2466951.t2zpbs-vm1 2466952.t2zpbs-vm1 2466953.t2zpbs-vm1 2466954.t2zpbs-vm1 2466955.t2zpbs-vm1
2466956.t2zpbs-vm1 2466957.t2zpbs-vm1 2466958.t2zpbs-vm1 2466961.t2zpbs-vm1 2466963.t2zpbs-vm1
2466964.t2zpbs-vm1 2466965.t2zpbs-vm1 2466966.t2zpbs-vm1 2466967.t2zpbs-vm1 2466969.t2zpbs-vm1
2466970.t2zpbs-vm1 2466971.t2zpbs-vm1 2466975.t2zpbs-vm1 2466976.t2zpbs-vm1 2466977.t2zpbs-vm1
2466980.t2zpbs-vm1 2466981.t2zpbs-vm1 2466982.t2zpbs-vm1 2466983.t2zpbs-vm1 2466984.t2zpbs-vm1
2466985.t2zpbs-vm1 2466986.t2zpbs-vm1 2466987.t2zpbs-vm1 2466988.t2zpbs-vm1 2466989.t2zpbs-vm1
2466990.t2zpbs-vm1 2466992.t2zpbs-vm1 2466993.t2zpbs-vm1 2466994.t2zpbs-vm1 2466995.t2zpbs-vm1
2466996.t2zpbs-vm1 2466997.t2zpbs-vm1 2466998.t2zpbs-vm1 2466999.t2zpbs-vm1 2467000.t2zpbs-vm1
2467001.t2zpbs-vm1 2467002.t2zpbs-vm1 2467003.t2zpbs-vm1 2467004.t2zpbs-vm1 2467005.t2zpbs-vm1
2467006.t2zpbs-vm1 2467008.t2zpbs-vm1 2467009.t2zpbs-vm1 2467010.t2zpbs-vm1 2467034.t2zpbs-vm1
2467039.t2zpbs-vm1 2467040.t2zpbs-vm1 2467041.t2zpbs-vm1 2467042.t2zpbs-vm1 2467043.t2zpbs-vm1
2467044.t2zpbs-vm1 2467045.t2zpbs-vm1 2467046.t2zpbs-vm1 2467047.t2zpbs-vm1 2467048.t2zpbs-vm1
2467049.t2zpbs-vm1 2467050.t2zpbs-vm1 2467051.t2zpbs-vm1 2467052.t2zpbs-vm1 2467053.t2zpbs-vm1
2467054.t2zpbs-vm1 2467055.t2zpbs-vm1 2467056.t2zpbs-vm1 2467057.t2zpbs-vm1 2467058.t2zpbs-vm1
2467059.t2zpbs-vm1 2467060.t2zpbs-vm1 2467061.t2zpbs-vm1 2467062.t2zpbs-vm1 2467063.t2zpbs-vm1
2467064.t2zpbs-vm1 2467065.t2zpbs-vm1 2467066.t2zpbs-vm1 2467068.t2zpbs-vm1 2467071.t2zpbs-vm1
2467072.t2zpbs-vm1 2467073.t2zpbs-vm1 2467074.t2zpbs-vm1 2467075.t2zpbs-vm1 2467076.t2zpbs-vm1
2467077.t2zpbs-vm1 2467078.t2zpbs-vm1 2467079.t2zpbs-vm1 2467080.t2zpbs-vm1 2467081.t2zpbs-vm1
2467082.t2zpbs-vm1 2467083.t2zpbs-vm1 2467084.t2zpbs-vm1 2467085.t2zpbs-vm1 2467086.t2zpbs-vm1
2467087.t2zpbs-vm1 2467088.t2zpbs-vm1 2467089.t2zpbs-vm1 2467090.t2zpbs-vm1 2467091.t2zpbs-vm1
2467092.t2zpbs-vm1 2467093.t2zpbs-vm1 2467094.t2zpbs-vm1 2467095.t2zpbs-vm1 2467096.t2zpbs-vm1
2467097.t2zpbs-vm1 2467098.t2zpbs-vm1 2467099.t2zpbs-vm1 2467100.t2zpbs-vm1 2467101.t2zpbs-vm1
2467102.t2zpbs-vm1 2467103.t2zpbs-vm1 2467104.t2zpbs-vm1 2467105.t2zpbs-vm1 2467106.t2zpbs-vm1
2467107.t2zpbs-vm1 2467108.t2zpbs-vm1 2467109.t2zpbs-vm1 2467110.t2zpbs-vm1 2467111.t2zpbs-vm1
2467112.t2zpbs-vm1 2467113.t2zpbs-vm1 2467114.t2zpbs-vm1 2467115.t2zpbs-vm1 2467116.t2zpbs-vm1
2467117.t2zpbs-vm1 2467118.t2zpbs-vm1 2467119.t2zpbs-vm1 2467120.t2zpbs-vm1 2467121.t2zpbs-vm1
2467122.t2zpbs-vm1 2467123.t2zpbs-vm1 2467124.t2zpbs-vm1 2467125.t2zpbs-vm1 2467126.t2zpbs-vm1
2467127.t2zpbs-vm1 2467128.t2zpbs-vm1 2467129.t2zpbs-vm1 2467130.t2zpbs-vm1 2467131.t2zpbs-vm1
2467132.t2zpbs-vm1 2467133.t2zpbs-vm1 2467134.t2zpbs-vm1 2467136.t2zpbs-vm1 2467137.t2zpbs-vm1
2467138.t2zpbs-vm1 2467139.t2zpbs-vm1 2467141.t2zpbs-vm1 2467142.t2zpbs-vm1 2467323.t2zpbs-vm1
2467325.t2zpbs-vm1 2467327.t2zpbs-vm1 2467328.t2zpbs-vm1 2467339.t2zpbs-vm1 2467340.t2zpbs-vm1
2467342.t2zpbs-vm1 2467344.t2zpbs-vm1 2467346.t2zpbs-vm1 2467348.t2zpbs-vm1 2467350.t2zpbs-vm1
2467351.t2zpbs-vm1 2467357.t2zpbs-vm1 2467358.t2zpbs-vm1 2467361.t2zpbs-vm1 2467362.t2zpbs-vm1
2467364.t2zpbs-vm1 2467366.t2zpbs-vm1 2467368.t2zpbs-vm1 2467370.t2zpbs-vm1 2467372.t2zpbs-vm1
2467376.t2zpbs-vm1 2467378.t2zpbs-vm1 2467379.t2zpbs-vm1 2467381.t2zpbs-vm1 2467389.t2zpbs-vm1
2467390.t2zpbs-vm1 2467394.t2zpbs-vm1 2467396.t2zpbs-vm1 2467399.t2zpbs-vm1 2467401.t2zpbs-vm1
2467482.t2zpbs-vm1

<Uキュー:1ジョブ>
2467484.t2zpbs-vm1

<L256キュー:1ジョブ>
2128862.t2zpbs01

<L512キュー:8ジョブ>
2128871.t2zpbs01 2128873.t2zpbs01 2128877.t2zpbs01 2128880.t2zpbs01 2128881.t2zpbs01
2128890.t2zpbs01 2128892.t2zpbs01 2128896.t2zpbs01

<Hキュー:495ジョブ>
1140829.t2zpbs05 1140835.t2zpbs05 1140836.t2zpbs05 1140844.t2zpbs05 1140856.t2zpbs05
1140865.t2zpbs05 1140871.t2zpbs05 1140874.t2zpbs05 1140884.t2zpbs05 1140885.t2zpbs05
1140886.t2zpbs05 1140889.t2zpbs05 1140890.t2zpbs05 1140891.t2zpbs05 1140894.t2zpbs05
1140895.t2zpbs05 1140896.t2zpbs05 1140904.t2zpbs05 1140905.t2zpbs05 1140906.t2zpbs05
1140909.t2zpbs05 1140910.t2zpbs05 1140911.t2zpbs05 1140914.t2zpbs05 1140915.t2zpbs05
1140916.t2zpbs05 1140919.t2zpbs05 1140920.t2zpbs05 1140921.t2zpbs05 1140924.t2zpbs05
1140925.t2zpbs05 1140926.t2zpbs05 1140929.t2zpbs05 1140930.t2zpbs05 1140931.t2zpbs05
1140934.t2zpbs05 1140935.t2zpbs05 1140936.t2zpbs05 1140939.t2zpbs05 1140944.t2zpbs05
1140945.t2zpbs05 1140946.t2zpbs05 1140947.t2zpbs05 1140948.t2zpbs05 1140949.t2zpbs05
1140950.t2zpbs05 1140951.t2zpbs05 1140952.t2zpbs05 1140953.t2zpbs05 1140954.t2zpbs05
1140955.t2zpbs05 1140956.t2zpbs05 1140957.t2zpbs05 1140958.t2zpbs05 1140959.t2zpbs05
1140960.t2zpbs05 1140961.t2zpbs05 1140962.t2zpbs05 1140963.t2zpbs05 1140964.t2zpbs05
1140965.t2zpbs05 1140966.t2zpbs05 1140967.t2zpbs05 1140968.t2zpbs05 1140969.t2zpbs05
1140970.t2zpbs05 1140971.t2zpbs05 1140972.t2zpbs05 1140973.t2zpbs05 1140974.t2zpbs05
1140975.t2zpbs05 1140976.t2zpbs05 1140977.t2zpbs05 1140978.t2zpbs05 1140980.t2zpbs05
1140981.t2zpbs05 1140984.t2zpbs05 1140985.t2zpbs05 1140986.t2zpbs05 1140987.t2zpbs05
1140988.t2zpbs05 1140989.t2zpbs05 1140990.t2zpbs05 1140991.t2zpbs05 1140992.t2zpbs05
1140993.t2zpbs05 1140994.t2zpbs05 1140995.t2zpbs05 1140996.t2zpbs05 1140997.t2zpbs05
1140998.t2zpbs05 1140999.t2zpbs05 1141000.t2zpbs05 1141001.t2zpbs05 1141002.t2zpbs05
1141003.t2zpbs05 1141004.t2zpbs05 1141005.t2zpbs05 1141006.t2zpbs05 1141007.t2zpbs05
1141008.t2zpbs05 1141009.t2zpbs05 1141010.t2zpbs05 1141011.t2zpbs05 1141012.t2zpbs05
1141013.t2zpbs05 1141014.t2zpbs05 1141015.t2zpbs05 1141016.t2zpbs05 1141017.t2zpbs05
1141018.t2zpbs05 1141019.t2zpbs05 1141020.t2zpbs05 1141021.t2zpbs05 1141022.t2zpbs05
1141023.t2zpbs05 1141024.t2zpbs05 1141025.t2zpbs05 1141026.t2zpbs05 1141027.t2zpbs05
1141028.t2zpbs05 1141029.t2zpbs05 1141030.t2zpbs05 1141031.t2zpbs05 1141032.t2zpbs05
1141033.t2zpbs05 1141034.t2zpbs05 1141035.t2zpbs05 1141036.t2zpbs05 1141037.t2zpbs05
1141038.t2zpbs05 1141039.t2zpbs05 1141040.t2zpbs05 1141041.t2zpbs05 1141042.t2zpbs05
1141043.t2zpbs05 1141044.t2zpbs05 1141045.t2zpbs05 1141046.t2zpbs05 1141047.t2zpbs05
1141048.t2zpbs05 1141049.t2zpbs05 1141050.t2zpbs05 1141051.t2zpbs05 1141052.t2zpbs05
1141053.t2zpbs05 1141054.t2zpbs05 1141055.t2zpbs05 1141056.t2zpbs05 1141057.t2zpbs05
1141058.t2zpbs05 1141059.t2zpbs05 1141060.t2zpbs05 1141061.t2zpbs05 1141062.t2zpbs05
1141063.t2zpbs05 1141064.t2zpbs05 1141065.t2zpbs05 1141066.t2zpbs05 1141067.t2zpbs05
1141068.t2zpbs05 1141069.t2zpbs05 1141070.t2zpbs05 1141071.t2zpbs05 1141072.t2zpbs05
1141073.t2zpbs05 1141074.t2zpbs05 1141075.t2zpbs05 1141076.t2zpbs05 1141077.t2zpbs05
1141078.t2zpbs05 1141079.t2zpbs05 1141080.t2zpbs05 1141081.t2zpbs05 1141082.t2zpbs05
1141083.t2zpbs05 1141084.t2zpbs05 1141085.t2zpbs05 1141086.t2zpbs05 1141087.t2zpbs05
1141088.t2zpbs05 1141089.t2zpbs05 1141090.t2zpbs05 1141091.t2zpbs05 1141092.t2zpbs05
1141093.t2zpbs05 1141094.t2zpbs05 1141095.t2zpbs05 1141096.t2zpbs05 1141097.t2zpbs05
1141098.t2zpbs05 1141099.t2zpbs05 1141100.t2zpbs05 1141101.t2zpbs05 1141102.t2zpbs05
1141103.t2zpbs05 1141104.t2zpbs05 1141105.t2zpbs05 1141106.t2zpbs05 1141107.t2zpbs05
1141108.t2zpbs05 1141109.t2zpbs05 1141110.t2zpbs05 1141111.t2zpbs05 1141112.t2zpbs05
1141113.t2zpbs05 1141114.t2zpbs05 1141115.t2zpbs05 1141116.t2zpbs05 1141117.t2zpbs05
1141118.t2zpbs05 1141119.t2zpbs05 1141120.t2zpbs05 1141121.t2zpbs05 1141122.t2zpbs05
1141123.t2zpbs05 1141124.t2zpbs05 1141125.t2zpbs05 1141126.t2zpbs05 1141127.t2zpbs05
1141128.t2zpbs05 1141129.t2zpbs05 1141130.t2zpbs05 1141131.t2zpbs05 1141132.t2zpbs05
1141133.t2zpbs05 1141134.t2zpbs05 1141135.t2zpbs05 1141136.t2zpbs05 1141137.t2zpbs05
1141138.t2zpbs05 1141139.t2zpbs05 1141140.t2zpbs05 1141141.t2zpbs05 1141142.t2zpbs05
1141143.t2zpbs05 1141144.t2zpbs05 1141145.t2zpbs05 1141146.t2zpbs05 1141147.t2zpbs05
1141148.t2zpbs05 1141149.t2zpbs05 1141150.t2zpbs05 1141151.t2zpbs05 1141152.t2zpbs05
1141153.t2zpbs05 1141154.t2zpbs05 1141155.t2zpbs05 1141156.t2zpbs05 1141157.t2zpbs05
1141158.t2zpbs05 1141159.t2zpbs05 1141160.t2zpbs05 1141161.t2zpbs05 1141162.t2zpbs05
1141163.t2zpbs05 1141164.t2zpbs05 1141165.t2zpbs05 1141166.t2zpbs05 1141167.t2zpbs05
1141168.t2zpbs05 1141169.t2zpbs05 1141170.t2zpbs05 1141171.t2zpbs05 1141172.t2zpbs05
1141173.t2zpbs05 1141174.t2zpbs05 1141175.t2zpbs05 1141176.t2zpbs05 1141177.t2zpbs05
1141178.t2zpbs05 1141179.t2zpbs05 1141180.t2zpbs05 1141181.t2zpbs05 1141182.t2zpbs05
1141183.t2zpbs05 1141184.t2zpbs05 1141185.t2zpbs05 1141186.t2zpbs05 1141187.t2zpbs05
1141188.t2zpbs05 1141189.t2zpbs05 1141190.t2zpbs05 1141191.t2zpbs05 1141192.t2zpbs05
1141193.t2zpbs05 1141194.t2zpbs05 1141195.t2zpbs05 1141196.t2zpbs05 1141197.t2zpbs05
1141198.t2zpbs05 1141199.t2zpbs05 1141200.t2zpbs05 1141201.t2zpbs05 1141202.t2zpbs05
1141203.t2zpbs05 1141204.t2zpbs05 1141205.t2zpbs05 1141206.t2zpbs05 1141207.t2zpbs05
1141208.t2zpbs05 1141209.t2zpbs05 1141210.t2zpbs05 1141211.t2zpbs05 1141212.t2zpbs05
1141213.t2zpbs05 1141214.t2zpbs05 1141215.t2zpbs05 1141216.t2zpbs05 1141217.t2zpbs05
1141218.t2zpbs05 1141219.t2zpbs05 1141220.t2zpbs05 1141221.t2zpbs05 1141222.t2zpbs05
1141223.t2zpbs05 1141224.t2zpbs05 1141225.t2zpbs05 1141226.t2zpbs05 1141227.t2zpbs05
1141228.t2zpbs05 1141229.t2zpbs05 1141230.t2zpbs05 1141231.t2zpbs05 1141232.t2zpbs05
1141233.t2zpbs05 1141234.t2zpbs05 1141235.t2zpbs05 1141236.t2zpbs05 1141237.t2zpbs05
1141238.t2zpbs05 1141239.t2zpbs05 1141240.t2zpbs05 1141241.t2zpbs05 1141242.t2zpbs05
1141243.t2zpbs05 1141244.t2zpbs05 1141245.t2zpbs05 1141246.t2zpbs05 1141247.t2zpbs05
1141248.t2zpbs05 1141249.t2zpbs05 1141250.t2zpbs05 1141251.t2zpbs05 1141252.t2zpbs05
1141253.t2zpbs05 1141254.t2zpbs05 1141255.t2zpbs05 1141256.t2zpbs05 1141257.t2zpbs05
1141258.t2zpbs05 1141259.t2zpbs05 1141260.t2zpbs05 1141261.t2zpbs05 1141262.t2zpbs05
1141263.t2zpbs05 1141264.t2zpbs05 1141265.t2zpbs05 1141266.t2zpbs05 1141267.t2zpbs05
1141268.t2zpbs05 1141269.t2zpbs05 1141270.t2zpbs05 1141271.t2zpbs05 1141272.t2zpbs05
1141273.t2zpbs05 1141274.t2zpbs05 1141275.t2zpbs05 1141276.t2zpbs05 1141277.t2zpbs05
1141278.t2zpbs05 1141279.t2zpbs05 1141280.t2zpbs05 1141281.t2zpbs05 1141282.t2zpbs05
1141283.t2zpbs05 1141284.t2zpbs05 1141285.t2zpbs05 1141286.t2zpbs05 1141287.t2zpbs05
1141288.t2zpbs05 1141289.t2zpbs05 1141290.t2zpbs05 1141291.t2zpbs05 1141292.t2zpbs05
1141293.t2zpbs05 1141294.t2zpbs05 1141295.t2zpbs05 1141296.t2zpbs05 1141297.t2zpbs05
1141298.t2zpbs05 1141299.t2zpbs05 1141300.t2zpbs05 1141301.t2zpbs05 1141302.t2zpbs05
1141303.t2zpbs05 1141304.t2zpbs05 1141305.t2zpbs05 1141306.t2zpbs05 1141307.t2zpbs05
1141308.t2zpbs05 1141309.t2zpbs05 1141310.t2zpbs05 1141311.t2zpbs05 1141312.t2zpbs05
1141313.t2zpbs05 1141314.t2zpbs05 1141315.t2zpbs05 1141316.t2zpbs05 1141317.t2zpbs05
1141318.t2zpbs05 1141319.t2zpbs05 1141320.t2zpbs05 1141321.t2zpbs05 1141322.t2zpbs05
1141323.t2zpbs05 1141324.t2zpbs05 1141325.t2zpbs05 1141326.t2zpbs05 1141327.t2zpbs05
1141328.t2zpbs05 1141329.t2zpbs05 1141330.t2zpbs05 1141331.t2zpbs05 1141332.t2zpbs05
1141333.t2zpbs05 1141334.t2zpbs05 1141335.t2zpbs05 1141336.t2zpbs05 1141337.t2zpbs05
1141338.t2zpbs05 1141339.t2zpbs05 1141340.t2zpbs05 1141341.t2zpbs05 1141342.t2zpbs05
1141343.t2zpbs05 1141344.t2zpbs05 1141345.t2zpbs05 1141346.t2zpbs05 1141347.t2zpbs05
1141348.t2zpbs05 1141349.t2zpbs05 1141350.t2zpbs05 1141351.t2zpbs05 1141352.t2zpbs05
1141353.t2zpbs05 1141354.t2zpbs05 1141355.t2zpbs05 1141356.t2zpbs05 1141357.t2zpbs05
1141358.t2zpbs05 1141359.t2zpbs05 1141360.t2zpbs05 1141361.t2zpbs05 1141362.t2zpbs05
1141363.t2zpbs05 1141364.t2zpbs05 1141365.t2zpbs05 1141366.t2zpbs05 1141367.t2zpbs05
1141368.t2zpbs05 1141369.t2zpbs05 1141370.t2zpbs05 1141371.t2zpbs05 1141372.t2zpbs05
1141373.t2zpbs05 1141374.t2zpbs05 1141375.t2zpbs05 1141376.t2zpbs05 1141377.t2zpbs05
1141378.t2zpbs05 1141379.t2zpbs05 1141380.t2zpbs05 1141381.t2zpbs05 1141382.t2zpbs05
1141383.t2zpbs05 1141384.t2zpbs05 1141385.t2zpbs05 1141386.t2zpbs05 1141387.t2zpbs05
1141388.t2zpbs05 1141389.t2zpbs05 1141390.t2zpbs05 1141391.t2zpbs05 1141392.t2zpbs05
1141393.t2zpbs05 1141394.t2zpbs05 1141395.t2zpbs05 1141396.t2zpbs05 1141397.t2zpbs05
1141398.t2zpbs05 1141399.t2zpbs05 1141400.t2zpbs05 1141401.t2zpbs05 1141787.t2zpbs05

<Xキュー:21ジョブ>
1149638.t2zpbs05 1149647.t2zpbs05 1149659.t2zpbs05 1149660.t2zpbs05 1149661.t2zpbs05
1149662.t2zpbs05 1149663.t2zpbs05 1149664.t2zpbs05 1149861.t2zpbs05 1149883.t2zpbs05
1150647.t2zpbs05 1150790.t2zpbs05 1150806.t2zpbs05 1150810.t2zpbs05 1150815.t2zpbs05
1151080.t2zpbs05 1151218.t2zpbs05 1151219.t2zpbs05 1151220.t2zpbs05 1151221.t2zpbs05
1151222.t2zpbs05