TSUBAME3.0計算サービスのWebページはこちら

TSUBAME2.5からTSUBAME3.0へのデータ移行方法の資料はこちら

データの転送・コピーについて教えてください。

この FAQ では、次の二つについて説明します。

  • 手元のコンピュータと TSUBAME 間のデータ転送
  • TSUBAME 内におけるデータコピーの方法

手元のコンピュータと TSUBAME 間のデータ転送

まず、具体例として次の二つのケースの対応の流れを説明します。

  • Case1: Mac から TSUBAME にファイル転送する場合
  • Case2: Windows から TSUBAME にファイル転送する場合

また、データ転送の際は、次の 3 点をどのように組み合わせるか考える必要があります。それぞれどのような選択肢があるかを説明します。

  • データ転送用に指定できる TSUBAME のノード
  • TSUBAME 上でのデータ格納先
  • ファイル転送方法

Case 1: 手元のコンピュータ上(Mac)にある大量のファイルを TSUBAME に転送する場合

Mac 上の testdir ディレクトリ一式を TSUBAME に転送する場合を考えます。
rsync コマンドを使用したデータ転送例を紹介します。

$ rsync -auv testdir login_name@io-t2.g.gsic.titech.ac.jp:/work1/t2g-GROUP/testdir

rsync コマンドの利点は、途中で何らかの理由でファイル転送が中断した場合でも、再開時に前回の続きから対応できることです。
また、io-t2.g.gsic.titech.ac.jp は IO 専用ノードです。データ転送用途に適しています。
データ格納先は /work1 を選択しています。/work 領域は高速な計算に適しております。ただし、グループディスクを購入する必要があります。

Case 2: 手元のコンピュータ上(Windows)にあるファイルを TSUBAME に転送する場合

例えば、WinSCP などのデータ転送用ソフトを利用するのが一つの手となります。Windows にインストールしてご利用ください。

データ転送用に指定できる TSUBAME のノード

データ転送用に指定できる TSUBAME のノードとして、IO 専用ノード(io-t2.g.gsic.titech.ac.jp)、ログインノード(login-t2.g.gsic.titech.ac.jp)の二つがあります。それぞれ次の特徴があります。大量のファイルを転送する場合は、CPU 時間制限の無い IO 専用ノードの方が適しています。

項目 IO専用ノード ログインノード
時間制限 無し CPU 時間 30 分を超えるとセッション遮断
認証 鍵認証必須

学外からは鍵認証必須
学内からは鍵認証、パスワード認証両方可

注意事項

  • データ転送に失敗する場合は、TSUBAME へのログインが出来るかどうかご確認ください。
  • 一定時間内に一定回数以上の SSH 接続を行うと、一時的にシステムにログインできなくなります。rsync コマンドのように一つのセッション内で複数ファイルの転送を行うことで回避できます。

参考リンク

TSUBAME 上でのデータ格納先

TSUBAME 上のデータ格納先として home(/home), work(/work0, /work1)、data(/data0) の三つの領域がありますhome 領域は、ユーザアカウントごとに無課金で利用できますが、25GB の容量制限があります。この上限は増やせないため、より多くのデータを保管したい場合は work 領域の利用をご検討ください。

禁止事項

  • home 領域上での並列ジョブの実行は、デバッグ目的での小規模計算を除きご遠慮ください。home 領域は並列ジョブの負荷に耐えうる設計になっておりません。高負荷となり、多くのユーザの home 領域上のファイル IO が遅くなる影響を発生させてしまいます。

参考リンク

ファイル転送方法

ファイル転送用のソフトウェアやコマンドを使用します。

ファイル転送用ソフトウェアを使用する場合

Windows の場合 WinSCP、Mac の場合 CyberDuck などのフリーソフトを用いることでファイル転送が出来ます。
これらのソフトウエアの使い方はそれぞれのマニュアルをご覧ください。

参考リンク

コマンドを使用する場合

rsync コマンド

rsync の利点は、途中で何らかの理由でファイル転送が中断した場合でも、再開時に前回の続きから対応できることです。

・手元のコンピュータ上のファイルを TSUBAME 上へ転送する場合
$ rsync -auv testdir login_name@io-t2.g.gsic.titech.ac.jp:/work1/t2g-GROUP/testdir

・TSUBAME 上のファイルを手元のコンピュータに転送する場合
$ rsync -auv login_name@io-t2.g.gsic.titech.ac.jp:/work1/t2g-GROUP/testdir .

scp
・手元のコンピュータ上のファイルを TSUBAME 上へ転送する場合
$ scp xxx.dat login_name@login-t2.g.gsic.titech.ac.jp:/work1/t2g-GROUP/testdir

・TSUBAME 上のファイルを手元のコンピュータに転送する場合
$ scp login_name@login-t2.g.gsic.titech.ac.jp:/work1/t2g-GROUP/testdir .

sftp コマンド

TSUBAME 内におけるデータコピーの方法

データのコピー方法にはいくつかの種類があります。
基本的な構文は、どのコマンドも同じで、

[コマンド] [オプション] [コピー元] [コピー後]

の形で使用します。以下に具体例を示します。

ファイルの操作中は、ストレージの制限にかかるために操作が失敗する場合があります。
制限は TSUBAME利用の手引き: ストレージの制限 をご参照ください。

TSUBAME 内部でのファイルコピー

1. 単純コピー(移動)

$ cp a.txt b.txt
$ mv a.txt b.txt

2. 情報を保持する(タイムスタンプ)

$ cp -p a.txt b.txt
$ mv a.txt b.txt (mvはオプションなしで保持)

3. ディレクトリごとコピー

$ cp -r a b (メッセージ不要の場合は -r → -fr)
$ mv a b

4. 大量データ

$ rsync -auv /work0/soudan/UNIX ~UNIX

オプションの意味

a: 属性や下位のディレクトを含めてコピー
u: updateで、既にコピー済みのファイルはスキップする
v: 経過を表示

など、さらに詳細な使用方法は man を参照ください。

5. グループの移動

$ rsync -av --no-g --no-p /work1/t2g-xx2013 /work1/t2g-xx2014
$ /bin/cp  -r /work1/t2g-xx2013 /work1/t2g-xx2014

※ コピー先が work 上の場合は、SGIDがonになっているためグループ情報を保持せずにコピー(同期)します。
グループディスクは購入していない期限の場合はロックされアクセスできなくなります。
FAQ もご参照ください。