Contents

Previous Topic

1. はじめに

Next Topic

3. TSUBAME での利用方法 (ANSYS Mechanical 編)

2. TSUBAME での利用方法 (ANSYS Fluent 編)

Note

ANSYS Mechanical の使用方法は 3 TSUBAME での利用方法(ANSYS Mechanical 編) をご参照ください.

2.1 ANSYS FLUENT の起動

(1) TSUBAMEにログイン

次のコマンドを入力し,TSUBAMEにログインします.

$ ssh -YC login-t2.g.gsic.titech.ac.jp -l USER-ID

Note

  • -l USER-ID の -l は数字の1ではなくアルファベットLの小文字です.
  • GUI 起動のため,cygwin などの X サーバソフトウェアを用いて TSUBAME に接続してください.
  • ssh コマンドによる TSUBAME へのログインの際,X11転送のため-Y オプションを指定してください.
  • -C は圧縮用のオプションで,GUI の操作の重さを軽減します.

(2) バージョンの切り替え

ANSYS Fluent を使用する際,特にバージョンの指定がない場合は,バージョン17.2が起動するようになっています.

Note

  • バージョン 15.0 よりも前のバージョンは,2014年8月のTSUBAMEのOSアップグレード前に導入されたものとなります. 現 TSUBAME 上では,正常動作しない可能性がありますのでご注意ください.

○バージョン18.1を使用する場合

<bash 系の場合>  $ source /usr/apps.sp3/isv/ansys_inc/set_ansys-18.1.sh
<csh 系の場合>   % source /usr/apps.sp3/isv/ansys_inc/set_ansys-18.1.csh

○バージョン18.0を使用する場合

<bash 系の場合>  $ source /usr/apps.sp3/isv/ansys_inc/set_ansys-18.0.sh
<csh 系の場合>   % source /usr/apps.sp3/isv/ansys_inc/set_ansys-18.0.csh

○バージョン17.1を使用する場合

<bash 系の場合>  $ source /usr/apps.sp3/isv/ansys_inc/set_ansys-17.1.sh
<csh 系の場合>   % source /usr/apps.sp3/isv/ansys_inc/set_ansys-17.1.csh

○バージョン16.2を使用する場合

<bash 系の場合>  $ source /usr/apps.sp3/isv/ansys_inc/set_ansys-16.2.sh
<csh 系の場合>   % source /usr/apps.sp3/isv/ansys_inc/set_ansys-16.2.csh

○バージョン12.1~16.1の場合

バージョン16.1
  <bash 系の場合>  $ source /usr/apps.sp3/isv/ansys_inc/set_ansys-16.1.sh
  <csh 系の場合>   % source /usr/apps.sp3/isv/ansys_inc/set_ansys-16.1.csh
バージョン16.0
  <bash 系の場合>  $ export PATH="/usr/apps.sp3/isv/ansys_inc/v160/fluent/bin/:${PATH}"
  <csh 系の場合>   % setenv PATH "/usr/apps.sp3/isv/ansys_inc/v160/fluent/bin/:${PATH}"
バージョン15.0
  <bash 系の場合>  $ export PATH="/usr/apps.sp3/isv/ansys_inc/v150/fluent/bin/:${PATH}"
  <csh 系の場合>   % setenv PATH "/usr/apps.sp3/isv/ansys_inc/v150/fluent/bin/:${PATH}"
バージョン14.5
  <bash 系の場合>  $ export PATH="/usr/apps/isv/ansys_inc/v145/fluent/bin/:${PATH}"
  <csh 系の場合>   % setenv PATH "/usr/apps/isv/ansys_inc/v145/fluent/bin/:${PATH}"
バージョン14.0
  <bash 系の場合>  $ export PATH="/usr/apps/isv/ansys_inc/v140/fluent/bin/:${PATH}"
  <csh 系の場合>   % setenv PATH "/usr/apps/isv/ansys_inc/v140/fluent/bin/:${PATH}"
バージョン13.0
  <bash 系の場合>  $ export PATH="/usr/apps/isv/ansys_inc/v130/fluent/bin/:${PATH}"
  <csh 系の場合>   % setenv PATH "/usr/apps/isv/ansys_inc/v130/fluent/bin/:${PATH}"
バージョン12.1
  <bash 系の場合>  $ export PATH="/usr/apps/isv/ansys_inc/v121/fluent/bin/:${PATH}"
  <csh 系の場合>   % setenv PATH "/usr/apps/isv/ansys_inc/v121/fluent/bin/:${PATH}"

(3) アカデミックライセンスの設定

ANSYS FLUENT バージョン12.1を利用するためにはアカデミックライセンスを有効化させる設定が必要です. バージョン13.0 以降のバージョンの場合はこの設定は不要です.

バージョン12.1を使用する際は,以下の手順に従って設定を行ってください.

ライセンス設定ツールを起動します.

$ sh /usr/apps/isv/ansys_inc/shared_files/licensing/lic_admin/anslic_admin

次の画面が起動します.

ANSYS FLUENT

左側にあるメニューの,Set License Preferences for User <username> をクリックしてください. 次のダイアログが表示されますので,12.1 を選択し,OK をクリックしてください.

ANSYS FLUENT

Solver タグが選択された状態になっていることを確認し,下部にある,Global Settings 欄から, 「Use Academic Licenses」を選択してください.

ANSYS FLUENT

HPC タグを選択し,同様に下部にある,Global Settings 欄から, 「Use Academic Licenses」を選択してください.

ANSYS FLUENT

OK をクリックすると,次の画面に戻ります.[File]-[Exit]で終了してください.

ANSYS FLUENT

以上で,アカデミックライセンスの有効化は完了です.一度,この設定を行っておくことで 次回ログイン時以降もアカデミックライセンスが有効の状態になっています.

(4.1) GUIの起動

次のコマンドにより,起動します.

$ fluent [version] [options]

例えば,[version] を3ddpとした場合は,次の通りとなります.

$ fluent 3ddp
ANSYS FLUENT

終了する場合は,[File]-[Exit]を選択してください.

Note

数分程度の小規模な計算以外は,後述するPBSによるバッチ投入を行うようにしてください.

(4.2) CLIでの起動

コマンドラインインタフェースで利用する場合は,-gオプションを付与して起動します.

$ fluent -g 3ddp
/usr/apps.sp3/isv/ansys_inc/17.2/v172/fluent/fluent17.2.0/bin/fluent -r17.2.0 -g 3ddp
/usr/apps.sp3/isv/ansys_inc/17.2/v172/fluent/fluent17.2.0/cortex/lnamd64/cortex.17.2.0 -f fluent -g (fluent "3ddp  -r17.2.0 -path/usr/apps.sp3/isv/ansys_inc/17.2/v172/fluent -ssh")
/usr/apps.sp3/isv/ansys_inc/17.2/v172/fluent/fluent17.2.0/bin/fluent -r17.2.0 3ddp -path/usr/apps.sp3/isv/ansys_inc/17.2/v172/fluent -ssh -cx t2a006161:33233:43931
Starting /usr/apps.sp3/isv/ansys_inc/17.2/v172/fluent/fluent17.2.0/lnamd64/3ddp/fluent.17.2.0 -cx t2a006161:33233:43931

              Welcome to ANSYS Fluent Release 17.2

              Copyright 2016 SAS IP, Inc. All Rights Reserved.
              Unauthorized use, distribution or duplication is prohibited.
              This product is subject to U.S. laws governing export and re-export.
              For full Legal Notice, see documentation.

Build Time: Jul 27 2016 09:58:53 EDT  Build Id: 10113  Revision: 906269


     --------------------------------------------------------------
     This is an academic version of ANSYS FLUENT. Usage of this product
     license is limited to the terms and conditions specified in your ANSYS
     license form, additional terms section.
     --------------------------------------------------------------


Cleanup script file is /home0/usr2/xxxx/cleanup-fluent-t2a006161-11545.sh

>

「exit」コマンドにより,終了することが出来ます.

$ exit

2.2 PBSによるバッチ投入

PBSの仕様上,GUIを使用できないため,コマンドラインモード(fluent の -g オプション)で起動します. また,予め次のようなジャーナルファイルをjournalという名で用意しておき処理を自動化することをお勧めします.

/file/read-case "sample.cas"
/solve/iterate 10
exit

(1).シングルジョブ

(a).投入シェルスクリプト準備(スクリプト名: test_fluent.sh)

#!/bin/sh
cd ${PBS_O_WORKDIR}

fluent 3ddp -g -i journal <fluent オプション>

(b).実行権限付与

$ chmod +x test_fluent.sh

(c).ジョブ投入

$ t2sub <グループ,キュー等指定> test_fluent.sh

(2).MPIジョブ

(a).投入シェルスクリプト準備(スクリプト名: test_fluent.sh)

Note

TSUBAME では Fluent のノード間並列は Ver 16 以降で可能です.ただし,U, V キューではノード間並列が出来ません. また,並列計算を行う場合は、 2.4 ライセンス使用状況の確認 で紹介しているとおり,1 ユーザあたりの制限を守るようご協力をお願いします.

#!/bin/sh
cd ${PBS_O_WORKDIR}

<ノード内並列を行う場合>
fluent 3ddp -mpi=openmpi -t<CPU数> -g -i journal <fluent オプション>

<ノード間並列を行う場合>
fluent 3ddp -mpi=openmpi -t<CPU数> -g -i journal -pib -cnf=${PBS_NODEFILE} <fluent オプション>

V12.1(U, Vキュー) , 15.0 の場合は -mpi=intel に差し替えてください.

#!/bin/sh
cd ${PBS_O_WORKDIR}

fluent 3ddp -mpi=intel -t<CPU数> -g -i journal <fluent オプション>

(b).実行権限付与

$ chmod +x test_fluent.sh

(c).ジョブ投入

ノード内並列の場合.

$ t2sub -l select=1:ncpus=<CPUS数> <グループ、キュー等指定> test_fluent.sh

ノード間並列の場合.

$ t2sub -l select=<ノード数>:ncpus=<各ノードのCPU数>:mpiprocs=<各ノードのCPU数> -l place=scatter <グループ,キュー等指定> test_fluent.sh

2.3 Ansys Workbench の起動

Ansys Workbench では以下の機能を利用できます.

機能 ソフト名
形状作成 ANSYS DesignModeler, SpaceClaim Direct Modeler(Windows版のみ)
メッシュ作成 ANSYS Meshing
ポスト処理 CFD-Post

Note

Geometry Editor で利用できるソフトウェアついて。

○Linux 版

Design Modeler のみです。

○Windows 版

Design Modeler, SpaceClaim Direct Modeler から選択できます。 バージョン 17.2 から SpaceClaim Direct Modeler がデフォルトで起動するようになりました。

SpaceClaim Direct Modeler はモデルの作成・修正を素早く行うことが可能な ダイレクトモデラーで CAD データの編集・修正用途に適しています。

バージョン 17.2 で Design Modeler を起動する場合は、次のように対応してください。

 - Geometry を右クリックすることで、Design Modeler を選択することが出来ます。

 - デフォルトで起動するソフトを Design Modeler に変更したい場合、Workbenchのツール → オプションからジオメトリのインポートのメニューにある一般オプションの使用するジオメトリエディターで変更します。

Ansys Work bench は次のコマンドにより,起動できます.

$ runwb2
ANSYS FLUENT

終了する場合は,[File]-[Exit]を選択してください.

プリポストの各機能へのアクセス

Ansys Workbench を起動後,左部にある「Fluid Flow(Fluent)」の部分をダブルクリックすることで,次の図のように Project SchematicウインドウにFluid Flow(Fluent)ができます.

ANSYS FLUENT

Geometry をダブルクリックすることで, ANSYS DesignModeler が起動します. 起動にはやや時間がかかります.

ANSYS FLUENT

Geometry にマウスカーソルを合わせて右クリックし,Import Geometry を選択することで, 形状をインポートすることが可能です.

ANSYS FLUENT

Geometry の工程を終えると,Geometry の箇所がチェック済みになります.

ANSYS FLUENT

この状態で,Mesh をダブルクリックすると,ANSYS Meshing が起動します.

ANSYS FLUENT

ポスト処理を行う場合は,Results をダブルクリックします.CFD-Post が起動します.

ANSYS FLUENT

2.4 ライセンス使用状況の確認

TSUBAME 全体で同時利用できる実行数には上限があります. 次のコマンドにより,ライセンス利用状況を確認できます.

$ lmutil lmstat -S ansyslmd -c 27090@t2zlic01

ライセンスは ANSYS Academic Research HPC(aa_r_hpc) と ANSYS Academic Research Mechanical and CFD(aa_r) の2種類あります.

  • ANSYS Academic Research HPC (システム全体で 64 token まで) 1ユーザあたり32 tokenまで

    ANSYS Academic Research HPC は,ANSYS FLUENT, ANSYS CFX, ANSYS Mechanical を実行した際に並列数に応じて token を消費します. 消費する token 数は (並列数 - 16) です.16並列以下の場合はライセンスを消費しません. GPU 実行時は,使用した GPU スロット分だけ並列数に上乗せして計算します.

    ライセンス数が逼迫していない場合には,32 tokenまで利用していただいて結構です. 今後利用状況により制限を変更する可能性があります. 制限を超えて利用している場合,制限を超えて後から投入したジョブについて強制終了させていただきます.

  • ANSYS Academic Research Mechanical and CFD (システム全体で 75 token まで) 1ユーザあたりの利用制限なし

    ANSYS Academic Research Mechanical and CFD は ANSYS Workbench から DesignModeler, FLUENT, CFD-Post, Meshing などを実行した際や TSUBAME での実行時にジョブ数に応じて token を消費し,1 ジョブあたりの並列数は token 消費数に影響しません. 現在の利用状況では余裕があるので特に制限は設けません. 今後の利用状況により制限を設ける可能性があります.