Multi-GPUソルバーで流体解析の飛躍的な高速化を実現！Ansys FluentとHPCライセンスによる計算高速化ソリューション

情報誌「CAEのあるものづくり」 vol.38｜2023年5月｜｜
Multi-GPUソルバーで流体解析の飛躍的な高速化を実現！－Ansys FluentとHPCライセンスによる計算高速化ソリューション－

目次

はじめに

近年、SDGsへの取り組みやDX推進の広がりなどを背景として、CAE 、すなわち、ものづくりの現場におけるシミュレーション技術の活用はますます重要になっています。以前から普及している構造解析や伝熱解析に加え、最近では流体解析や電磁場解析、それらを組み合わせた連成解析なども盛んに行われるようになってきました。
シミュレーションの大きなメリットの一つは、実際に 製品を試作することなく、様々な設計案を仮想空間上で評価できることです。しかし、シミュレーションの実行にもある程度の時間がかかります。特に、流体解析は構造解析などに比べ、一般に1ケース当たりの計算時間が長くなるため、多数の設計案を試そうとするとかなりの日数がかかることも少なくありません。メッシュサイズを粗くして要素数を減らせば計算時間を短くすることもできますが、得られる結果の精度も低下してしまうため、複雑な形状および物理現象を対象とする場合は妥協できない場合もあります。したがって、大規模な解析モデルに対しても高速に計算が可能な流体解析ソフトウェアが求められています。
本記事では、Ansys Fluent における計算高速化ソリューションについてご紹介します。また、ライセンス構成についても具体的な状況を考えながら導入検討の例をご説明します。

CPUによる並列計算とHPCライセンス

FluentはAnsys社が提供するハイエンドな汎用流体解析ソフトウェアです。多種多様な物理モデルに対応しており、乱流、燃焼、混相流などの複雑な流体現象に対しても高精度なシミュレーションが可能です。一方、こうした高度なシミュレーションにはメッシュ数の多い大規模なモデルが必要になるため、計算時間も長くなってしまいます。
そのため、Fluentを始めとする多くの流体解析ソフトウェアは、解析モデルを複数の領域に分割し、多数の CPUに処理を割り振って同時並列的に計算を行う「並列計算」によって時間短縮を図っています。ただし、実際にどれくらい計算を高速化できるのかは個々のソフトウェアで異なり、対象とする問題やハードウェア環境などによっても振れ幅があります。理想的には並列数（CPUのコア数）を増やせば増やすほど速度が向上してほしいものですが、残念ながら、実際には様々な要因によりそうした比例的な関係は成り立たず、一般にある並列数から速度向上効果が小さくなっていきます。そこで、特定のモデルに対して並列数を増やしたときの計算速度を計測し、理想的な比例関係にどれくらい近いかを比較した結果が、並列計算の性能指標として用いられます。これを「スケーラビリティ」といいます（厳密には「ストロング・スケーリング」に該当）。
Fluentは高度に並列化されており、様々な問題に対してスケーラビリティの高い計算を行うことが期待できます。図1に弊社にて実施した4ノードのクラスターマシンに対するスケーラビリティの計測結果を示します。クラウド環境としては弊社がご提供している「サイバネット CAEクラウド」を利用しており、1 ノード当たりのCPU数は36コア、全体で144コアになります。計測した並列数は最大132 で、4 並列の計算時間に対する各並列数の計算時間の比をスケーラビリティとして定義しています（例：3.0なら4並列より3倍高速化）。自動車体の外部流れ、微粉炭燃焼炉、ボリュートポンプの3つのモデルのいずれにおいても良好なスケーラビリティを示しており、幅広い分野の問題に対するFluentの並列性能の高さがわかります。

Fluentを含むAnsys製品ではソルバーライセンスだけでも4並列までの計算が可能ですが、それ以上のコア数を利用した並列計算を行う場合にはAnsys HPCライセンス（HPC： High Performance Computing）の追加が必要であり、以下の3種類をご用意しています。

● Ansys HPC
ライセンス数に応じて1つずつ利用可能なコア数を追加できます。5-6並列程度の小規模な並列計算の場合に費用効率に優れます。
複数ジョブに分割することも可能で、たとえば、4個のライセンスがあれば、標準の4並列と組み合わせ、8並列× 1ジョブや4並列×2ジョブといった利用が可能です。
大規模な並列計算の場合には1並列当たりの費用が割高になります。

● Ansys HPC Pack
一定の並列数をまとめてパッケージングした製品であり、Pack数を増やしていくと8 、32 、128...と4倍ずつ並列数が増えていきます（標準の4並列に追加して利用可能）。 10並列以上の規模の大きな並列計算を行う場合に費用効率に優れます。
ただし、他のHPCライセンスとの組み合わせや複数ジョブへの分割はできません。そのため、1ジョブのみで大規模な計算を実施したい場合におすすめです。

● Ansys HPC Workgroup
Ansys HPCのボリュームディスカウント製品です。8 、 16 、32 、64...と2倍ずつ増加するパッケージになっています。
複数ジョブの分割など柔軟な運用が可能ですが、並列数が多い場合の1ジョブ当たりの費用はHPC Packより割高になります。
※複数ジョブの同時実行にはソルバーライセンスも複数必要です。

図1 Fluentのスケーラビリティの計測結果（4ノードクラスター , CAEクラウド）

Multi-GPUソルバー

近年、GPGPU（General Purpose computing on Graphics Processing Units）、すなわち、本来グラフィックス処理用に開発されたGPUを科学技術計算などの汎用的な用途に応用する技術が注目されています。GPUは画像や動画のスムーズな描画を実現するため、大量のデータを高速に処理する高い並列処理能力を持っています。また、CPUに比べてコストメリットが大きく、コア数の大きなCPUよりも GPUを積んだワークステーションの方が導入コストを低くできる場合があります。こうしたトレンドを受け、Fluentにも計算の一部にGPUを援用する機能が実装されていましたが、大規模なモデルでなければ十分に効果を発揮するのが難しく、限定的な活用に留まっているというのが実情でした。
しかし、Ansys 2023 R1にてGPUを基盤とするまったく新しいFluentのMulti-GPUソルバーが正式リリースされました。GPUを計算の一部にのみ利用していた従来とは異なり、Multi-GPUソルバーはNVIDIA社が提供するGPU向けの並列コンピューティングプラットフォームであるCUDA（Compute Unified Device Architecture）を用いて開発されており、GPUを全面的に活用した処理を行うことで驚異的な高速化を実現しています。
図2にAnsys社が実施したMulti-GPUソルバーのスケーラビリティの計測結果を示します。解析対象は自動車体の外部流れであり、要素数は約1億です。従来のCPUソルバーと遜色ない結果が得られている一方、NVIDIA A100を1枚用いた場合、80コアのCPUの結果よりも5倍以上高速化されており、これは1枚のA100でCPU400コア以上のスケーラビリティを発揮していることを意味します。また、GPUを2枚、4枚と増やしていくとスケーラビリティもおおむね 2倍、4倍と大きくなっており、大規模な並列数でも理想的な性能を発揮していることがわかります。

図2　Multi-GPUソルバーのスケーラビリティ（車体の外部流れ）

図3は弊社にて計測したスケーラビリティの結果です。解析モデルは上述したボリュートポンプ（約200万要素）であり、左側はCPU、右側はGPUの結果を示しています。図中のSMはStreaming Multiprocessorの略で、GPUにおけるコア数に相当します。単純な比較はできませんが、HPCライセンスの数が同じ条件で比較した場合（HPC Pack＝1）、12コアのCPUに対してSM＝48のRTX A4000の方が3倍以上高速化できていることがわかります（GPUソルバーのライセンスについては後述）。また、CPUに比べてGPUの方が多くの並列数でも良好なスケーラビリティを示しています。この結果から、小規模なモデルに対してもGPU導入の効果が大きいことが期待できます。

図3　CPUとGPUのスケーラビリティの比較（ボリュートポンプ）

Multi-GPUソルバーはバージョン2023 R1現在、以下の機能に対応しています。他の機能についても順次追加されていくと予想されるため、今後のアップデート情報を楽しみにお待ちいただければ幸いです。

• 定常および非定常の単相流
• 圧力ベースソルバー
• 理想気体および温度依存の物性値
• 主要な乱流モデル（RANSおよびLES系）
• 化学種流れ（非反応）
• 共役熱伝達
• 複数基準座標系（MRF）
• 多孔質媒体
• スライディングメッシュ ※2023 R1時点でベータ機能
• Non-stiffソルバーによる化学反応 ※2023 R1時点でベータ機能
• 圧縮性流れ ※2023 R1時点でベータ機能

Multi-GPUソルバーの利用には以下のライセンスが必要です。

• Ansys CFD Enterprise / Ansys CFD Enterprise Solver
• SM数に応じたHPCライセンス

表1に必要なHPCライセンスの関係を示します。GPUソルバーでは搭載されているSM数に応じて必要なHPCライセンス数が変動します。SM数が40以下の場合、追加のライセンスは不要です。それ以降はSM数が1つ増えるごとに1つのAnsys HPCライセンスが必要です。たとえば、SM数が48個のGPUを利用する場合、48−40＝8本のAnsys HPCあるいはAnsys HPC Packが1本必要です。
なお、GPUソルバーの利用にはCUDAに対応したNVIDIA社製のGPUならびにモデルのメッシュ規模に応じたグラフィックスメモリも必要です。

おすすめのライセンスとハードウェアの組み合わせ

実際にFluentで計算の高速化を実現するためには、ライセンスおよびハードウェア環境の準備が必要です。ここでは、より具体的な検討を行うため、2つの状況を例として構成案を考えました。表2にその内容を示します。なお、どちらの例でもAnsys CFD Premiumをご導入済みのユーザー様を想定しています。
1つ目の例はGPUソルバーを使ってみたい方向けの案になります。この場合、Ansys CFD Enterpriseにアップグレードした上で利用予定のGPUのSM数に応じたAnsys HPC Packが必要です。これらのライセンスは短期レンタルにも対応しており、本格的な導入の前に高速化の効果を検証していただくことも可能です。また、Ansys Elastic Currencyはプリペイド方式のライセンスで、一定の時間料率に応じて様々なソフトウェアを利用可能な「通貨」をご購入いただくイメージになります。名前の通り、費用面において弾力的な運用が可能であるため、レンタルよりスモールスタートな導入に向いています。ハードウェア環境についてはオンプレミス（対応するGPUの追加）のほか、弊社がご提供するサイバネットCAEクラウドもぜひご検討ください。特に効果検証が目的の場合、クラウドの方が柔軟でスピーディな環境構築に適しています。
2つ目はCPUソルバーの活用例です。現状のGPUソルバーでは未対応の機能があるほか、利用するSM数を任意に変更できないという制限があるため、CPUソルバーの方が望ましい場面も多いです。ここでは特に、間欠的もしくは突発的な計算需要に対し、一時的に並列数やジョブ数を増やして対応したいケースを想定しています。この場合、ソルバーライセンスの追加やジョブ分割が可能なAnsys HPC Workgroupが適しており、先程の例と同様にレンタルやAnsys Elastic Currencyも有効なオプションです。ジョブ分割が不要であればAnsys HPC Packも選択肢に入ります。ハードウェア環境についてはやはり柔軟な対応が可能なサイバネットCAEクラウドのご利用をおすすめします。

まとめ

本記事では、高速な流体解析の実現に寄与するAnsys FluentのHPC関連のソリューションをご紹介し、ライセンスやハードウェア環境の構成案を例示しました。FluentのMulti-GPUソルバーは今後も機能拡充が期待される有望なソリューションですが、いますぐ既存のCPUソルバーに取って代わるものではなく、目的や状況に応じて使い分けていただくことでより大きな成果につながると思われます。
お客さまによって最適なライセンスやマシン環境の構成は異なります。「結局、自分にとって何が一番いいのか？」と迷われている方がいらっしゃれば、ぜひお気軽に弊社までお問い合わせください。