新しいGPUアーキテクチャ「Hopper」(ホッパー) 採用 
​NVIDIA H100 GPU 登場!

2022年3月開催のNVIDIA GTC 2022 で、新しいGPUアーキテクチャNVIDIA Hopper 採用の「NVIDIA H100 GPU」が発表されました。

NVIDIAのエリートパートナーであるGDEPソリューションズは、NVIDIA H100 製品群を国内での製品発売時期に合わせて取り扱いを開始します。

発発売は2022年後半とされていますが、先行して予約受付中です!

NVIDIA H100 GPUの見積依頼・ご質問はお気軽にお問い合わせください。

NVIDIA H100 Tensor Core GPU

nvidia-hopper-architecture-h100-sxm
NVIDIA Hopper アーキテクチャ H100 [SXM]

NVIDIA社は、アーキテクチャ「NVIDIA Hopper」を発表しました。
そして、最初の HopperベースのGPUとなるのが「NVIDIA H100 Tensor Core GPU」です。

「NVIDIA H100 GPU」は、最先端のTSMC 4Nプロセスを使用して、800億のトランジスタで構築された最先端のチップです。
「NVIDIA H100 GPU」は、NVIDIA A100の後継モデルで、PCIe Gen5、HBM3 を利用した最初のGPUであり、3TB/sのメモリ帯域幅を実現しました。

AI、HPC向けの世界で最も強力なアクセラレーターです。

Transformer ネットワークを前世代(A100)よりも、6倍高速化し、新しい「Transformer Engine」、第2世代の「Secure Multi-Instance GPU(MIG)」、処理中にAIモデルと顧客データを保護する「コンフィデンシャルコンピューティング」、第4世代「NVLink」、新しい「DPX命令」など、画期的な開発を行ない、さらなる高速化・パフォーマンス改善を図りました。

「NVIDIA H100 GPU」は、第4世代のTensorコアと新たに搭載された Transformer Engine とFP8の採用によって、Mixture of Experts(MoE)の学習は、前世代(A100)よりも、最大9倍に!

5,300億パラメータからなる Megatron Chatbot の推論は、遅延を最小に抑えながら、最大30倍に加速されます。

参考販売価格:税込 4,744,300円(税抜 4,313,000円)
発売時期:2022年後半予定

NVIDIA H100 Tensor Core GPU 特徴

nvidia-h100-gpu
NVIDIA H100 Tensor Core GPU [PCIe]
  • 800億のトランジスタを搭載
  • Tensorコア(機械学習処理用コア)第4世代
  • PCI Express 5.0接続に対応​
  • NVLink 第4世代「NVLink Switch」採用(帯域幅:最大毎秒 900GB)
  • 新たに「Transformer Engine」搭載
  • GPUメモリ HBM3 に対応
  • メモリ帯域幅:最大毎秒 3TB

NVIDIA H100 Tensor Core GPU スペック

NVIDIA H100 GPUと前世代 NVIDIA A100 GPU のスペック比較

※ NVIDIA H100のスペックは、発売前の暫定スペックとなります。

NVIDIA H100
​PCIe
(GH100 GPUコア)
NVIDIA A100
​PCIe
(GA100 GPUコア)
FP6424 TFLOPS9.7 TFLOPS
FP64 Tensor コア48 TFLOPS19.5 TFLOPS
FP3248 TFLOPS19.5 TFLOPS
TF32 Tensor コア800 TFLOPS*/
400 TFLOPS
312 TFLOPS*/
156 TFLOPS
BFLOAT16 Tensor コア1,600 TFLOPS*/
800 TFLOPS
624 TFLOPS*/
312 TFLOPS
FP16 Tensor コア1,600 TFLOPS*/
800 TFLOPS
624 TFLOPS*/
312 TFLOPS
FP8 Tensor コア3,200 TFLOPS*/
1,600 TFOPS
INT8 Tensor コア3,200 TOPS*/
1,600 TOPS
1,248 TOPS*/
624 TOPS
GPUメモリ80 GB HBM380 GB HBM2e
GPUメモリ帯域幅2 TB/s1,935 GB/s
相互接続NVLink:600GB/s
PCIe Gen5:128GB/s
NVLink:600GB/s
PCIe Gen4:64GB/s
マルチインスタンスGPU各10GBで最大7つのMIGS各10GBで最大7つのMIGS
最大熱設計電力(TDP)350 W300 W
発売時期2022年後半予定2021年6月

* スパース性機能を使用した場合の TFLOPS/TOPS 実効値

上記記載の GH100はGPUコアの名称で、Quadro GV100製品の後継を指しているものではありません。

NVIDIA H100 Tensor Core GPU パフォーマンス

最大9倍高速なAIトレーニング

NVIDIA H100 GPUは、第4世代のTensorコアとFP8精度のTransformer Engineを備えており、前世代(NVIDIA A100)に比べて、最大9倍高速なトレーニングを実現しました。

nvidia-h100-performance1
出典:NVIDIA

予測されるパフォーマンスは変更される可能性があります。エキスパートのトレーニング混合(MoE)変圧器スイッチ-1Tトークンデータセットに395Bパラメーターを持つXXLバリアント| A100クラスター:HDRIBネットワーク| H100クラスター:NVLINKスイッチシステム、NDR IB


倍高いAI推論パフォーマンス

NVIDIA H100 GPUの第4世代TensorCoreは、FP64、TF32、FP32、FP16、INT8を含むすべての精度を高速化。
Transformer EngineはFP8にも対応し、FP16を一緒に利用して、大規模な言語モデルの精度を維持しながら、メモリ使用量を削減し、パフォーマンスを向上させます。

nvidia-h100-performance2
出典:NVIDIA

予測されるパフォーマンスは変更される可能性があります。入力シーケンス長=128、出力シーケンス長=20のMegatron530Bパラメータモデルベースのチャットボットに関する推論| A100クラスター:HDRIBネットワーク| H100クラスター:NVLinkスイッチシステム、NDR IB


HPCアプリケーションで最大7倍のパフォーマンス

NVIDIA H100 GPUは、倍精度Tensor Core 1秒あたりの浮動小数点演算(FLOPS)を3倍にし、HPC用に60 TFLOPS FP64コンピューティングを提供します。

HPCアプリケーションは、H100のTF32精度を活用して、コードを変更することなく、単精度の行列乗算演算で1 Peta FLOPSのスループットを実現することもできます。

DNA配列アラインメント用のSmith-Watermanなどの動的プログラミングアルゴリズムで、前世代の7倍のパフォーマンスとCPUの40倍の高速化を実現する新しいDPX命令も備えています。

nvidia-h100-performance3
出典:NVIDIA

予測されるパフォーマンスは変更される可能性があります。3D FFT(4K ^ 3)スループット| A100クラスター:HDRIBネットワーク| H100クラスター:NVLinkスイッチシステム、NDR IB | ゲノムシーケンシング(Smith-Waterman)| 1 A100 | 1 H100

NVIDIA H100 Tensor Core GPU 革新的な機能

第2世代のマルチインスタンスGPU(MIG)とTEE準拠の高いセキュリティ

hopper-mig

NVIDIA H100 GPUは、第2世代のMIGを搭載しています。

MIG機能は、GPUを最大7つの個別インスタンスに安全に分割でき、各GPUの使用率を最大化します。

各インスタンスが TEE(Trusted Execution Environment)準拠の高いセキュリティ性能をサポートしており、クラウドサービスプロバイダー(CSP)環境に理想的な、安全なエンドツーエンドのマルチテナント使用を可能にしています。

お気軽にご相談ください!

製品に関するご質問・ご相談など、お気軽にお問い合わせください。

NVIDIA認定のエリートパートナー「GDEPソリューションズ」は、
​ お客様の用途に最適な製品のご提案から導入までサポートします。