かつてない性能!GPUアーキテクチャ「Hopper」採用

NVIDIA® H100 Tensor Core GPU は、最新のGPUアーキテクチャ「Hopper」を採用し、80GB HBM2eの大容量GPUメモリ、第4世代のTensorコア、前世代となるNVIDIA A100 GPUの約1.5倍にあたる800億個のトランジスタが搭載されています。

NVIDIA H100 GPUは、生成AIや大規模言語モデル(LLM)といった昨今人気を集める推論AIワークロードから、データ分析、ハイパフォーマンス コンピューティング (HPC)など大規模計算向けに設計されています。

開発や研究において、劇的な高速化を実現し、パフォーマンス向上とコスト削減に貢献します。

NVIDIA H100 Tensor Core GPU

nvidia-hopper-architecture-h100-sxm

NVIDIA Hopper アーキテクチャ

最新の TSMC 4N プロセスを利用し、800 億個以上のトランジスタで作られた Hopper は、NVIDIA H100 Tensor コア GPU の中核をなす 5 つの画期的なイノベーションを持ち、それにより世界最大の言語生成モデルである NVIDIA の Megatron 530B チャットボットの AI 推論で、前世代と比較して 30 倍という驚異的なスピードアップを実現します。

Transformer Engine

NVIDIA Hopper アーキテクチャは、AI モデルのトレーニングを高速化するように設計された Transformer Engine との組み合わせで Tensor コア テクノロジを前進させます。

Hopper Tensor コアでは FP8 と FP16 の精度を混在させることができます。トランスフォーマーの AI 計算が劇的に速くなります。

nvidia-hopper-arch-transformer

Hopper は、TF32、FP64、FP16、INT8 の精度の浮動小数点演算 (FLOPS) を前世代の 3 倍にします。Transformer Engine と第 4 世代 NVIDIA NVLink® と組み合わせることで Hopper Tensor コアは HPC と AI のワークロードを桁違いに高速化します。

NVLink Switch システム

nvidia-h100-tensor-core-gpu

ビジネスの最先端では、エクサスケール HPC と兆パラメーター AI モデルを大規模にスケールするために、サーバークラスター内の各 GPU 間に高速でシームレスな通信が必要です。

第 4 世代 NVLink は、スケールアップ相互接続で、新しい外部 NVLink Switch と組み合わせると、NVLink Switch システムは、PCIe Gen5 の 7 倍以上の帯域幅、GPU あたり 900 ギガバイト/秒 (GB/s) の双方向で複数のサーバーにわたるマルチ GPU IO (入出力) を拡張することが可能になりました。

NVLink Switch システムは、最大 256 基の H100 を接続したクラスターをサポートし、Ampere で InfiniBand HDRの 9 倍高い帯域幅を実現します。

さらに、NVLink は、これまで InfiniBand でしか利用できなかった SHARP と呼ばれる In-network Computing をサポートし、57.6 テラバイト/秒 (TB/s) の All-to-All の帯域幅を実現しながら、FP8 スパース AI コンピューティングで 1 exaFLOPS という驚くべき性能を提供することができるようになりました。

第 2 世代 MIG

マルチインスタンス GPU (MIG) という機能では GPU を、完全に分離された複数の小さなインスタンスに分割できます。

それぞれにメモリ、キャッシュ、コンピューティング コアが与えられます。Hopper アーキテクチャは MIG の機能をさらに強化するものです。最大 7 個の GPU インスタンスで仮想環境のマルチテナント/マルチユーザー構成をサポートします。

hopper-mig

コンフィデンシャル コンピューティングによってハードウェアおよびハイパーバイザー レベルで各インスタンスが分離されるため、安全です。MIG インスタンスごとに専用のビデオ デコーダーが与えられ、共有インフラストラクチャで安定したハイスループットのインテリジェント ビデオ解析 (IVA) が実現します。そして、Hopper の同時実行 MIG プロファイリングを利用すると、管理者はユーザーのために正しいサイズの GPU 高速化を監視し、リソース割り当てを最適化できます。

研究者のワークロードが比較的少ない場合、完全な CSP インスタンスを借りる代わりに、MIG を利用して GPU の一部を安全に分離することを選択できます。保存中、移動中、処理中のデータが安全なため、安心です。

nvidia-h100-gpu-pcie
NVIDIA H100 Tensor Core GPU

参考販売価格: 5,850,000円(税込 6,435,000円)
短期レンタル価格:950,000 円/月(税込 1,045,000 円/月)
長期1年レンタル価格:420,000 円/月(税込 462,000 円/月) 
発売時期:2023年3月
レンタルの詳細はこちら

※アカデミック価格あります。お問い合せ下さい。 

NVIDIA H100 Tensor Core GPU 性能

NVIDIA H100 GPUと、前世代となるNVIDIA A100 GPUの性能を掲載しています。

NVIDIA H100 Tensor Core GPU
[​PCIe]
NVIDIA A100 Tensor Core GPU
[​PCIe]
FP6424.0 TFLOPS9.7 TFLOPS
FP64 Tensor コア48.0 TFLOPS19.5 TFLOPS
FP3248.0 TFLOPS19.5 TFLOPS
TF32 Tensor コア
(スパース性機能)
400 TFLOPS
(800 TFLOPS)
156 TFLOPS
(312 TFLOPS)
BFLOAT16 Tensor コア
(スパース性機能)
800 TFLOPS
(1,600 TFLOPS)
312 TFLOPS
(624 TFLOPS)
FP16 Tensor コア
(スパース性機能)
800 TFLOPS
(1,600 TFLOPS)
312 TFLOPS
(624 TFLOPS)
FP8 Tensor コア
(スパース性機能)
1,600 TFOPS
(3,200 TFLOPS)
INT8 Tensor コア
(スパース性機能)
1,600 TFOPS
(3,200 TFLOPS)
624 TOPS
(1,248 TOPS)

* スパース性機能を使用した場合の TFLOPS/TOPS 実効値

NVIDIA H100 Tensor Core GPU スペック

NVIDIA H100 GPUと、前世代となるNVIDIA A100 GPUのスペックを掲載しています。

参考価格は変動する可能性がありますので、価格についてはお問い合わせください。

NVIDIA H100 Tensor Core GPU
[​PCIe]
NVIDIA A100 Tensor Core GPU
[​PCIe]
参考販売価格5,850,000円
(税込 6,435,000円)
3,300,000円
(税込 3,630,000円)
発売時期2023年3月2021年6月
GPUアーキテクチャHopperAmpere
GPUメモリ80 GB HBM2e80 GB HBM2
ECC機能対応対応
メモリバンド幅2 TB/s1,935 GB/s
メモリバス5,120 bit5,120 bit
Compute Capability9.08.0
CUDAコア14,5926,912
RTコア00
Tensorコア456432
NVLink対応対応
ベースクロック1,065 MHz1,065 MHz
GPU Boost クロック1,620 MHz1,410 MHz
最大消費電力350 W300 W
補助電源PCIe CEM5
16 pin
CPU(EPS)
8 pin
バスインターフェースPCIe 5.0 × 16PCIe 4.0 × 16
トランジスタ数8054.2
マルチインスタンスGPU各10GBで最大7つのMIGS各10GBで最大7つのMIGS
相互接続NVLink:600GB/s
PCIe Gen5:128GB/s
NVLink:600GB/s
PCIe Gen4:64GB/s

NVIDIA GPU 一覧表PDF

弊社で取り扱っているNVIDIA GPUの性能・スペックを一覧にしました。PDFファイルをダウンロードすることができます。

List_NVIDIA-GPUs_202402
2024年2月版
(2024年3月6日掲載)

NVIDIA GPU 拡張保証サービス

NVIDIA GPUは「3年間センドバック保証(無償修理・交換)」のメーカー標準保証が基本として含まれていますが、
当社オリジナルとして「NVIDIA GPU 拡張保証サービス」をご提供しています。

「NVIDIA GPU 拡張保証サービス」には、先出しセンドバック保証センドバック延長保証オンサイト保証があり、お客様のニーズや状況にあわせた保証内容にすることができます。

NVIDIA GPU 拡張保証サービスにより、GPU導入後も、長く・安心してお使いいただけます。
GPUを導入される際に、あわせてご検討ください。

★NVIDIA GPU 拡張保証サービスの詳細はこちら

NVIDIA H100 Tensor Core GPUの設置場所は3通り!

会社の環境や設置スペースにあわせて、NVIDIA H100 GPUの設置場所を選ぶことができます。

New!
1. デスクサイドに設置

setting-water-cooling
高負荷をかけても静音!GPU温度も安定

GPU Cooling BOXのファンを工夫したことにより、NVIDIA H100 / A100 GPUがフル稼働しているのも気づかないほどの静音です。

また、GPUを効率的に冷やすことができるため、空冷と比較して10-15%の性能向上が見込めます。

水冷GPUワークステーション 製品ページ ≫

2. サーバー室に設置

image-server-setting

GPUサーバー
GS-Supermicro SYS-741GE-TNRT

GPU最大4基 搭載可能

​第4世代 インテル Xeon スケーラブル・プロセッサーを搭載しており、16個のDIMMスロット、最大4TBのDRAM、PCI-E 5.0に対応、最大8台のNVMeドライブ、4Uラックサイズのタワー型です。
横置き、縦置きも可能です。

GS-Supermicro SYS-741GE-TNRT 製品ページ ≫

3. 静音ケースに入れて居室内に設置

静音ケースも取り扱っています。
サーバー室への設置が一般的ですが、GPUサーバーを静音ケースに入れて居室に置き、手元で使用されるニーズも増えています。

静音ケースの価格は、GS-Supermicro SYS-741GE-TNRT 製品ページ に掲載しています。

NVIDIA H100 Tensor Core GPU 搭載可能な製品について、
ご不明な点やご質問などありましたら、お問い合わせください!

お気軽にご相談ください!

製品に関するご質問・ご相談など、お気軽にお問い合わせください。

NVIDIA認定のエリートパートナー「GDEPソリューションズ」は、
​ お客様の用途に最適な製品のご提案から導入までサポートします。