大容量94GBメモリを備えた Hopper 世代 GPU
NVIDIA H100 NVL 94GB は、生成AI・大規模言語モデル（LLM）・HPC向けに設計されたNVIDIA Hopper世代の高性能GPUです。
NVIDIA® H100 Tensor Core GPU は、従来の 80GB モデルからGPUメモリ容量を 94GB に拡張。
より大規模なAIモデルやデータセットを、少ないGPU構成で効率よく処理できます。
NVIDIA H100 NVL 特長
1. Hopper アーキテクチャと第4世代 Tensor コア
NVIDIA H100 は、Hopper アーキテクチャを採用し、第4世代 Tensor コアと Transformer Engine を搭載しています。FP8 と FP16 を組み合わせた演算により、生成AIや大規模言語モデル（LLM）のトレーニングおよび推論を高速化します。
2. GPUメモリ 94GB（HBM3）による大規模モデル対応
NVIDIA H100 NVL は、1基あたり 94GB の HBM3 メモリ を搭載。
従来モデルと比較して、
より大規模なモデルをGPUメモリ内に保持可能です。
3. NVLink による 2GPU ペア構成（合計188GB）
NVIDIA H100 NVL は、2基の H100 GPU を NVLink ブリッジで接続する構成です。これにより、
- 合計 188GBのGPUメモリ
- 高速な GPU間通信
を実現し、大規模言語モデル（LLM）の推論やメモリ集約型ワークロードに最適です。
4. 電力制約のあるデータセンター向け設計
PCIe フォームファクターを採用する H100 NVL は、電力や冷却に制約のあるデータセンター環境でも高いパフォーマンスを発揮します。
大規模言語モデル（LLM）推論を加速
最大 1750億パラメータ規模の LLM において、H100 NVL は Transformer Engine と NVLink を活用し、高スループットかつ低レイテンシな推論を実現します。
PCIe ベースの H100 NVL 構成でも、GPT-3 175B クラスのモデル推論において前世代 GPU（A100）比で大幅な性能向上を実現します。
※ 性能は構成・条件により異なります。
NVIDIA Hopper がもたらす画期的なテクノロジー
Transformer Engine
Transformer Engine は、Transformer モデル向けに最適化されたソフトウェアと Hopper Tensor コアを組み合わせた技術です。
FP8 / FP16 の混合精度を活用し、トレーニングと推論の両方を高速化します。
NVLink Switch System
NVLink は、GPU間を高速に接続する NVIDIA 独自技術です。
H100 NVL では、2GPU間を NVLink ブリッジで接続することで、高速なデータ転送と効率的なメモリ利用を可能にします。
NVIDIA Confidential Computing
NVIDIA H100 は、
コンフィデンシャルコンピューティングをサポートする世界初のGPUアクセラレーターです。
使用中のデータやアプリケーションを保護しながら、GPUによる高速処理を実現します。
第 2 世代マルチインスタンスGPU (MIG)
NVIDIA Hopper アーキテクチャの第2世代 MIG は、1基のGPUを最大 7 つの独立したインスタンスに分割可能。
マルチテナント環境や仮想化環境において、安定した性能と高いリソース効率を提供します。
DPX 命令
Hopper アーキテクチャに搭載された DPX 命令は、動的プログラミングアルゴリズムをCPU比で最大約 40 倍、前世代GPU比で大幅に高速化します。
医療、経路最適化、グラフ分析などの分野で処理時間を大きく短縮します。
参考販売価格：5,190,000円（税込 5,709,000円）
短期レンタル価格：850,000 円/月（税込 935,000 円/月）
長期1年レンタル価格：380,000 円/月（税込 418,000 円/月）
発売時期：2024年5月
NVIDIA H100 NVL 94GB 2基＋NVLink のセットも販売・レンタルしております。
詳しくはお問合せ下さい。
NVIDIA H100 NVL はこんな用途に最適
- 大規模言語モデル（LLM）の推論
- 生成AIアプリケーション
- メモリ集約型のHPCワークロード
- 電力制約のあるデータセンター環境
NVIDIA H100 NVL 性能・スペック
| NVIDIA H100 94GB | NVIDI H100 80GB | |
| GPUアーキテクチャ | Hopper | Hopper |
| GPUメモリ | 94 GB HBM3 | 80 GB HBM2e |
| メモリバンド幅 | 3.98 TB/s | 2 TB/s |
| CUDAコア数 | 14,592 | 14,592 |
| Tensorコア数 | 456 | 456 |
| デコーダー | 7 NVDEC 7 JPEG | 7 NVDEC 7 JPEG |
| 最大熱設計電力（TDP） | 350-400W (configurable) | 300-350W (configurable) |
| マルチインスタンス GPUs | Up to 14 MIGs 12 GB each | Up to 7 MIGs 10GB each |
| フォームファクター | PCIe Dual-slot / Air-cooled | PCIe Dual Slot / Air-cooled |
| 相互接続 | NVLink 600 GB/s PCIe Gen5: 128 GB/s | NVLink 600 GB/s PCIe Gen5: 128 GB/s |
| FP64 | 34.0 TFLOPS | 26.0 TFLOPS |
| FP64 Tensor コア | 67.0 TFLOPS | 51.0 TFLOPS |
| FP32 | 67.0 TFLOPS | 51.0 TFLOPS |
| TF32 Tensor コア | 989 TFLOPS | 756 TFLOPS |
| BFLOAT16 Tensor コア | 1,979 TFLOPS | 1,513 TFLOPS |
| FP16 Tensor コア | 1,979 TFLOPS | 1,513 TFLOPS |
| FP8 Tensor コア | 7,916 TFOPS | 3,958 TFOPS |
| INT8 Tensor コア | 3,958 TOPS | 3,026 TOPS |
*仕様は変更される場合があります。
NVIDIA GPU 一覧表PDF
弊社で取り扱っているNVIDIA GPUの性能・スペックを一覧にしました。
PDFファイルをダウンロードすることができます。
NVIDIA GPU 拡張保証サービス
NVIDIA GPUは「3年間センドバック保証（無償修理・交換）」のメーカー標準保証が基本として含まれていますが、
当社オリジナルとして「NVIDIA GPU 拡張保証サービス」をご提供しています。
「NVIDIA GPU 拡張保証サービス」には、先出しセンドバック保証、センドバック延長保証、オンサイト保証があり、お客様のニーズや状況にあわせた保証内容にすることができます。
NVIDIA GPU 拡張保証サービスにより、GPU導入後も、長く・安心してお使いいただけます。
GPUを導入される際に、あわせてご検討ください。
★NVIDIA GPU 拡張保証サービスの詳細はこちら
NVIDIA H100 NVL 搭載おすすめGPUシステム
NVIDIA H100 NVLは、NVIDIAが認定したシステムにのみ搭載することができます。
用途やご希望のスペックをお知らせいただければ、最適なシステムをご提案いたします。
NVIDIA 認証システム
GS-Supermicro SYS-421GE-TNRT
・筐体種別：サーバー
・筐体サイズ： 4U
・CPUソケット数：2
・CPU： Xeon Scalable 第4世代
・電源仕様： リダンダント電源
※NVLinkをご使用になる際は、同じGPUを接続する場合に有効となります。
異なるGPUカードや、同じH100シリーズでも40GBや80GBのカードが混合するNVLink接続は動作保障外となります。
| CPU | デュアルソケットE（LGA-4677） 第4世代 インテル Xeon® スケーラブル・プロセッサー シリーズ TDP 最大 350W 空冷ヒートシンクFAN |
| メモリタイプ | 4800MHz ECC DDR5 RDIMM / LRDIMM |
| メモリ搭載サイズ | 32 x 256 GB DRAM |
| チップセット | Intel® C741 |
| マザーボード | Super X13DEG-OA |
| PCI Exprtessスロット | 8 x PCIe 5.0 X16 （フルハイト/フルレングス） |
| ストレージ | 8 x SATA 8 x NVMe 2 x M.2 NVMe ホットスワップ対応2.5インチx24(NVMe/SATA/SAS(8x 2.5″ NVMe dedicated) |
| ネットワーク | 2 x 10GbE BaseT( Intel® X710-AT2) |
| USB | 2 x USB 3.0 |
| VGA | ASPEEDグラフィクス(オンボード)/ VGAコネクター |
| 冷却ファン | 8 x 高耐久性ファン |
| 電源ユニット | 4 x 2700W Titanium 電源 リダンダンド |
| 外形寸法 | 437 mm x 178 mm x 737 mm |
| 本体重量 | 約 29.7 kg (本体のみ) |
| 動作環境温度 | 10℃から35℃ 湿度8％から90% (結露なきこと) |
| 保管環境温度 | 保管環境温度-40から60℃ 湿度5から95% (結露なきこと) |
ご不明な点やご質問などありましたら、お問い合わせください。
お気軽にご相談ください！
製品に関するご質問・ご相談など、お気軽にお問い合わせください。
NVIDIA認定のエリートパートナー「GDEPソリューションズ」は、
お客様の用途に最適な製品のご提案から導入までサポートします。