NVIDIA H100 NVLのかつてない性能
NVIDIA® H100 Tensor Core GPU のGPUメモリが、80GBから94GBへと進化しました。
※ NVIDIA H100 80GB は在庫がなくなり次第、販売終了となります。
NVIDIA H100 NVL は、94GBの大容量GPUメモリと、第4世代のTensorコア、800億個のトランジスタが搭載されています。
NVIDIA H100 NVL は、2 つの H100 GPU を統合し、合計 188GB の HBM2e メモリと圧倒的な計算能力を提供します。これにより、大規模な言語モデルや生成 AI のトレーニングなど、最も要求の厳しいコンピューティングタスクに対応することが可能です。また、NVIDIA® NVLink® Switch System により、最大 256 個の H100 を接続し、エクサスケールのワークロードを高速化することもできます。
さらに、専用の Transformer Engine を利用することで、パラメーターが兆単位の言語モデルを実装できます。
H100 の複合的な技術革新により、大規模な言語モデルが前世代と比較して 30 倍も高速化され、業界の一歩先を行く対話型 AI が可能となります。
大規模言語モデル推論を加速するNVIDIA H100 NVL
最大 1750億 パラメーターの大規模言語モデル (LLM) の場合、PCIe ベースの H100 NVL with NVLink ブリッジは、Transformer Engine、NVLink、および 188GB HBM3 メモリを利用して、あらゆるデータ センターで最適な性能と容易な拡張性を提供し、LLM を主流にしています。H100 NVL GPU を搭載したサーバーは、電力制約のあるデータ センター環境において低遅延を維持しながら、GPT-175B モデルの性能を NVIDIA DGX™ A100 システムの最大 12 倍まで向上します。
第2 世代のマルチインスタンスGPU（MIG）、組み込みの NVIDIA コンフィデンシャル コンピューティング、NVIDIA NVLink Switch Systemを装備する H100 は、エンタープライズからエクサスケールまで、さまざまな規模のデータ センターのあらゆるワークロードを安全に高速化します。
NVIDIA H100 の卓越した性能と拡張性により、最も要求の厳しいコンピューティングタスクにも信頼性の高いパフォーマンスを提供します。
NVIDIA Hopper がもたらす
画期的なテクノロジー
NVIDIA H100 Tensor Core GPU
NVIDIA H100 Tensor Core GPUは、NVIDIAのアクセラレーテッドコンピューティングのニーズに合わせてカスタマイズされた最先端のTSMC 4Nプロセスで製造されており、800億個のトランジスタを集積し、これまでに作られた中で世界で最も先進的なチップです。
この飛躍的な進歩により、データセンター規模でのAI、HPC、メモリ帯域幅、相互接続、通信の高速化が実現します。
Transformer Engine
Transformer Engineは、Transformerモデルのトレーニングと推論を高速化するために特別に設計されたソフトウェアとNVIDIA Hopper Tensor Coreテクノロジを組み合わせています。
Hopper Tensor Coreは、FP8とFP16が混在する精度を適用することで、TransformerのAI演算を大幅に高速化できます。
NVLink Switch System
NVLink Switch Systemは、マルチGPUの入出力（IO）をGPU当たり900GB/秒の双方向帯域幅で複数のサーバーにスケールさせます。これはPCIe Gen5の帯域幅の7倍以上です。
このシステムは、最大256基のH100をサポートし、NVIDIA AmpereアーキテクチャのInfiniBand HDRの9倍の帯域幅を提供します。
NVIDIA コンフィデンシャル コンピューティング
NVIDIA Confidential Computingは、Hopperに組み込まれた革新的なセキュリティ機能であり、NVIDIA H100を世界初のコンフィデンシャルコンピューティング機能を備えたアクセラレーターにしています。 使用中のデータとアプリケーションの機密性と完全性を守りつつ、H100 GPUによる類い稀な高速化を享受できます。
第 2 世代マルチインスタンスGPU (MIG)
NVIDIA Hopper アーキテクチャの第2世代 MIG は、仮想化環境におけるマルチテナント、マルチユーザー構成をサポートし、7 つの安全なテナントに対してサービス品質（QoS）を最大化するために、GPU を分離し適切なサイズに分割します。
DPX 命令
NVIDIA Hopper のDPX 命令は、動的プログラミング アルゴリズムの処理を CPU と比較して 40倍、前世代 NVIDIA Ampere アーキテクチャGPU と比較して 7 倍に高速化します。
これにより、病気の診断、リアルタイムでの経路の最適化、グラフ分析に必要な時間が大幅に短縮されます。
参考販売価格：5,190,000円（税込 5,709,000円）
短期レンタル価格：850,000 円/月（税込 935,000 円/月）
長期1年レンタル価格：380,000 円/月（税込 418,000 円/月）
発売時期：2024年5月
NVIDIA H100 NVL 94GB 2基＋NVLink のセットも販売・レンタルしております。
詳しくはお問合せ下さい。
NVIDIA H100 NVL 性能・スペック
| NVIDIA H100 94GB | NVIDI H100 80GB | |
| GPUアーキテクチャ | Hopper | Hopper |
| GPUメモリ | 94 GB HBM3 | 80 GB HBM2e |
| メモリバンド幅 | 3.98 TB/s | 2 TB/s |
| CUDAコア数 | 14,592 | 14,592 |
| Tensorコア数 | 456 | 456 |
| デコーダー | 7 NVDEC 7 JPEG | 7 NVDEC 7 JPEG |
| 最大熱設計電力（TDP） | 350-400W (configurable) | 300-350W (configurable) |
| マルチインスタンス GPUs | Up to 14 MIGs 12 GB each | Up to 7 MIGs 10GB each |
| フォームファクター | PCIe Dual-slot / Air-cooled | PCIe Dual Slot / Air-cooled |
| 相互接続 | NVLink 600 GB/s PCIe Gen5: 128 GB/s | NVLink 600 GB/s PCIe Gen5: 128 GB/s |
| FP64 | 34.0 TFLOPS | 26.0 TFLOPS |
| FP64 Tensor コア | 67.0 TFLOPS | 51.0 TFLOPS |
| FP32 | 67.0 TFLOPS | 51.0 TFLOPS |
| TF32 Tensor コア | 989 TFLOPS | 756 TFLOPS |
| BFLOAT16 Tensor コア | 1,979 TFLOPS | 1,513 TFLOPS |
| FP16 Tensor コア | 1,979 TFLOPS | 1,513 TFLOPS |
| FP8 Tensor コア | 7,916 TFOPS | 3,958 TFOPS |
| INT8 Tensor コア | 3,958 TOPS | 3,026 TOPS |
*仕様は変更される場合があります。
NVIDIA GPU 一覧表PDF
弊社で取り扱っているNVIDIA GPUの性能・スペックを一覧にしました。PDFファイルをダウンロードすることができます。
NVIDIA GPU 拡張保証サービス
NVIDIA GPUは「3年間センドバック保証（無償修理・交換）」のメーカー標準保証が基本として含まれていますが、
当社オリジナルとして「NVIDIA GPU 拡張保証サービス」をご提供しています。
「NVIDIA GPU 拡張保証サービス」には、先出しセンドバック保証、センドバック延長保証、オンサイト保証があり、お客様のニーズや状況にあわせた保証内容にすることができます。
NVIDIA GPU 拡張保証サービスにより、GPU導入後も、長く・安心してお使いいただけます。
GPUを導入される際に、あわせてご検討ください。
★NVIDIA GPU 拡張保証サービスの詳細はこちら
NVIDIA H100 NVL 搭載おすすめGPUシステム
NVIDIA H100 NVLは、NVIDIAが認定したシステムにのみ搭載することができます。
NVIDIA H100 NVL 動作認証済みのシステムは下記以外に、NVIDIAサイト 認定システムカタログより確認することができます。
用途やご希望のスペックをお知らせいただければ、最適なシステムをご提案いたします。
NVIDIA 認証システム
GS-Supermicro SYS-421GE-TNRT
・筐体種別：サーバー
・筐体サイズ： 4U
・CPUソケット数：2
・CPU： Xeon Scalable 第4世代
・電源仕様： リダンダント電源
※NVLinkをご使用になる際は、同じGPUを接続する場合に有効となります。
異なるGPUカードや、同じH100シリーズでも40GBや80GBのカードが混合するNVLink接続は動作保障外となります。
| CPU | デュアルソケットE（LGA-4677） 第4世代 インテル Xeon® スケーラブル・プロセッサー シリーズ TDP 最大 350W 空冷ヒートシンクFAN |
| メモリタイプ | 4800MHz ECC DDR5 RDIMM / LRDIMM |
| メモリ搭載サイズ | 32 x 256 GB DRAM |
| チップセット | Intel® C741 |
| マザーボード | Super X13DEG-OA |
| PCI Exprtessスロット | 8 x PCIe 5.0 X16 （フルハイト/フルレングス） |
| ストレージ | 8 x SATA 8 x NVMe 2 x M.2 NVMe ホットスワップ対応2.5インチx24(NVMe/SATA/SAS(8x 2.5″ NVMe dedicated) |
| ネットワーク | 2 x 10GbE BaseT( Intel® X710-AT2) |
| USB | 2 x USB 3.0 |
| VGA | ASPEEDグラフィクス(オンボード)/ VGAコネクター |
| 冷却ファン | 8 x 高耐久性ファン |
| 電源ユニット | 4 x 2700W Titanium 電源 リダンダンド |
| 外形寸法 | 437 mm x 178 mm x 737 mm |
| 本体重量 | 約 29.7 kg (本体のみ) |
| 動作環境温度 | 10℃から35℃ 湿度8％から90% (結露なきこと) |
| 保管環境温度 | 保管環境温度-40から60℃ 湿度5から95% (結露なきこと) |
ご不明な点やご質問などありましたら、お問い合わせください。
お気軽にご相談ください！
製品に関するご質問・ご相談など、お気軽にお問い合わせください。
NVIDIA認定のエリートパートナー「GDEPソリューションズ」は、
お客様の用途に最適な製品のご提案から導入までサポートします。