NVIDIA H200 圧倒的なパフォーマンスと革新技術で未来を加速する
NVIDIA® H200 Tensor コア GPU は、Hopperアーキテクチャの進化を遂げ、AI、HPC（ハイパフォーマンスコンピューティング）、データ解析における計算能力を新たな次元へと引き上げます。
NVIDIA H200は、革新的な設計と大容量GPUメモリ「141GB」を搭載し、大規模言語モデル（LLM）や生成AIをはじめ、科学的シミュレーションやリアルタイム分析など、多岐にわたる用途に最適です。
エネルギー効率と計算スループットを両立したNVIDIA H200は、あなたのプロジェクトを未来へと導きます。
HBM3eメモリを搭載した初のGPUであるNVIDIA H200は、大容量かつ高速なメモリと毎秒4.8テラバイトのメモリ帯域幅により、科学コンピューティングをさらに推進し、生成AIや大規模言語モデル（LLM）の学習と推論を飛躍的に加速します。
※ 本製品は消費電力が非常に高いため、NVIDIAが認定したシステムでのみご利用いただけます。
動作確認済みのシステムや搭載方法については、弊社までお問い合わせください。
NVIDIA H200 特長
1. 次世代 Hopper アーキテクチャ
NVIDIA H200は、Hopperアーキテクチャをさらに進化させ、AIトレーニング、推論、HPCアプリケーションで最高レベルのパフォーマンスを実現。前世代のH100と比較して、処理速度と効率性が大幅に向上しています。
2. 大容量GPUメモリ 141GB
NVIDIA H200は、より大規模なデータセットやAIモデルの処理に対応するため、さらに大容量のGPUメモリを搭載。これにより、複雑な計算や解析をスムーズに行えます。
3. NVLink 技術によるスケーラビリティ
NVIDIA H200は最新のNVLinkを採用し、複数のGPUをシームレスに接続することで、計算リソースを最大限に活用。スケーラブルな設計により、大規模プロジェクトや分散コンピューティングに対応します。
4. エネルギー効率の向上
NVIDIA H200は、前世代GPUに比べて電力効率がさらに向上。高負荷作業でも省エネルギーを実現し、長時間稼働でも安定したパフォーマンスを提供します。
5. 最適化されたAIワークロード
生成AIやLLMなどの最先端AIアプリケーション向けに設計されており、より高速なトレーニングと推論を可能にします。
NVIDIA H200 次世代GPUの圧倒的パフォーマンス
NVIDIA H200 Tensor コア GPUは、毎秒4.8テラバイト(TB/s)のメモリ帯域幅と、141ギガバイト(GB)のHBM3eメモリを搭載した初のGPUです。
NVIDIA H100 Tensor コア GPUと比較して約2倍のメモリ容量を備え、メモリ帯域幅も1.4倍に向上しています。
NVIDIA H200の大容量かつ高速なHBM3eメモリにより、生成AIや大規模言語モデル(LLM)の処理を飛躍的に加速します。
また、エネルギー効率の大幅な向上により、運用コストを削減しつつ、HPC（ハイパフォーマンスコンピューティング）の科学コンピューティングにおける新たな可能性を切り開きます。
GPT3-175B 推論 1.6倍 の高速化
LLama2 70B 推論 1.9倍 の高速化
参考仕様。変更される場合があります。
Llama2 13B: ISL 128, OSL 2K | Throughput | H100 SXM 1x GPU BS 64 | H200 SXM 1x GPU BS 128
GPT-3 175B: ISL 80, OSL 200 | x8 H100 SXM GPUs BS 64 | x8 H200 SXM GPUs BS 128
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 SXM 1x GPU BS 8 | H200 SXM 1x GPU BS 32.
NVIDIA H200 は、Llama2 のような LLM を扱う場合、H100 GPU と比較して推論速度を約2 倍向上します。進化し続ける AI の世界では、企業はさまざまな推論のニーズに対応するために LLM を利用しています。
AI 推論アクセラレータは、大規模なユーザー ベース向けにデプロイする場合、最小の TCO で最高のスループットを実現する必要があります。
高性能コンピューティング 110倍 の高速化
準備段階で測定されたパフォーマンスです。変更される可能性があります
HPC MILC- dataset NERSC Apex Medium | HGX H200 4-GPU | dual Sapphire Rapids 8480
HPC Apps- CP2K: dataset H2O-32-RI-dRPA-96points | GROMACS: dataset STMV | ICON: dataset r2b5 | MILC: dataset NERSC Apex Medium | Chroma: dataset HMC Medium | Quantum Espresso: dataset AUSURF112 | 1x H100 | 1x H200.
メモリ帯域幅は、より高速なデータ転送を実現することで、ボトルネックとなる複雑な処理を削減し、ハイパフォーマンス コンピューティング アプリケーションにとって極めて重要な役割を果たします。シミュレーション、科学研究、人工知能のようなメモリを大量に使用する HPC アプリケーションでは、NVIDIA H200の高いメモリ帯域幅により、データアクセスと操作が効率化され、CPUと比較して最大110倍の速度で結果を得ることが可能です。
エネルギーと TCO の削減↓
準備段階で測定されたパフォーマンスです。変更される可能性があります
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 1x GPU BS 8 | H200 1x GPU BS 32
NVIDIA H200の導入により、エネルギー効率と管理維持に関わるすべてのコスト（TCO）は新たなレベルに到達します。この最先端テクノロジーは、H100 TensorコアGPUと同じ電力プロファイル内で、かつてないパフォーマンスを実現します。AIファクトリーやスーパーコンピューティングシステムにおいて、NVIDIA H200は高速性だけでなく、環境への配慮も兼ね備え、AIおよび科学コミュニティに対して経済的な優位性を提供します。
NVIDIA H200 導入のメリット
最大限の生産性：
圧倒的なスピードと効率性により、プロジェクトのスケジュールを短縮
長期的なコスト削減：
エネルギー効率の向上で運用コストを抑制
柔軟な拡張性：
NVLinkにより、スケールアップが容易
NVIDIA H200 NVL
NVIDIA H200 NVLは、柔軟な構成が求められる空冷式エンタープライズラック向けに最適化された低消費電力モデルです。あらゆる規模のAIおよびHPC処理に対応する高い処理性能を実現します。
最大4基のGPUをNVIDIA NVLink™で接続し、1.5 倍のメモリ容量を備えることで、大規模言語モデル (LLM) の推論処理では H100 NVL 比で最大 1.7 倍、HPC 処理では最大 1.3 倍の性能向上を達成しています。
NVIDIA H200 性能・スペック
| NVIDIA H200 NVL 141GB | NVIDI H100 NVL94GB | |
| GPUアーキテクチャ | Hopper | Hopper |
| GPUメモリ | 141 GB HBM3e | 94 GB HBM3 |
| メモリバンド幅 | 4.8 TB/s | 3.9 TB/s |
| デコーダー | 7 NVDEC 7 JPEG | 7 NVDEC 7 JPEG |
| 最大熱設計電力（TDP） | 600W (configurable) | 300-350W (configurable) |
| マルチインスタンス GPUs | Up to 7 MIGs 16.5 GB each | Up to 14 MIGs 12 GB each |
| フォームファクター | PCIe Dual-slot / Air-cooled | PCIe Dual Slot / Air-cooled |
| 相互接続 | 2- or 4-way NVIDIA NVLink bridge: 900GB/s per GPU PCIe Gen5: 128GB/s | NVLink: 600 GB/s PCIe Gen5: 128 GB/s |
| FP64 | 30.0 TFLOPS | 34.0 TFLOPS |
| FP64 Tensor コア | 60.0 TFLOPS | 67.0 TFLOPS |
| FP32 | 60.0 TFLOPS | 67.0 TFLOPS |
| TF32 Tensor コア | 835 TFLOPS | 989 TFLOPS |
| BFLOAT16 Tensor コア | 1,671 TFLOPS | 1,979 TFLOPS |
| FP16 Tensor コア | 1,671 TFLOPS | 1,979 TFLOPS |
| FP8 Tensor コア | 3,341 TFOPS | 3,958 TFOPS |
| INT8 Tensor コア | 3,341 TFOPS | 3,958 TFOPS |
*仕様は変更される場合があります。
NVIDIA GPU 拡張保証サービス
NVIDIA GPUは「3年間センドバック保証（無償修理・交換）」のメーカー標準保証が基本として含まれていますが、
当社オリジナルとして「NVIDIA GPU 拡張保証サービス」をご提供しています。
「NVIDIA GPU 拡張保証サービス」には、先出しセンドバック保証、センドバック延長保証、オンサイト保証があり、お客様のニーズや状況にあわせた保証内容にすることができます。
NVIDIA GPU 拡張保証サービスにより、GPU導入後も、長く・安心してお使いいただけます。
GPUを導入される際に、あわせてご検討ください。
★NVIDIA GPU 拡張保証サービスの詳細はこちら
お気軽にご相談ください！
製品に関するご質問・ご相談など、お気軽にお問い合わせください。
NVIDIA認定のエリートパートナー「GDEPソリューションズ」は、
お客様の用途に最適な製品のご提案から導入までサポートします。