NVIDIA DGX A100

AI開発の要求に応えるために誕生！NVIDIA DGX A100

NVIDIA DGX™ A100 は、NVIDIA A100 Tensor Core GPU が8基搭載されています。

NVIDIA DGX A100 に搭載されている「NVIDIA A100 Tensor Core GPU」は、メモリ容量が40GB（HBM）から80GB（HBM2e）に倍増しました。

A100 80GB GPUは、A100 40GB GPU を30％上回る毎秒 2テラバイト (TB/秒) 超えの世界最速メモリ帯域幅と、1.25倍から3倍の性能向上を実現しました。

NVIDIA DGX A100 は、6Uのフォームファクターで、あらゆる AI ワークフローに対応するユニバーサルシステムであり、前例のない計算処理密度、パフォーマンス、柔軟性を提供する5 ペタフロップスのAI パフォーマンスを発揮します。
また、マルチインスタンス GPU (MIG)機能も大きな特徴です。

NVIDIA DGX A100 は、分析からトレーニング、推論に至るまで、あらゆる AI インフラストラクチャのためのユニバーサルシステムです。

6U のフォームファクタに 5 ペタフロップスの AI パフォーマンスを詰め込み、従来のインフラストラクチャのサイロを、すべての AI ワークフローに対応する単一のプラットフォームに置き換えることで、計算処理密度の新しい水準を確立します。

NVIDIA DGX A100 は、NVIDIA A100 Tensor コア GPU を搭載した世界初のシステムです。

8 基の A100 GPU と最大 640GB の GPU メモリの統合。これまでにないアクセラレーションを提供し、NVIDIA CUDA-X™ソフトウェアとエンドツーエンドのNVIDIA データセンターソリューションスタック用に完全に最適化されています。

NVIDIA DGX A100 は、ピーク時の双方向帯域幅が 500 ギガバイト/秒 (GB/s) の Mellanox ネットワーキングを内蔵しています。これは、スケーラブル AI インフラストラクチャのリファレンスアーキテクチャとなるNVIDIA DGX SuperPOD™ などの大規模 AI クラスターの基本構成要素に DGX A100 を据えるための数ある機能の中の 1 つです。

NVIDIA DGX A100 特徴

超高速処理・高性能・信頼性の3つを兼ね備えています。

https://youtu.be/MY7jZGZw9vA

NVIDIA GPUs

NVIDIA A100 Tensor Core GPU × 8基搭載
GPUメモリ合計 640GB
GPU あたり 12 の NVLink GPU から GPU への帯域幅: 600 GB/秒

CPU & システムメモリ

デュアル 128コア AMD Rome CPU
2TB (80GB搭載モデル)でデータを最速に供給するメモリ
3.2 倍のコア(DGX-1比)で最も集中的な AI ジョブを強化

NVIDIA NVSwitch

6基のNVIDIA NVSwitch
双方向の帯域幅: 4.8 TB/秒前世代と比較して 2 倍！

ネットワーク

10基または9基の MELLANOX CONNECTX-6 HDR 200Gb/秒ネットワーク
ピーク時の双方向の帯域幅: 500 GB/秒

ストレージ

30 TB の GEN4 NVME SSD
ピーク時の帯域幅: 50 GB/秒Gen3 NVME SSD より 2 倍高速

性能

ビッグデータ分析ベンチマーク | 10TBデータセットで分析リテールクエリ30個、ETL、ML、NLP | CPU:Intel Xeon Gold 6252 2.10GHzの19倍、Hadoop | DGX-1(V100 32GBの8倍)の16倍、RAPIDS/Dask | DGX A100 320GBの12倍およびDGX A100 640GBの6倍、RAPIDS/Dask/BlazingSQL GPUの台数に標準化した速度向上率

ビッグデータ分析ベンチマークでCPUより最大83倍の高速化
DGX A100 80GB(640GB)は、DGX A100 40GB(320GB)より性能が2倍向上

NVIDIA DGX A100 搭載
NVIDIA A100 Tensor Core GPU

NVIDIA A100 Tensor コア GPU による前例のない高速化をもって、世界で最も困難な計算に AI、データ分析、HPC (ハイパフォーマンスコンピューティング) で挑むことができます。

第 3 世代の NVIDIA Tensor コアにより性能を大幅に向上できるようになり、A100 GPU を効率的に数千までスケールアップできます。また、マルチインスタンス GPU を使用すれば、あらゆるサイズのワークフローを加速するために 7 つの小さな専用インスタンスとして割り当てることができます。

NVIDIA DGX A100
NVIDIA A100 Tensor Core GPU × 8基搭載

Ampere アーキテクチャ

世界最大の7nmチップ
548トランジスタ, HBM2

第3世代 Tensor コア

更なる高速化・柔軟性・簡便
Voltaの20倍のAI性能@TF32

高速スパース演算処理機能

AIモデルにおけるスパースを活かし最大2倍のAI性能を発揮

マルチインスタンス GPU (MIG)

nvidia-a100-mig — MIG機能
異なるワークロードを1つのプラットフォームで実行

MIG を利用することで、NVIDIA DGX A100 の 8 つの A100 GPU を最大 56 個の GPU インスタンスとして構成し、それぞれが独自の高帯域幅メモリ、キャッシュ、コンピューティングコアで完全分離できます。

これにより管理者は、複数のワークフローに対してサービス品質 (QoS) が保証された GPU のサイズを適切に設定することができます。

NVIDIA DGX A100 スペック

	NVIDIA DGX A100
GPU	NVIDIA A100 Tensor Core 80 GB × 8 基
GPUメモリ	Total 640 GB
性能	AI で 5 petaFLOPS INT8 で 10 petaFLOPS
NVIDIA NVSwitches	6
CPU	Dual AMD Rome 7742 2.25 GHz(base), 3.4 GHz(max boost) Total 128 コア
システムメモリ	2 TB
ネットワーク	Single-Port: Mellanox ConnectX-6 VPI 200Gb/s HDR InfiniBand × 8 Dual-Port: Mellanox ConnectX-6 VPI 10/25/50/100/200 Gb/s Ethernet × 2
ストレージ	OS: 1.92 TB M.2 NVME drives × 2 内部ストレージ: 30 TB (3.84 TB × 8) U.2 NVME drives
ソフトウェア	Ubuntu Linux OS Red Hat Enterprise Linux 7,8 / CentOS 7,8
最大消費電力	6.5 kW max
重量	123 kg
サイズ	全高: 264.0 mm 全幅: 482.3 mm 奥行: 897.1 mm
運用温度範囲	5 ℃ - 30 ℃