NVIDIA 執行長黃仁勳在 3 月 18 日於舊金山舉行的 NVIDIA GTC 大會上發表主題演講時宣布， NVIDIA 最新的 GPU 平台是 Blackwell，AWS、微軟和谷歌等公司計劃採用該平台來執行生成式AI 和其他現代計算任務。何塞，加利福尼亞州。

基於 Blackwell 的產品將於 2024 年底從全球 NVIDIA 合作夥伴處進入市場。Huang 宣布了 NVIDIA 及其合作夥伴提供的一系列附加技術和服務，並表示生成式 AI只是加速運算的一個面向。

「當你變得加速時，你的基礎設施就是 CUDA GPU，」黃說，他指的是 CUDA、NVIDIA 的平行運算平台和程式設計模型。“當這種情況發生時，它的基礎設施與生成人工智慧相同。”

Blackwell 支援大型語言模型訓練和推理

黃說，Blackwell GPU 平台包含兩個晶片，透過每秒 10 TB 的晶片間互連連接，這意味著每一側都可以基本上像「兩個晶片認為它是一個晶片」一樣工作。它擁有2080億個電晶體，採用NVIDIA 2080億個4NP台積電製程製造。它擁有 8 TB/S 記憶體頻寬和 20 pentaFLOPS 的 AI 效能。

NVIDIA 表示，對於企業而言，這意味著 Blackwell 可以對高達 10 兆個參數的 AI 模型進行訓練和推理。

Blackwell 透過以下技術增強：

• 第二代 TensorRT-LLM 和 NeMo Megatron，皆來自 NVIDIA。

• 與第一代 Transformer 引擎相比，框架的計算和模型大小增加了一倍。

• 使用本機介面加密協定進行機密運算，以確保隱私和安全。

• 專用解壓縮引擎，用於加速資料分析和資料科學中的資料庫查詢。

關於安全性，黃說，可靠性引擎「對 Blackwell 晶片上的每一位內存以及與其相連的所有內存進行自檢，即係統內測試。就好像我們在運送 Blackwell 晶片時配備了自己的測試儀。”

基於 Blackwell 的產品將由合作夥伴雲端服務供應商、NVIDIA 雲端合作夥伴規劃公司和精選主權雲端提供。

Blackwell 系列 GPU 沿襲了 Grace Hopper 系列 GPU，後者於 2022 年首次亮相。NVIDIA 表示 Blackwell 將在萬億參數 LLM 上運行即時生成 AI，其成本和能耗比 Hopper 系列低 25 倍。

NVIDIA GB200 Grace Blackwell Superchip 連接多個 Blackwell GPU

除了 Blackwell GPU 之外，該公司還發布了 NVIDIA GB200 Grace Blackwell Superchip，它將兩個 NVIDIA B200 Tensor Core GPU 與 NVIDIA Grace CPU 連接起來，為 LLM 推理提供了一個新的組合平台。NVIDIA GB200 Grace Blackwell Superchip 可與該公司新推出的 NVIDIA Quantum-X800 InfiniBand 和 Spectrum-X800 乙太網路平台連接，速度高達 800 GB/S。

GB200 將於今年稍後在 NVIDIA DGX Cloud 上以及透過 AWS、Google Cloud 和 Oracle Cloud Infrastructure 執行個體提供。

新的伺服器設計展望了萬億參數的人工智慧模型

GB200 是新發布的 GB200 NVL72 的一個元件，GB200 NVL72 是一種機架級伺服器設計，將 36 個 Grace CPU 和 72 個 Blackwell GPU 封裝在一起，可實現 1.8 exaFLOPs 的 AI 效能。NVIDIA 正在展望大規模、萬億參數的法學碩士的可能用例，包括對話持久記憶、複雜的科學應用和多模式模型。

GB200 NVL72 結合了第五代 NVLink 連接器（5,000 條 NVLink 電纜）和 GB200 Grace Blackwell 超級晶片，可提供巨大的運算能力，Huang 稱之為「一個機架中的 exoflops 人工智慧系統」。

「這超過了網路的平均頻寬……我們基本上可以將所有內容發送給每個人，」黃說。

「我們的目標是不斷降低計算成本和能源——它們是直接相關的——」黃說。

冷卻 GB200 NVL72 每秒需要兩公升水。

新一代 NVLink 帶來加速的資料中心架構

第五代 NVLink 在多達 576 個 GPU 之間提供每個 GPU 通訊 1.8TB/s 的雙向吞吐量。NVLink 的這一迭代旨在用於當今最強大的複雜法學碩士。

「未來，資料中心將被視為人工智慧工廠，」黃說。

NVIDIA 推理微服務簡介

可能的「人工智慧工廠」的另一個要素是 NVIDIA 推理微服務 (NIM)，黃將其描述為「接收和打包軟體的新方式」。

NVIDIA 的 NIM是微服務，包含執行生成式 AI 所需的 API、特定領域程式碼、最佳化的推理引擎和企業執行階段。這些雲端原生微服務可以根據客戶使用的 GPU 數量進行最佳化，並且可以在雲端或自有資料中心中運行。NIM 允許開發人員在一個套件中使用 API、NVIDIA CUDA 和 Kubernetes。

請參閱：根據 TIOBE 指數， Python 仍然是最受歡迎的程式語言。（科技共和國） 

NIM 利用人工智慧來建立人工智慧，簡化一些繁重的工作，例如建立聊天機器人所需的推理和訓練。透過特定領域的 CUDA 庫，NIM 可以針對高度特定的行業（例如醫療保健）進行客製化。

黃說，開發人員可以「組建一個人工智慧團隊」來處理 NIM 內的流程，而不是編寫程式碼來對人工智慧進行程式設計。

「我們希望建立聊天機器人——人工智慧副駕駛——與我們的設計師一起工作，」黃說。

NIM 將於 3 月 18 日開始提供。開發人員可以免費試用 NIM，並透過 NVIDIA AI Enterprise 5.0 訂閱來運行它們。NIM 可在 Amazon SageMaker、Google Kubernetes Engine 和 Microsoft Azure AI 中使用，並且可以與 AI 框架 Deepset、LangChain 和 LlamaIndex 進行互通。

NVIDIA AI Enterprise 5.0 版發布新工具

NVIDIA 推出了 AI Enterprise 5.0 版本，其 AI 部署平台旨在協助組織向客戶部署生成式 AI 產品。NVIDIA AI Enterprise 5.0 新增了以下內容：

• NIM。

• CUDA-X 微服務適用於各種 GPU 加速的 AI 使用案例。

• AI Workbench，一個開發者工具包。

• 支援紅帽 OpenStack 平台。

• 擴展了對新 NVIDIA GPU、網路硬體和虛擬化軟體的支援。

NVIDIA 的檢索增強產生大型語言模型運算子現已進入 AI Enterprise 5.0 的搶先體驗階段。

AI Enterprise 5.0 可透過 Cisco、Dell Technologies、HP、HPE、Lenovo、Supermicro 和其他供應商取得。

NVIDIA 在 GTC 2024 上發布的其他重要公告

黃仁勳在 NVIDIA GTC 2024 主題演講期間宣布了一系列涉及加速運算和生成式 AI 的新產品和服務。

NVIDIA 宣布推出 cuPQC，這是一個用於加速後量子密碼學的函式庫。研究後量子密碼學的開發人員可以聯繫 NVIDIA 以獲取有關可用性的更新。

NVIDIA 的 X800 系列網路交換器可加速 AI 基礎架構。具體來說，X800 系列包含 NVIDIA Quantum-X800 InfiniBand 或 NVIDIA Spectrum-X800 乙太網路交換器、NVIDIA Quantum Q3400 交換器和 NVIDIA ConnectXR-8 SuperNIC。X800 交換器將於 2025 年上市。

NVIDIA 主題演講中詳細介紹的主要合作夥伴包括：

• NVIDIA 的全端 AI 平台將從 3 月 18 日開始出現在 Oracle Enterprise AI 上。

• AWS 將提供對基於 NVIDIA Grace Blackwell GPU 的 Amazon EC2 執行個體和具有 Blackwell 安全性的 NVIDIA DGX 雲端的存取。

• NVIDIA 將透過即將登陸 Google Cloud 的 NVIDIA Grace Blackwell AI 運算平台和 NVIDIA DGX Cloud 服務來加速 Google Cloud 的發展。Google尚未確認可用日期，但很可能是 2024 年末。此外，自 3 月 18 日起，由 NVIDIA H100 驅動的 DGX Cloud 平台已在 Google Cloud 上全面可用。

• Oracle 將在 Oracle 雲端基礎架構上的 OCI Supercluster、OCI Compute 和 NVIDIA DGX Cloud 中使用 NVIDIA Grace Blackwell。自 3 月 18 日起，部分Oracle-NVIDIA 聯合主權 AI 服務已推出。

• 微軟將採用 NVIDIA Grace Blackwell Superchip 來加速 Azure。預計將於 2024 年稍後推出。

• 戴爾將使用 NVIDIA 的 AI 基礎設施和軟體套件建立 Dell AI Factory，這是一種端到端 AI 企業解決方案，將於 3 月 18 日透過傳統管道和 Dell APEX 提供。戴爾將在未來某個未公開的時間使用 NVIDIA Grace Blackwell Superchip 作為機架規模、高密度、液冷架構的基礎。Superchip將與戴爾的PowerEdge伺服器相容。

• SAP 將在其 Joule copilot 中新增 NVIDIA 檢索增強生成功能。此外，SAP 將使用 NVIDIA NIM 和其他聯合服務。

「整個行業都在為 Blackwell 做準備，」黃說。

NVIDIA AI 晶片的競爭對手

NVIDIA 主要在提供企業人工智慧方面與 AMD 和英特爾競爭。高通、SambaNova、Groq 和各種雲端服務供應商在生成式 AI 推理和訓練方面處於同一領域。

AWS 擁有其專有的推理和訓練平台：Inferentia 和 Trainium。除了與 NVIDIA 合作開發多種產品外，微軟還擁有自己的 AI 訓練和推理晶片：Azure 中的 Maia 100 AI 加速器。