Khi các mô hình AI phát triển vượt quá quy mô hàng nghìn tỷ, ngành công nghiệp đòi hỏi hiệu suất và năng lực cực đoan. Nhập NVIDIA H100 96GB PCIE OEMGPUĐã từng được tạo, kết hợp kiến trúc phễu, 96GB bộ nhớ HBM3 cực nhanh và gia tốc chính xác FP8 để mở khóa các mức hiệu suất chưa từng có trong yếu tố hình thức PCIE.
Được xây dựng cho các mô hình lớn, được hỗ trợ bởi các số thực
Với 96GB HBM3 trên tàu, điều nàyGPUđược thiết kế để xử lý:
GPT-4, Claude 3, Gemini 1.5, Llama 3-400B
Các mô hình LLM và khuếch tán đa phương thức (video, tầm nhìn, giọng nói)
Thời gian thực, suy luận AI có độ trễ thấp ở quy mô
Mô hình cấp độ doanh nghiệp tinh chỉnh (RAG, SFT, LORA)
Thông số kỹ thuật chính:
Bộ nhớ: 96GB HBM3, băng thông lên tới 3,35tb/s
Hiệu suất tenor: Lên đến 4.000 TFLOPS (FP8) với động cơ máy biến áp
Hiệu suất cao nhất của FP16: Hơn 2.000 TFLOPS
Giao diện PCIe: PCIe Gen5 X16
Kiến trúc: Nvidia Hopper (H100)
Dữ liệu hiệu suất:
Trong điểm chuẩn nội bộ của NVIDIA, PCIe H100 96GB đã đạt được:
Đào tạo GPT-J nhanh hơn 3,5 × so với A100 80GB PCIE
Thông lượng suy luận LLM 2,6 × cao hơn so với H100 80GB
Hỗ trợ GPU đa cấp (MIG) hiệu quả, cho phép khối lượng công việc AI-AS-A-Service an toàn trên một thẻ
Lợi thế OEM: Cùng một sức mạnh, mua sắm thông minh hơn
Phiên bản PCIe OEM H100 96GB cung cấp hiệu suất tính toán giống hệt nhau như các mô hình bán lẻ, nhưng ở TCO thấp hơn đáng kể. Hoàn hảo cho:
Bộ tích hợp máy chủ GPU
Nhà cung cấp dịch vụ AI Cloud
Phòng thí nghiệm quốc gia và cụm đại học
Nền tảng điểm chuẩn chip AI
Phiên bản OEM nổi bật:
100% GPU thương hiệu mới
Bao bì khay số lượng lớn hoặc các đơn vị niêm phong chống tĩnh điện
Khả năng tương thích toàn cầu (Supermicro, Dell, Asus, nền tảng Gigabyte)
Bảo hành linh hoạt (1 trận3 năm dựa trên khối lượng)
Có sẵn cho các lô hàng khối lượng
Các trường hợp sử dụng: AI cực đoan, bất cứ nơi nào
LLM Đào tạo & Điều chỉnh-Các mô hình lớn trong nhà, tránh chi phí đám mây công cộng
Nâng cấp cơ sở hạ tầng AI - Thay thế các nút A100 bằng 2 Nút 3 × mỗi watt
AI suy luận-as-a-service (AIAAS)-phục vụ hàng ngàn phiên bằng cách sử dụng các đường ống MIG hoặc container
AI y tế-Hình ảnh chính xác, khám phá thuốc, chẩn đoán thời gian thực
Hệ thống tự trị-Phương tác đa cảm biến, mô phỏng và học tập chính sách
Một PCIE H100 96GB có thể khớp hoặc vượt trội hơn nhiều A100 trong khối lượng công việc dựa trên máy biến áp. Giảm kích thước cụm, sử dụng năng lượng và chi phí. - Nvidia, 2024 whitepaper
