Máy chủ AI NVIDIA B300 Blackwell

Tính năng sản phẩm

Hiệu suất AI cực cao

Powered by NVIDIA Blackwell B300 GPUs, this server delivers significantly higher throughput for both training and inference compared to previous generations. Nó hỗ trợ độ chính xác FP8 và FP4, tăng tốc chu kỳ đào tạo mô hình lớn lên tới 3 lần.

Được tối ưu hóa cho các mô hình ngôn ngữ lớn (LLM)

Kiến trúc này được thiết kế riêng cho các mô hình giống GPT, học sâu và khối lượng công việc AI tổng hợp, bao gồm cả việc xử lý hiệu quả các cửa sổ ngữ cảnh dài. Nó cũng kết hợp mô hình và quy trình song song để hợp lý hóa việc đào tạo phân tán các mô hình nghìn tỷ tham số.

Bộ nhớ băng thông cực cao

Được trang bị bộ nhớ HBM3e thế hệ tiếp theo, mỗi GPU cung cấp dung lượng lên tới 288GB và băng thông trên 10 TB/s. Điều này giúp loại bỏ tắc nghẽn bộ nhớ, cho phép kích thước lô lớn hơn và độ dài chuỗi dài hơn cho các tác vụ AI đòi hỏi khắt khe.

Kiến trúc đa GPU có thể mở rộng

With fourth-generation NVLink and NVSwitch, the NVIDIA B300 Blackwell AI Server supports fully interconnected multi-GPU topologies (8, 16, or more) at up to 900 GB/s bidirectional bandwidth. Điều này đảm bảo khả năng mở rộng gần tuyến tính cho cả đào tạo phân tán ở cấp độ nút đơn và cấp độ cụm.

Thiết kế tiết kiệm năng lượng

Hiệu suất trên mỗi watt được cải thiện – lên tới 2,5 lần so với các thế hệ trước – giảm chi phí vận hành trung tâm dữ liệu. Các tùy chọn làm mát kết hợp (không khí và chất lỏng) cho phép mật độ tính toán cao hơn trong phạm vi ngân sách điện năng hiện có.

Trung tâm dữ liệu đã sẵn sàng

Được xây dựng theo tiêu chuẩn OCP với nguồn điện 48V và hỗ trợ API Redfish để tích hợp liền mạch vào các hệ thống quản lý hiện có. Nguồn điện và quạt dự phòng, cộng thêm MTBF >100.000 giờ, đảm bảo độ tin cậy cấp doanh nghiệp 24/7.

Kịch bản ứng dụng

Đào tạo và tinh chỉnh Mô hình Ngôn ngữ Lớn:Từ việc huấn luyện trước các mô hình nghìn tỷ tham số cho đến điều chỉnh lệnh và RLHF.

Suy luận AI tổng hợp đa phương thức:Phục vụ thông lượng cao cho chuyển văn bản thành hình ảnh, tạo video và tạo nội dung 3D.

Bản sao điện toán khoa học & kỹ thuật số: Tăng tốc mô phỏng khí hậu, khám phá thuốc và bản sao kỹ thuật số công nghiệp theo thời gian thực.

Hệ thống đề xuất được cá nhân hóa: Lưu trữ các bảng nhúng lớn trong HBM để suy luận trực tuyến có độ trễ thấp, thông lượng cao.

Lái xe tự động & robot: Đào tạo các mô hình lập kế hoạch và nhận thức trên hàng triệu giờ lái xe mô phỏng, đồng thời hỗ trợ hoạt động học tập từ đầu đến cuối cho AI hiện thân.

Máy chủ AI NVIDIA B300 Blackwell là gì?

Máy chủ AI NVIDIA B300 Blackwell là nền tảng trung tâm dữ liệu thế hệ tiếp theo được xây dựng trên kiến ​​trúc GPU Blackwell, được thiết kế nhằm mục đích tạo ra AI quy mô lớn, đào tạo LLM và điện toán hiệu năng cao. Nó kết hợp băng thông bộ nhớ cực cao, khả năng mở rộng đa GPU gần như tuyến tính và hiệu quả sử dụng năng lượng hàng đầu trong ngành để xác định lại cơ sở hạ tầng AI. Cho dù đào tạo các mô hình nghìn tỷ tham số hay phục vụ các ứng dụng đa phương thức thời gian thực, máy chủ này đều mang lại hiệu suất đột phá đồng thời giảm chi phí vận hành, khiến nó trở thành nền tảng lý tưởng cho các nhà máy AI hiện đại và trung tâm dữ liệu đám mây.