Buzz
Mảng sản phẩm doanh nghiệp của Intel vừa có những bước tiến mới. Trong lĩnh vực CPU, công ty đã giành lại vị trí dẫn đầu với dòng sản phẩm Xeon 6900P (Granite Rapids) sau một thời gian dài không được chú ý. Đối với AI, Gaudi 3 không đặt mục tiêu cạnh tranh trực tiếp với vị trí số 1, mà thay vào đó nhắm đến việc thu hút khách hàng với mức giá thấp hơn so với đối thủ.Gaudi 3 là một thiết kế chiplet, gồm 2 die AI đặt gần nhau, xung quanh là 8 die HBM2e với dung lượng 128 GB. Dù có dung lượng bộ nhớ lớn nhưng HBM2e đã cũ, nên bộ tăng tốc AI này tương đối 'thiệt thòi' so với các đối thủ sử dụng HBM3 từ AMD và NVIDIA.
Về thông số kỹ thuật, cả 2 die AI Gaudi 3 có tổng cộng 64 TPC, 8 MME, 96 MB SRAM và 24 bộ giao tiếp Ethernet với tổng băng thông 1200 GB/s mỗi hướng. Gaudi 3 cũng được trang bị 16 lane PCIe 5.0, cho phép tương tác với các CPU Xeon. Ngoài ra, Intel còn tích hợp 14 bộ decoder giúp tăng tốc giải mã hình ảnh H.265, H.264, JPEG, VP9. So với Gaudi 2, với 24 TPC, 2 MME, 48 MB SRAM và 96 GB HBM2e, Gaudi 3 mạnh mẽ hơn rất nhiều.
Thông số kỹ thuật của Gaudi 3
Các hình thức vật lý của Gaudi 3
Intel cho biết Gaudi 3 vượt trội hơn H100 khi chạy mô hình LLaMA 3
Về hiệu suất, Gaudi 3 có 3 dạng tồn tại và đều có cấu hình TDP 600 W, do đó không có sự khác biệt lớn về sức mạnh giữa chúng (trong khi 2 phiên bản SXM và PCIe của H100 có sự khác biệt). Theo Intel, khi thực hiện tính toán ma trận BF16/FP8, Gaudi 3 đạt tốc độ 1835 TFlops, còn với tính toán vector BF16 đạt 28.7 TFlops. Con số tương ứng với H100 (bản SXM) là 1979 TFlops cho BF16 (ma trận), 3958 TFlops cho FP8 (ma trận) và 1979 TFlops cho BF16 (vector). Tuy nhiên, khi so sánh khả năng xử lý mô hình LLaMA 3, Intel cho biết Gaudi 3 mạnh hơn H100 1.09 lần ở mức 8 tỷ thông số và 1.19 lần ở mức 70 tỷ thông số. Điều này cho thấy ngoài phần cứng, cấu trúc phần mềm cũng ảnh hưởng lớn đến hiệu suất thực tế.
Hệ sinh thái phần mềm và các đối tác phần cứng của Gaudi 3
Hiện tại, Gaudi hỗ trợ nhiều mô hình AI phổ biến và các thư viện cùng ngôn ngữ lập trình khác nhau. Khách hàng có thể trải nghiệm sức mạnh của Gaudi 3 qua dịch vụ đám mây Tiber Developer của Intel hoặc IBM Cloud. Nếu muốn 'trải nghiệm thực tế', các hệ thống server trang bị Gaudi 3 sẽ được cung cấp bởi các thương hiệu như Dell, HP và Supermicro, dự kiến sẽ ra mắt vào Q4 2024.
