Công Ty Mỹ Phát Triển Chip Trí Tuệ Nhân Tạo Lớn Nhất Thế Giới Với 4 Nghìn Tỷ Bóng Bán Dẫn

Chip này cũng cần ít mã code hơn 97% để huấn luyện Mô Hình Học Máy Lớn khi so sánh với GPU. Một mô hình có kích thước GPT-3 có thể được triển khai chỉ với 565 dòng mã code.

Công ty Cerebras Systems, có trụ sở tại California, vừa ra mắt Wafer Scale Engine 3 (WSE-3), một con chip trí tuệ nhân tạo (AI) mạnh gấp đôi so với WSE-2 ra mắt năm 2021.

Theo đó, WSE-3 được sản xuất trên tiến trình 5nm, có 4 nghìn tỷ bóng bán dẫn, tích hợp 900.000 nhân tính toán được tối ưu cho AI và có kích thước bằng một miếng wafer silicon vuông 8.5 inch.

Chip thế hệ thứ 3 này sẽ được sử dụng để vận hành siêu máy tính AI Cerebras CS-3, mang lại hiệu suất tối đa lên đến 125 petaflop cho các nhiệm vụ trí tuệ nhân tạo và có thể huấn luyện các mô hình AI lên đến 24 nghìn tỷ tham số.

Cerebras cho biết 24 nghìn tỷ tham số này có thể lưu trữ trong một vùng nhớ logic đơn, giúp đơn giản hóa đáng kể quy trình huấn luyện và tăng tốc độ cho các nhà phát triển phần mềm. Cerebras tuyên bố rằng huấn luyện một mô hình có 1 nghìn tỷ tham số trên CS-3 tương đương với việc huấn luyện một mô hình có 1 tỷ tham số trên các GPU thông thường.

“Khi chúng tôi bắt đầu hành trình này 8 năm trước, mọi người đều nói bộ xử lý quy mô wafer là điều không thể. Chúng tôi rất tự hào khi giới thiệu thế hệ thứ ba của chip AI quy mô wafer đột phá,” Andrew Feldman, CEO và đồng sáng lập của Cerebras cho biết. “WSE-3 là chip AI nhanh nhất thế giới, được thiết kế đặc biệt cho các ứng dụng AI tiên tiến nhất. Chúng tôi rất vui mừng khi đưa WSE-3 và CS-3 ra thị trường để giúp giải quyết những thách thức AI lớn nhất hiện nay.”

Công ty tuyên bố rằng so với GPU tiêu tốn năng lượng, CS-3 mang lại hiệu suất gấp đôi nhưng vẫn duy trì mức tiêu thụ điện năng tương đương. Nó cũng yêu cầu ít hơn 97% mã code so với GPU để chạy các mô hình ngôn ngữ lớn. Ví dụ, triển khai một mô hình GPT-3 chỉ cần 565 dòng lệnh trên Cerebras.

Cerebras đã hợp tác với một số đối tác quan trọng, trong đó có cả G42, một công ty phát triển trí tuệ nhân tạo. G42 hiện đang phát triển siêu máy tính Condor Galaxy 3, bao gồm 64 'block xây dựng' của hệ thống trí tuệ nhân tạo Cerebras CS-3 được trang bị bởi chip WSE-3. Khi hoàn thành, siêu máy tính 8 exaFLOP này sẽ tăng tổng công suất tính toán trí tuệ nhân tạo của G42 lên 16 exaFLOP.