Tesla tự phát triển một hệ thống siêu máy tính mạnh mẽ, được trang bị hàng nghìn card đồ họa. Năm 2021, siêu máy tính của Tesla được trang bị 5760 GPU NVIDIA A100, và gần đây đã được bổ sung thêm 1600 GPU tương tự (tăng thêm 28%)...
GPU NVIDIA A100 được phát triển trên nền kiến trúc Ampere, chuyên dùng cho các trung tâm dữ liệu. A100 có bộ nhớ đồ họa HBM2e dung lượng 80 GB, băng thông đến 2 TBps và yêu cầu năng lượng 400 W. Kiến trúc của A100 được tối ưu hóa cho các tác vụ tính toán trong AI, phân tích dữ liệu và ứng dụng HPC (High Performance Computing).
Trong tháng 6 năm 2020, NVIDIA đã giới thiệu hệ thống ứng dụng A100 GPU - NVIDIA DGX A100 - với 8 card đồ họa được kết nối thông qua NVSwitch, cung cấp hiệu suất mạnh mẽ. Đây là sức mạnh tổng hợp của 8 card NVIDIA A100, trong khi siêu máy tính của Tesla sở hữu đến 7360 GPU này, gấp 920 lần.
Tesla không công bố cụ thể về sức mạnh thực sự của siêu máy tính này, nhưng dựa trên siêu máy tính Perlmutter tại NERSC của Bộ Năng lượng Hoa Kỳ, chúng ta có thể ước lượng được phần nào. Siêu máy tính của Tesla có khả năng đạt được khoảng 100 PetaFLOPS Linpack, tiếp tục giữ vị trí hàng đầu trong bảng xếp hạng Top500.
Mặc dù đã nâng cấp siêu máy tính nội bộ, nhưng Tesla không có ý định tiếp tục vận hành lâu dài. Thay vào đó, họ đang phát triển chip D1 Dojo nhằm thay thế NVIDIA GPU và cải thiện hiệu suất. D1 Dojo là một ASIC được thiết kế riêng, nhằm mục đích huấn luyện AI, sản xuất trên node N7 của TSMC, có khoảng 50 tỉ transistor.