Buzz
To achieve this, engineers and semiconductor developers from Annapurna Labs, a subsidiary of Amazon, are working on developing a processing chip for AWS servers. This chip aims to provide sufficient training and operational AI performance to reduce Amazon's dependence on Nvidia's chip supply.With this ambition, Amazon's cloud computing division has been investing billions of dollars to develop and manufacture custom-designed chips for AWS servers, serving customers running AI algorithms. In 2015, Amazon acquired Annapurna Labs for $350 million. In December, the startup working on this processing chip is expected to introduce Trainium 2, a product designed to train some of the largest language models available.
Currently, Trainium 2 is being tested for training AI models by Anthropic, an AI research startup known for its Claude models and chatbots. The latest version of Claude is , with the strongest model being Claude Opus, which has 2 trillion parameters. Other organizations testing the Trainium 2 chip include Databricks, Deutsche Telekom, Ricoh, and Stockmark.
Amazon and the AWS director have openly stated their ambition to directly compete with Nvidia using their own custom chip designed for their specific data centers. Dave Brown, vice president of AWS's computing and networking services, said: "We want to be the best place to run Nvidia's hardware. But at the same time, we also believe competition will stabilize with an alternative option."“Chi phí vận hành các máy chủ đám mây thường rất cao, đặc biệt là khi liên quan đến các tác vụ AI và máy học. Việc tiết kiệm 40% trên một chi phí 1000 USD có thể không tạo ra sự khác biệt lớn trong kinh doanh, nhưng khi tiết kiệm được hàng chục triệu USD, sự thay đổi đó sẽ mang lại một tác động đáng kể.”
Không chỉ Amazon, mà Microsoft với Azure và Alphabet với Google Cloud cũng đang đổ hàng chục, hàng trăm tỷ USD để mở rộng quy mô các trung tâm dữ liệu của họ trên toàn cầu, nhằm dẫn đầu trong cuộc đua AI. Màn đổ tiền này vẫn chưa có dấu hiệu dừng lại.
Các tên tuổi lớn như Amazon, Meta, xAI, Microsoft và Google không chỉ là khách hàng mua hàng nghìn chip xử lý máy chủ của Nvidia, với giá mỗi chip lên tới 5 chữ số USD, mà đồng thời cũng đang tự phát triển, sản xuất và ứng dụng các chip xử lý riêng của họ. Microsoft có Maia 100, Google có TPUv6, Meta có Artemis, còn Amazon thông qua Annapurna Labs sở hữu Trainium và Inferentia.
Daniel Newman từ Futurum Group cho biết: “Các nhà cung cấp dịch vụ điện toán đám mây lớn đều đang nhắm đến việc vận hành theo mô hình ngành dọc, và nếu có thể, họ sẽ tự phát triển chip của riêng mình. Từ OpenAI đến Apple đều muốn tự phát triển chip để giảm chi phí, nâng cao lợi nhuận, gia tăng nguồn cung và kiểm soát tốt hơn chuỗi cung ứng.”
G Dan Hutcheson, nhà phân tích từ TechInsights, nhận định: “Lợi thế của AWS là chip của họ tiêu thụ ít năng lượng hơn, giúp các trung tâm dữ liệu của họ vận hành hiệu quả và tiết kiệm hơn.” Hutcheson so sánh chip Nvidia là giải pháp mạnh mẽ, nhưng tốn nhiều điện năng, trong khi chip chuyên biệt của Amazon tiêu tốn ít năng lượng hơn và được thiết kế để phục vụ các nhu cầu đặc thù.
Dù quy mô lớn, việc Amazon sử dụng chip do Annapurna Labs phát triển không đủ để ảnh hưởng đến thị phần của Nvidia. Trong quý II của năm tài chính 2024, doanh thu từ chip máy chủ của Nvidia đạt 26.3 tỷ USD, gần tương đương doanh thu của toàn bộ AWS trong một quý. Và trong số đó, doanh thu từ khách hàng sử dụng chip của Annapurna Labs là rất nhỏ.
Đồng thời, Amazon cũng tránh so sánh trực tiếp chip Trainium và Inferentia của mình với chip của Nvidia. Patrick Moorhead, chuyên gia tư vấn ngành chip từ Moor Insights & Strategy, cho rằng: “Benchmark chỉ thực sự có giá trị khi khách hàng đặt câu hỏi 'Chúng tôi có nên chọn chip này không?' Và bài kiểm tra thực sự hữu ích là khi chip được vận hành cùng hệ thống thực tế, xử lý các tác vụ thực tế.”
Moorhead cho rằng, tuyên bố về việc hiệu năng huấn luyện mô hình AI tăng gấp 4 lần giữa Trainium và Trainium 2 của Amazon là hợp lý. Tuy nhiên, khi Amazon cung cấp một sự lựa chọn mới cho khách hàng, rõ ràng những con số benchmark không phải là yếu tố duy nhất để thuyết phục họ.
Theo FT
