Khi thử nghiệm Snapdragon X Elite trên chiếc Dell XPS 9345 cách đây vài ngày, tôi đã chạy các mô hình ngôn ngữ lớn (LLM) trên chiếc laptop này để kiểm tra hiệu năng xử lý của Snapdragon X Elite đối với các mô hình LLM này. Tuy nhiên, vào thời điểm đó, LM Studio - phần mềm mà tôi thường sử dụng để thử LLM - vẫn chưa hỗ trợ Windows on ARM. Gần đây, LM Studio đã có thể chạy trên Windows on ARM và trên các laptop Snapdragon X Elite.
Hiện tại, việc chạy các mô hình LLM trên Snapdragon X Elite vẫn bị hạn chế trên CPU, nhưng trong tương lai gần, phần mềm này sẽ hỗ trợ NPU. Sức mạnh xử lý của NPU trên Snapdragon X Elite đã lên đến 45 TOPS.Snapdragon X Elite có khả năng xử lý các mô hình ngôn ngữ với đến 13 tỷ tham số, LM Studio hiện có nhiều mô hình phù hợp với Snapdragon X Elite, từ nhiều nguồn khác nhau, một số đã được tối ưu hóa để hoạt động trên laptop và các hệ thống nhỏ.Người dùng laptop sử dụng Snapdragon X Elite có thể tải LM Studio phiên bản Technology Preview tại đây.
Buzz
