Siêu máy tính AI nhỏ nhất thế giới biến chiếc PC 14 năm tuổi thành cỗ máy chạy offline

Một màn trình diễn đầy ấn tượng chứng minh rằng trí tuệ nhân tạo quy mô lớn không còn là đặc quyền của các trung tâm dữ liệu. Với Pocket Lab của Tiiny AI, một chiếc PC đã 14 năm tuổi vẫn có thể vận hành mượt mà mô hình 120 tỷ tham số hoàn toàn offline.

Trong suốt nhiều năm qua, trí tuệ nhân tạo quy mô lớn luôn được xem là lĩnh vực chỉ dành cho các trung tâm dữ liệu khổng lồ, nơi những cụm GPU tiêu thụ hàng trăm kilowatt điện mỗi ngày để duy trì hoạt động.

Tuy nhiên, một màn trình diễn gần đây của startup Mỹ Tiiny AI đã làm thay đổi quan niệm này, khi biến một chiếc máy tính cá nhân 14 năm tuổi thành cỗ máy chạy hoàn chỉnh mà không cần kết nối Internet.

Buổi demo được Tiiny AI ghi lại trong một cú quay duy nhất, không cắt dựng, cho thấy mô hình GPT-OSS 120B của OpenAI hoạt động trên Pocket Lab, một siêu máy tính cá nhân do công ty phát triển. Điều đặc biệt là Pocket Lab không thay thế chiếc PC cũ, mà đóng vai trò như “bộ não AI” gắn ngoài, giúp phần cứng lỗi thời thực hiện những tác vụ mà trước đây được cho là không thể.

Theo Tiiny AI, Pocket Lab hướng đến mục tiêu đưa trí tuệ nhân tạo cấp độ đám mây đến với mọi người, không cần phụ thuộc vào hạ tầng mạng, dịch vụ đám mây hay việc nâng cấp GPU đắt đỏ. Sau khi ra mắt vào ngày 10 tháng 12, thiết bị này đã được công nhận là miniPC nhỏ nhất có khả năng chạy mô hình ngôn ngữ lớn với hơn 100 tỷ tham số ở chế độ cục bộ.

Trong thí nghiệm, nhóm nghiên cứu sử dụng một chiếc PC sản xuất năm 2011, trang bị bộ xử lý Intel Core i3-530, 2GB RAM DDR3 và màn hình CRT. Đây là cấu hình vốn chỉ đủ để thực hiện các tác vụ văn phòng cơ bản. Tuy nhiên, sau khi kết nối với Pocket Lab, hệ thống đã vận hành thành công với tốc độ trung bình khoảng 20 token mỗi giây.

Buổi trình diễn tập trung vào các bài toán suy luận và phân tích. Mô hình trả lời câu hỏi “Bạn là ai?” và sau đó là câu hỏi “Vì sao 1 1=2”, với phần giải thích chi tiết và mạch lạc. Câu trả lời thứ hai sử dụng tới 1.582 token, đạt tốc độ xử lý 18,6 token mỗi giây, một con số ấn tượng trong bối cảnh toàn bộ quá trình diễn ra hoàn toàn offline.

Ông Samar Bhoj, Giám đốc GTM của Tiiny AI, cho biết màn trình diễn này đã phá vỡ một giả định lâu nay trong ngành công nghiệp AI. Theo ông, việc chạy mô hình lớn không còn yêu cầu các cụm GPU khổng lồ hay hạ tầng đám mây phức tạp. Với Pocket Lab, AI tiên tiến có thể hoạt động độc lập, ngoại tuyến và trên phần cứng phổ thông, ngay cả với máy tính đã 14 năm tuổi.

Cốt lõi của Pocket Lab nằm ở hai công nghệ độc quyền mang tên TurboSparse và PowerInfer. TurboSparse giúp tối ưu hiệu quả tính toán bằng cách chỉ kích hoạt những nơ-ron cần thiết, thay vì toàn bộ mô hình, mà không làm suy giảm khả năng suy luận. PowerInfer phân bổ khối lượng công việc giữa CPU và NPU, giúp tối ưu hiệu năng và giảm đáng kể mức tiêu thụ điện so với các hệ thống AI truyền thống dựa trên GPU.

Về phần cứng, Pocket Lab sở hữu CPU ARMv9.2 với 12 nhân, 80GB bộ nhớ LPDDR5X và ổ SSD 1TB, tất cả được đóng gói trong một thiết bị nặng khoảng 300 gram. Dù nhỏ gọn, cấu hình này đủ mạnh để chạy nhiều mô hình mã nguồn mở phổ biến như Llama, Qwen, DeepSeek, Mistral, Phi và GPT-OSS.

Tiiny AI định vị Pocket Lab là nền tảng AI cá nhân dành cho nhà sáng tạo nội dung, lập trình viên, nhà nghiên cứu, sinh viên và các chuyên gia cần xử lý dữ liệu nhạy cảm. Thiết bị hỗ trợ suy luận nhiều bước, hiểu ngữ cảnh sâu sắc, vận hành các quy trình tác nhân AI và tạo nội dung mà không cần kết nối mạng.

Một điểm mạnh khác của Pocket Lab là yếu tố bảo mật. Dữ liệu người dùng, tài liệu và sở thích đều được lưu trữ cục bộ và mã hóa đạt chuẩn ngân hàng, đảm bảo mức độ riêng tư cao hơn so với các hệ thống AI dựa trên đám mây.

Màn trình diễn của Tiiny AI mở ra một viễn cảnh khác cho tương lai của trí tuệ nhân tạo, nơi sức mạnh tính toán không còn chỉ tập trung trong các trung tâm dữ liệu khổng lồ, mà được phân tán đến các thiết bị cá nhân. Khi AI ngày càng gắn bó với đời sống, khả năng đưa những mô hình khổng lồ chạy trên phần cứng phổ thông có thể sẽ là bước ngoặt lớn, không chỉ về công nghệ mà còn về cách con người kiểm soát và sở hữu trí tuệ nhân tạo.