Buzz
Mặc dù máy chỉ có một lõi xử lý, mô hình Llama 2 với kích thước 260K vẫn đạt tốc độ 35,9 từ mỗi giây một cách ổn định
Một chiếc máy tính cổ chạy Windows 98, với vi xử lý Pentium II 350 MHz và 128MB RAM, đã trở thành nơi thử nghiệm một mô hình AI bất ngờ. EXO Labs, tổ chức nghiên cứu do các nhà khoa học từ Đại học Oxford sáng lập, đã làm cả ngành công nghệ ngỡ ngàng khi chạy thành công mô hình ngôn ngữ lớn (LLM) trên hệ thống 30 năm tuổi này.
Điều đáng ngạc nhiên là mô hình Llama 2 LLM không chỉ hoạt động mà còn có thể tạo ra văn bản với tốc độ ổn định. Đây không chỉ là thử nghiệm thú vị mà còn là bước tiến lớn: chứng minh rằng AI có thể hoạt động hiệu quả mà không cần đến các trung tâm dữ liệu lớn hay phần cứng đắt đỏ.
Từ chiếc máy tính cũ đến bước tiến đột phá
EXO Labs, với mục tiêu “dân chủ hóa AI,” cảnh báo rằng việc AI bị các tập đoàn lớn chi phối sẽ ảnh hưởng tiêu cực đến văn hóa, sự thật và các giá trị xã hội. Họ phát triển công cụ để AI có thể sử dụng được ngay cả trên những thiết bị cũ hoặc cấu hình hạn chế.
Thử nghiệm mới nhất của họ là một minh chứng rõ ràng. Bắt đầu từ một chiếc máy tính Windows 98 mua trên eBay, nhóm nghiên cứu đã sử dụng FTP để đưa dữ liệu vào hệ thống này. Sau đó, với sự hỗ trợ từ mã nguồn “llama2.c” của Andrej Karpathy – chuyên gia AI đã từng làm việc tại Tesla và OpenAI – họ biên dịch thành công mô hình Llama 2 bằng Borland C++ 5.02. Kết quả là một mô hình AI hiện đại vận hành mượt mà trên nền tảng lỗi thời.
Hiệu suất vượt xa kỳ vọng
Mặc dù chỉ có một lõi xử lý, mô hình Llama 2 với kích thước 260K vẫn đạt được tốc độ 35,9 từ mỗi giây. Đối với các mô hình lớn hơn như Llama 3.2 1B, tốc độ có giảm, nhưng điều này không làm giảm giá trị của thử nghiệm: AI có thể hoạt động hiệu quả ngay cả trên các hệ thống phần cứng cực kỳ hạn chế.
EXO không chỉ dừng lại ở đây. Họ đang phát triển BitNet, một kiến trúc AI mới hoàn toàn, sử dụng trọng số tam phân để giảm đáng kể yêu cầu về bộ nhớ và hiệu suất phần cứng. EXO cho biết một mô hình BitNet với 7 tỷ tham số chỉ cần 1,38GB dung lượng lưu trữ – nhẹ hơn rất nhiều so với các mô hình hiện nay.
Điều đặc biệt là BitNet ưu tiên chạy trên CPU thay vì GPU, giúp việc triển khai AI trở nên dễ dàng và tiết kiệm hơn. EXO khẳng định BitNet có hiệu suất cao hơn 50% so với các mô hình AI thông thường, với khả năng xử lý 100 tỷ tham số chỉ với một CPU và tốc độ xử lý gần ngang với con người.
EXO Labs không chỉ muốn chứng minh khả năng của công nghệ mà còn muốn thay đổi cách thức AI được tiếp cận và sử dụng. Họ đang mời gọi cộng đồng, từ các nhà phát triển đến những người yêu công nghệ, tham gia vào hành trình này. EXO cũng đã mở một kênh Discord mang tên Retro, nơi mọi người có thể thảo luận về việc chạy AI trên các thiết bị cũ như Gameboy, Raspberry Pi hoặc máy Mac đời đầu.
