Buzz
Mặc dù không mang lại giá trị thực tiễn, dự án vẫn rất hấp dẫn, giúp người dùng hiểu về cách hoạt động của một mô hình ngôn ngữ lớn (LLM).
Xuất hiện của ChatGPT đã làm cho mô hình ngôn ngữ lớn (LLM) trở nên phổ biến hơn bao giờ hết. Ishan Anand, một nhà phát triển phần mềm, đã thành công khi tích hợp GPT-2 - phiên bản tiền nhiệm của ChatGPT được OpenAI ra mắt năm 2019 - vào một bảng tính Microsoft Excel. Công cụ này miễn phí và nhằm mục đích giáo dục về cách hoạt động của LLM.
'Bằng cách sử dụng bảng tính, bất kỳ ai (ngay cả người không phải lập trình viên) đều có thể khám phá và tương tác trực tiếp với cách thức hoạt động của 'bộ chuyển đổi' thực tế bên trong, ít trừu tượng nhất có thể', Anand viết trên trang web chính thức của bảng tính, có tên là 'Spreadsheets-are-all-you-need' (tạm dịch: Chỉ cần bảng tính là đủ). Đây là cách nhắc đến bài nghiên cứu năm 2017 'Attention is All You Need' (tạm dịch: Chỉ cần chú ý là đủ), mô tả lần đầu tiên về kiến trúc Transformer, nền tảng cho hoạt động của LLM.
Anand đã tích hợp GPT-2 vào định dạng tệp nhị phân XLSB của Microsoft Excel. Điều này yêu cầu phiên bản Excel mới nhất để chạy (không hỗ trợ Excel phiên bản web). Công cụ này hoàn toàn 'offline' và không thực hiện bất kỳ kết nối nào đến dịch vụ AI đám mây.
Mặc dù bảng tính chứa một mô hình ngôn ngữ AI hoàn chỉnh, bạn không thể giao tiếp với nó như với ChatGPT. Thay vào đó, người dùng nhập từ vào các ô khác nhau và xem kết quả dự đoán được hiển thị trong các ô khác gần như ngay lập tức.
Hãy nhớ rằng các mô hình ngôn ngữ như GPT-2 được thiết kế để dự đoán ký tự tiếp theo, nghĩa là chúng cố gắng hoàn thành đầu vào (gọi là lời nhắc, được mã hóa thành các khối gọi là token) với văn bản có khả năng xuất hiện cao nhất. Dự đoán có thể là sự tiếp tục của một câu hoặc bất kỳ tác vụ dựa trên văn bản nào khác, chẳng hạn như mã nguồn phần mềm. Các sheet khác nhau trong tệp Excel của Anand cho phép người dùng nắm bắt hoạt động bên trong khi những dự đoán này diễn ra.
'Spreadsheets-are-all-you-need' chỉ hỗ trợ 10 token đầu vào, con số này nhỏ hơn đáng kể so với cửa sổ ngữ cảnh 128.000 token của GPT-4 Turbo, nhưng vẫn đủ để minh họa một số nguyên tắc cơ bản về cách hoạt động của LLM.
Bảng tính của Anand sử dụng phiên bản 'GPT-2 Small' có 124 triệu tham số, khác với phiên bản đầy đủ có 1.5 tỷ tham số của GPT-2. So với 175 tỷ tham số trong GPT-3, phiên bản này có thể không được xếp loại là mô hình ngôn ngữ 'lớn' nếu phát hành ngày nay, nhưng vào năm 2019, GPT-2 được xem là rất tiên tiến.
Bạn có thể tải xuống bảng tính tích hợp GPT-2 trên GitHub, nhưng lưu ý rằng nó có dung lượng khoảng 1,2GB. Vì tính phức tạp, Anand cho biết nó có thể làm treo Excel thường xuyên, đặc biệt là trên máy Mac; ông khuyên bạn nên chạy bảng tính trên Windows. 'Chúng tôi đề xuất sử dụng chế độ tính toán thủ công trong Excel và phiên bản Excel trên Windows.' ông viết trên trang web của mình.
