Buzz
Mô hình AI mới nhất của OpenAI cho thấy sự tiến bộ đang chậm lại so với các phiên bản trước, điều này khiến nhiều người trong Thung lũng Silicon bắt đầu đặt câu hỏi liệu chúng ta đã chạm đến đỉnh cao hiệu suất của các mô hình AI.
Theo The Information, OpenAI có thể đang gặp khó khăn trong việc phát triển mô hình AI tiếp theo mang tên "Orion." Mặc dù được kỳ vọng sẽ vượt qua GPT-4, Orion hiện chỉ đạt được những cải tiến nhỏ, đặc biệt trong các tác vụ mã hóa. Các nhân viên thử nghiệm Orion cho biết bước tiến giữa GPT-4 và Orion dường như không ấn tượng như sự thay đổi từ GPT-3 lên GPT-4.
Sự chậm lại này đã khiến nhiều chuyên gia trong ngành AI nghi ngờ về quy luật mở rộng — lý thuyết cho rằng các mô hình AI sẽ tiếp tục trở nên thông minh hơn khi quy mô và dữ liệu được mở rộng. CEO OpenAI, Sam Altman, từng cho rằng "quy luật mở rộng" là yếu tố quan trọng để quyết định sự phát triển của AI. Tuy nhiên, báo cáo của The Information cho thấy ngay cả các kỹ sư OpenAI cũng bắt đầu lo ngại về khả năng vượt qua 'bức tường hiệu suất' mà AI đang gặp phải.
Liệu quy luật mở rộng đã đạt đến giới hạn?
Dữ liệu chất lượng cao và sức mạnh tính toán là hai yếu tố quan trọng giúp cải thiện hiệu suất AI. Tuy nhiên, cả hai đều đang đối mặt với những giới hạn vật lý và thực tế. Nguồn dữ liệu chất lượng cao từ các tài liệu, video và nghiên cứu hiện có đang dần cạn kiệt, và việc sử dụng dữ liệu tổng hợp từ AI tạo ra không phải là giải pháp bền vững. Công ty nghiên cứu Epoch AI dự báo dữ liệu văn bản sẽ cạn kiệt vào năm 2028, tạo ra thách thức lớn cho ngành AI.
Giáo sư Ion Stoica từ Databricks cho rằng AI đang tiến gần đến 'đỉnh hiệu suất' trong các câu hỏi kiến thức chung và cảnh báo rằng dữ liệu thực tế vẫn có giá trị hơn nhiều so với dữ liệu tổng hợp mà AI tạo ra. Sam Altman gần đây cũng thừa nhận OpenAI đang gặp khó khăn trong việc phân bổ tài nguyên tính toán và phải đưa ra những quyết định khó khăn trong việc quản lý nguồn lực.
Sự giảm tốc của hiệu suất - 'Lợi nhuận giảm dần'
Gary Marcus, giáo sư danh dự của Đại học New York, cho rằng lĩnh vực AI đang bước vào giai đoạn 'lợi nhuận giảm dần.' Sau nhiều năm phát triển mạnh mẽ, các mô hình AI hiện chỉ mang lại những cải thiện nhỏ, thay vì những bước tiến lớn như trước. Ông so sánh xu hướng này với sự hội tụ của hiệu suất giữa các mô hình AI, thay vì tiếp tục tăng trưởng theo cấp số nhân.
Ilya Sutskever, đồng sáng lập OpenAI, cũng chỉ ra rằng hiệu quả của việc mở rộng quy mô đang giảm dần. Anh nhấn mạnh rằng hiện nay, việc 'mở rộng quy mô hợp lý' là yếu tố quyết định để tránh đối mặt với giới hạn hiệu suất.
Liệu Orion có mang lại hy vọng cho bước tiến mới?
Mặc dù đang gặp khó khăn, Orion vẫn chưa hoàn thành quá trình đào tạo, và OpenAI vẫn có thể cải thiện hiệu suất thông qua các bước tối ưu hóa hậu đào tạo. Tuy nhiên, tốc độ cải thiện chậm này cho thấy rằng các mô hình AI trong tương lai có thể không đạt được những bước đột phá như kỳ vọng ban đầu.
