Mô hình mã nguồn mở mới vượt trội hơn cả GPT-3 nhằm giải phóng trí tuệ nhân tạo khỏi các phòng lab của Big Tech

Một mô hình ngôn ngữ lớn hơn cả GPT-3 đã xuất hiện với một hoạt động mạnh mẽ: giải phóng trí tuệ nhân tạo khỏi bàn tay của Big Tech.

Được đặt tên là BLOOM, mô hình ngôn ngữ lớn này (LLM) hứa hẹn mang lại hiệu suất tương tự như các hệ thống hàng đầu ở Silicon Valley — nhưng với một cách tiếp cận hoàn toàn khác biệt đối với quyền truy cập.

Trong khi các ông lớn công nghệ thường giữ những LLM đỉnh cao của họ giữ bí mật, BLOOM có sẵn cho bất kỳ ai mà không tốn phí.

Nó cũng đa ngôn ngữ — khác với LaMDA của Google và GPT-3 của OpenAI — một đặc điểm khá bất thường trong lĩnh vực được qu dominación bởi tiếng Anh.

Những tính năng này có thể làm cho việc tiếp cận công nghệ trở nên dân chủ hóa, với ảnh hưởng sâu sắc đối với xã hội.

Các mô hình trí tuệ nhân tạo mạnh mẽ có thể được đào tạo và phát hành một cách mở cửa.

Các Mô hình Ngôn ngữ Lớn (LLM) đang chứng minh khả năng thành thạo ở nhiều nhiệm vụ, bao gồm việc viết bài luận, tạo mã, và dịch ngôn ngữ.

Chúng cũng khéo léo trong việc tạo ra nội dung có hại — và khả năng tương lai của chúng khá khó đoán.

BLOOM mang lại cho các nhà nghiên cứu cơ hội đặc biệt để khám phá những rủi ro và lợi ích của chúng.

“BLOOM là một minh chứng cho thấy những mô hình trí tuệ nhân tạo mạnh mẽ nhất có thể được đào tạo và phát hành bởi cộng đồng nghiên cứu rộng lớn với sự chịu trách nhiệm và một cách thực sự mở cửa, ngược lại với sự bí mật điển hình của các phòng lab nghiên cứu trí tuệ nhân tạo công nghiệp.” nói Teven Le Scao, cộng sự chủ hòa của quá trình đào tạo BLOOM, trong một tuyên bố.

Mở rộng Trí tuệ Nhân tạo

Việc tạo ra và vận hành các Mô hình Ngôn ngữ Lớn (LLMs) rất tốn kém. Việc đào tạo GPT-3, ví dụ, được ước tính có thể chi phí lên đến 27.6 triệu đô la.

Không thể tránh khỏi, các công ty công nghệ muốn bảo vệ những đầu tư lớn như vậy — đặc biệt là khi chúng cung cấp lợi thế cạnh tranh.

Vì vậy, không ngạc nhiên khi LLMs hiếm khi được công bố công khai — với một số ngoại lệ đáng chú ý.

Meta đã tạo ra điểm ngoại lệ nổi bật nhất. Tháng 5, công ty cung cấp quyền truy cập vào hệ thống OPT với 175 tỷ tham số.

Tuy nhiên, mô hình đầy đủ chỉ có sẵn khi được yêu cầu và sử dụng cho mục đích không thương mại.

BLOOM nâng cao sự tiếp cận.

Mô hình có 176 tỷ tham số này được cung cấp miễn phí cho bất kỳ cá nhân hoặc tổ chức nào đồng ý với Bản quyền Trí tuệ Nhân tạo trách nhiệm.

Bất kỳ ai cũng có thể xem công khai ghi chú cuộc họp, thảo luận và mã nguồn sau mô hình.

Những hạt giống của BLOOM

BLOOM được tạo ra bởi BigScience, một dự án nghiên cứu bắt đầu vào đầu năm 2021. Sáng lập và dẫn dắt bởi startup Trí tuệ Nhân tạo Hugging Face.

“Các mô hình ML lớn đã thay đổi thế giới nghiên cứu AI trong hai năm qua nhưng chi phí tính toán lớn cần thiết để đào tạo chúng dẫn đến rất ít đội tìm kiếm thực sự có khả năng đào tạo và nghiên cứu chúng,” nói Thomas Wolf, đồng chủ nhiệm BigScience và đồng sáng lập Hugging Face.

Bộ dữ liệu đào tạo được điều chỉnh với giá trị của chúng tôi.

Đội ngũ hơn 1.000 nghiên cứu viên từ hơn 60 quốc gia và 250 tổ chức phát triển BLOOM để thúc đẩy sự bao gồm và trách nhiệm trong các mô hình ngôn ngữ lớn.

Họ đào tạo mô hình trên máy tính siêu vi mạnh Jean Zay tại Paris, Pháp.

“Chúng tôi áp dụng phương pháp dữ liệu đầu tiên để đảm bảo bộ dữ liệu đào tạo được điều chỉnh với giá trị của chúng tôi,” nói Christopher Akiki, một nghiên cứu viên của BigScience tại Đại học Leipzig.

“Sự đa ngành và quốc tế của BigScience cho phép chúng tôi đánh giá mọi bước của quá trình từ nhiều góc độ: đạo đức, pháp lý, môi trường, ngôn ngữ và kỹ thuật.

“Điều đó có nghĩa là chúng tôi có thể giảm thiểu mối lo ngại đạo đức mà không làm ảnh hưởng đến hiệu suất hoặc quy mô.”

Kích thước chắc chắn là ấn tượng. Với 176 tỷ tham số, BLOOM lớn hơn cả GPT-3 của OpenAI và OPT của MetaAI. 

Mô hình có thể tạo văn bản trong 46 ngôn ngữ và tiếng địa phương và 13 ngôn ngữ lập trình. Đối với nhiều ngôn ngữ, đây là mô hình ngôn ngữ đầu tiên có hơn 100 tỷ tham số.

Nó cũng có giá phải chăng. BigScience cho biết nghiên cứu viên có thể sử dụng BLOOM với giá dưới $40/giờ trên một nhà cung cấp đám mây.

Mô hình không khả năng cạnh tranh với những mô hình của Big Tech — nhưng ít nhất nó cung cấp một cách để kiểm tra chúng.