Buzz
PaLM 2, mô hình ngôn ngữ lớn mới được nâng cấp, là phản ứng mới nhất của Google đối với Microsoft.
Tại hội nghị nhà phát triển I/O của mình, Google mới ra mắt PaLM 2, mô hình ngôn ngữ lớn (LLM) mới nhất của mình. PaLM 2 sẽ cung cấp năng lượng cho công cụ trò chuyện Bard và một số dịch vụ khác của Google.
Bard đã được nâng cấp để đối đầu với ChatGPT của OpenAI và hoạt động như mô hình cơ sở cho hầu hết các tính năng AI mới mà công ty sẽ công bố hôm nay. PaLM 2 hiện đã có sẵn cho các nhà phát triển thông qua API PaLM của Google, Firebase và trên Colab.
Tương tự như OpenAI, Google không tiết lộ bất kỳ thông tin kỹ thuật nào về quá trình đào tạo mô hình thế hệ tiếp theo của mình. Thông tin duy nhất mà Google công bố là PaLM 2 được xây dựng trên framework học máy JAX và sử dụng TPU v4 mới nhất của Google.
PaLM 2 hiện cũng tích hợp các tính năng hỗ trợ viết và gỡ lỗi code. Mô hình này được xây dựng trên nền tảng Codey, một nền tảng giúp các nhà phát triển có câu trả lời về API và hỗ trợ triển khai mã code. Google cũng nhấn mạnh rằng PaLM 2 được đào tạo để hiểu hơn 100 ngôn ngữ và 20 ngôn ngữ lập trình, bao gồm những ngôn ngữ phổ biến như JavaScript và Python, cũng như Prolog, Verilog và Potran.
Ngoài việc ra mắt PaLM 2 tại sự kiện I/O, Google cũng công bố một loạt các mô hình AI khác bao gồm: Med-PaLM 2 - một mô hình AI tập trung vào lĩnh vực y tế; Sec-PaLM 2 - một phiên bản tập trung vào bảo mật; cuối cùng là PaLM 2 phiên bản dành cho di động, hỗ trợ trên các thiết bị di động.
Google cho biết có khoảng 25 sản phẩm đã triển khai PaLM 2 như YouTube, Gmail, Google Docs, Google Slides, ...
Giống như các mô hình ngôn ngữ khác được ra mắt, PaLM 2 vẫn đang trong giai đoạn thử nghiệm và chịu rủi ro từ các phản hồi độc hại bằng nhiều ngôn ngữ.
Theo Google, dù các nhà nghiên cứu làm sạch dữ liệu đào tạo LLM đến mức nào đi nữa, vẫn có những yêu cầu độc hại có thể lọt qua kiểm duyệt. Giai đoạn tiếp theo là tiếp tục đào tạo PaLM 2 để giám sát độ độc hại.
Google cũng sẽ bắt đầu làm việc trên mô hình tiếp theo của mình để đem lại đổi mới trong tương lai. Được gọi là Gemini, công ty cho biết mô hình này bắt đầu triển khai các khả năng đa phương thức chưa từng xuất hiện ở các phiên bản trước đó. Tương tự như PaLM 2, Gemini sẽ có nhiều kích thước và tính năng khác nhau để sử dụng trên các sản phẩm, ứng dụng và thiết bị khác nhau.
