Insider tại Apple: Bí quyết triển khai mô hình ngôn ngữ trên chip iPhone

Buzz

Đọc tóm tắt

- Vận hành mô hình ngôn ngữ (LLM) và thuật toán AI liên quan đến tốc độ xử lý và dung lượng bộ nhớ.
- Thiết bị điện tử tiêu dùng thường không đủ sức mạnh để xử lý mô hình ngôn ngữ lớn.
- Apple công bố phương pháp vận hành mô hình ngôn ngữ trên thiết bị có giới hạn về dung lượng bộ nhớ.
- Giải pháp lưu trữ tạm thời mô hình vào bộ nhớ flash giúp tối ưu hóa quy trình xử lý.
- Kỹ thuật Windowing và Row-Column Bundling giúp tăng tốc độ xử lý mô hình AI.
- Apple phát triển mô hình ngôn ngữ Ajax để cạnh tranh với GPT-3 và GPT-4.
- Các tính năng dựa trên mô hình ngôn ngữ sẽ xuất hiện trên iPhone và iPad vào cuối năm 2024.

Với việc vận hành mô hình ngôn ngữ (LLM) và thuật toán AI, không chỉ là vấn đề của tốc độ xử lý số thực dấu phẩy động, theo đơn vị tera hoặc thậm chí là exaflop của chip xử lý. Điều này còn liên quan đến dung lượng và băng thông của bộ nhớ để xử lý hàng trăm triệu tham số, tạo nội dung cho người dùng. Điều này giải thích tại sao các thiết bị điện tử tiêu dùng thường không đủ sức mạnh để xử lý những thuật toán hay mô hình ngôn ngữ lớn, và hầu hết các dịch vụ chạy trên data center, gửi kết quả về thiết bị cuối cùng.

Nhóm kỹ sư và nhà nghiên cứu tại Apple vừa công bố phương pháp vận hành mô hình ngôn ngữ trên các thiết bị có giới hạn về dung lượng bộ nhớ, chẳng hạn như iPhone. Giải pháp độc đáo này có thể được mô tả như một bước tiến đột phá. Thay vì tải toàn bộ mô hình vào bộ nhớ RAM của chip xử lý, Apple đã phát triển cách lưu trữ tạm thời mô hình vào bộ nhớ flash được sử dụng để lưu trữ của thiết bị. Sau đó, họ tối ưu hóa quy trình này để chip Neural Engine có thể hiệu quả xử lý thuật toán.

Công trình nghiên cứu mang tên: “LLM và Bộ nhớ Flash: Hiệu quả Mô hình Ngôn ngữ với Bộ nhớ Giới Hạn.” là thành quả của nhóm nghiên cứu mà Apple vừa công bố. Theo các tác giả, dung lượng bộ nhớ flash trong điện thoại và máy tính luôn lớn hơn bộ nhớ RAM được sử dụng để truyền dữ liệu vào chip xử lý. Giải pháp đề xuất vượt qua hai hạn chế của kỹ thuật xử lý hiện tại, giảm lượng dữ liệu chuyển đổi và tối ưu băng thông bộ nhớ flash qua hai bước:

Windowing: Kỹ thuật này giống như việc “tái chế” dữ liệu. Thay vì mỗi lần chạy LLM thiết bị tải dữ liệu mới, mô hình AI sẽ tái sử dụng một phần dữ liệu đã được xử lý trước đó. Điều này giảm tần suất truyền dữ liệu vào bộ nhớ, giúp quá trình xử lý trở nên nhanh chóng và mượt mà hơn.
Row-Column Bundling: Kỹ thuật này có thể được miêu tả như việc đọc nhanh từng phần của một cuốn sách thay vì từng từ từng chữ. Nó gom dữ liệu để xử lý một cách hiệu quả, giúp đọc nhanh hơn từ bộ nhớ flash của thiết bị, tăng tốc độ hiểu và tạo ra câu trả lời của mô hình ngôn ngữ AI.

Kết hợp cả hai kỹ thuật, mô hình AI có thể có dung lượng gấp đôi RAM của một chiếc iPhone, theo báo cáo nghiên cứu khoa học. Điều này có nghĩa là nếu chạy mô hình ngôn ngữ trên CPU, tốc độ sẽ nhanh hơn từ 4 đến 5 lần. Và nếu chạy trên GPU với nhiều nhân tính toán số thực dấu phẩy động, tốc độ sẽ nhanh hơn từ 20 đến 25 lần. So sánh này là với việc tải toàn bộ dữ liệu mô hình ngôn ngữ vào RAM rồi để SoC xử lý.

Nhóm nghiên cứu tại Apple chia sẻ: “Bước tiến này đầy quan trọng để vận hành các mô hình ngôn ngữ cao cấp trên các thiết bị có hạn chế về phần cứng, mở rộng hiệu suất và khả năng áp dụng của giải pháp AI.”

Về ứng dụng, nghiên cứu mới mở ra cơ hội để làm cho Siri thông minh hơn, có khả năng cung cấp câu trả lời chi tiết cho các vấn đề hoặc hỗ trợ dịch thuật theo thời gian thực dựa trên khả năng nhận diện ngôn ngữ của mô hình AI. Thậm chí, triển khai chatbot trực tiếp trên iPhone cũng trở nên khả thi. Có thông tin đồn đoán rằng Apple đang phát triển chatbot.

Tháng 2 năm 2023, Apple tổ chức hội thảo AI nội bộ và thông báo rằng họ đang phát triển mô hình ngôn ngữ lớn. Theo Bloomberg, Apple đang hướng tới một phiên bản Siri thông minh hơn, tích hợp chặt chẽ với mô hình AI. Điều này giúp Siri tương tác với nhiều ứng dụng, bao gồm cả ứng dụng nhắn tin, chẳng hạn như hỗ trợ tự động hoàn thành các đoạn văn. Đồng thời, Apple cũng có kế hoạch tích hợp AI vào mọi dịch vụ họ cung cấp.

Theo các nguồn tin không chính thức, mô hình do Apple phát triển được đặt tên mã là Ajax. Nó được thiết kế để cạnh tranh trực tiếp với những giải pháp như Claude hay GPT-3, với sức mạnh đến từ 200 tỷ tham số, đủ để nhận diện và tạo ra nội dung ngôn ngữ phức tạp.

Hiện tại, theo đồn đại, Ajax của Apple có khả năng tạo nội dung và nhận diện ngôn ngữ vượt trội so với các phiên bản đầu tiên của GPT-3.5 từ OpenAI. Tuy nhiên, đến tháng 9/2023, sức mạnh của GPT-3.5 và GPT-4 đã vượt xa khả năng của Ajax. Theo thông tin từ The Information, cuối năm 2024, các tính năng dựa trên mô hình ngôn ngữ sẽ xuất hiện trên iPhone và iPad, đồng thời với sự ra mắt của iOS 18. Với cơ sở hạ tầng server AI của Apple, giải pháp dựa trên mô hình ngôn ngữ sẽ chạy cả trên data center và trên các thiết bị người dùng.

Theo MacRumors

Nội dung được phát triển bởi đội ngũ Mytour với mục đích chăm sóc khách hàng và chỉ dành cho khích lệ tinh thần trải nghiệm du lịch, chúng tôi không chịu trách nhiệm và không đưa ra lời khuyên cho mục đích khác.

Nếu bạn thấy bài viết này không phù hợp hoặc sai sót xin vui lòng liên hệ với chúng tôi qua email [email protected]

Các câu hỏi thường gặp

Apple đã phát triển công nghệ gì để vận hành mô hình ngôn ngữ trên thiết bị hạn chế bộ nhớ?

Apple đã phát triển một giải pháp tối ưu để vận hành mô hình ngôn ngữ trên thiết bị có bộ nhớ hạn chế. Thay vì tải toàn bộ mô hình vào RAM, họ sử dụng bộ nhớ flash và tối ưu hóa quy trình này, giúp tăng hiệu suất xử lý mà không cần nâng cấp phần cứng.

Kỹ thuật Windowing của Apple trong nghiên cứu LLM có tác dụng gì?

Kỹ thuật Windowing giúp tái sử dụng dữ liệu đã xử lý trước đó, giảm tần suất truyền tải dữ liệu mới vào bộ nhớ. Điều này giúp tối ưu hóa tốc độ xử lý và băng thông bộ nhớ, mang lại hiệu quả nhanh chóng và mượt mà hơn.

Công nghệ Row-Column Bundling của Apple giúp cải thiện hiệu suất như thế nào?

Row-Column Bundling gom dữ liệu để xử lý nhanh hơn, giống như việc đọc nhanh các phần của một cuốn sách. Kỹ thuật này giúp tăng tốc độ đọc từ bộ nhớ flash và cải thiện tốc độ xử lý của mô hình ngôn ngữ AI trên các thiết bị.

Lợi ích của mô hình ngôn ngữ AI trên iPhone là gì?

Mô hình ngôn ngữ AI giúp nâng cao hiệu suất và khả năng xử lý của iPhone. Nó mở ra cơ hội cải thiện Siri, hỗ trợ dịch thuật thời gian thực, và thậm chí cho phép triển khai chatbot trực tiếp trên iPhone.

Apple đang phát triển chatbot tích hợp AI cho iPhone không?

Có, Apple đang phát triển một chatbot tích hợp AI cho iPhone. Được cho là sử dụng mô hình ngôn ngữ Ajax, nó hứa hẹn cải thiện khả năng tạo nội dung và nhận diện ngôn ngữ, mang đến trải nghiệm tương tác tốt hơn cho người dùng.