Buzz
NVIDIA TensorRT-LLM là gì?
NVIDIA TensorRT-LLM là thư viện mã nguồn mở giúp tăng cường và tối ưu hiệu suất suy luận của các mô hình ngôn ngữ lớn (LLM) mới nhất trên nền tảng NVIDIA AI. Nó cho phép các nhà phát triển thử nghiệm LLM mới, mang lại hiệu suất cao và tùy chỉnh nhanh chóng mà không cần kiến thức sâu về C++ hoặc CUDA.
NVIDIA TensorRT-LLM
Quan trọng hơn, tích hợp vào Windows 11 và hỗ trợ cả người dùng thông thường để tận dụng sức mạnh của GPU NVIDIA RTX trong việc thực hiện các tác vụ AI. Chẳng hạn, khi sử dụng
Stable Diffusion, Llama 2... thì quá trình xử lý diễn ra ngay trên thiết bị, không cần gửi lên đám mây, giúp đảm bảo kết quả nhanh chóng và chính xác với NVIDIA TensorRT-LLM và một GPU RTX mạnh mẽ.Các thiết bị hỗ trợ NVIDIA TensorRT-LLM
NVIDIA xác nhận rằng khả năng tăng tốc TensorRT-LLM sẽ có sẵn cho tất cả máy tính để bàn và laptop trang bị GPU RTX có VRAM từ 8GB trở lên. Ngoài TensorRT-LLM, NVIDIA và Microsoft cũng đang đưa ra cải tiến DirectML để thúc đẩy các mô hình AI phổ biến như Stable Diffusion và Llama 2.
NVIDIA TensorRT-LLM yêu cầu GPU RTX có VRAM từ 8GB trở lênĐiều này có nghĩa là nếu bạn sử dụng máy tính hoặc laptop được trang bị bộ xử lý đồ họa NVIDIA RTX 8GB trở lên, bạn sẽ trải nghiệm tính năng mới giúp giảm đáng kể thời gian xử lý các tác vụ AI.
Ưu điểm của NVIDIA TensorRT
NVIDIA khẳng định tăng hiệu suất lên gấp 5 lần với TensorRT-LLM phiên bản 0.6.0 sẽ được ra mắt vào cuối tháng này.Bản cập nhật quan trọng khác sẽ sớm được phát hành cho OpenAI với nhiều ứng dụng như hỗ trợ văn bản, email, tóm tắt nội dung web, và phân tích dữ liệu.Hiện nay, để xử lý các tác vụ này, người dùng phải tải dữ liệu lên máy chủ, đợi máy chủ xử lý và nhận kết quả trả về.Với các dữ liệu nhạy cảm hoặc có dung lượng lớn, quy trình này mất nhiều thời gian.
Để giải quyết vấn đề này, NVIDIA và Microsoft sẽ cung cấp giao diện API cho ChatAPI của OpenAI thông qua một quy trình mới, giúp tăng tốc TensorRT-LLM trên PC Windows để xử lý yêu cầu mà không cần đến đám mây. Các nhà phát triển công cụ AI như OpenAI chỉ cần điều chỉnh một chút để sử dụng quy trình mới này.
Ưu điểm của NVIDIA TensorRTQuy trình này cũng sẽ hoạt động với hầu hết các mô hình ngôn ngữ lớn (LLM) đã được tối ưu hóa cho TensorRT-LLM. Một số ví dụ bao gồm Llama 2, Mistral, NV LLM và nhiều mô hình khác sẽ được thêm vào sớm. Điều này chứng tỏ NVIDIA không chỉ muốn tăng tốc AI cho doanh nghiệp mà còn dành cho người dùng thông thường. Rõ ràng, NVIDIA đã chuẩn bị cho điều này từ lâu vì các GPU RTX đã có từ lâu nhưng mới bắt đầu được sử dụng để thực hiện các tác vụ AI liên quan đến LLM.
Việc NVIDIA cung cấp các tính năng
tăng tốc AI và xử lý các nhiệm vụ AI mạnh mẽ trên máy tính cá nhân của người dùng cũng là minh chứng cho tầm nhìn và tham vọng lớn của công ty. Với tất cả những thành tựu đã và đang đạt được, có thể chắc chắn rằng NVIDIA sẽ tiếp tục là đội ngũ dẫn đầu trong lĩnh vực AI.NVIDIA x Microsoft: Nhiều điều đáng kỳ vọng
Cortana - trợ lý ảo của Microsoft không nhận được sự ưa chuộng từ người dùng, thậm chí có phần bị lạc lõng trong hệ sinh thái Windows. Tuy nhiên, với sự hợp tác giữa NVIDIA và Microsoft, chúng ta có thể kỳ vọng đến sự xuất hiện của một trợ lý ảo thông minh, hữu ích hơn nhiều so với những điều chúng ta có thể tưởng tượng.
Hiện nay, Microsoft đã mua lại OpenAI - công ty sở hữu công nghệ đã tạo nên sức nóng trong cộng đồng toàn cầu chỉ trong một khoảng thời gian ngắn. Đồng thời, NVIDIA đang nắm giữ các công nghệ phần cứng và giải pháp phần mềm tiên tiến cho lĩnh vực trí tuệ nhân tạo. Các sản phẩm phần cứng của NVIDIA cũng được sử dụng rộng rãi cả trong cộng đồng người dùng cá nhân và các doanh nghiệp lớn.
NVIDIA x Microsoft: Nhiều điều đáng mong đợi
Việc Microsoft khai thác sức mạnh xử lý AI từ cả phần cứng và giải pháp phần mềm của NVIDIA như
TensorRT-LLM sẽ chắc chắn đem lại những bước tiến lớn trong các tính năng AI trên hệ điều hành Windows - hệ điều hành máy tính phổ biến nhất hiện nay.Bên cạnh NVIDIA, các nhà sản xuất khác cũng đang đua nhau trong lĩnh vực AI. AMD gần đây đã tham gia cuộc đua với loạt sản phẩm xử lý AI chuyên dụng cho máy chủ. Đặc biệt, AMD tích hợp cả đơn vị xử lý AI chuyên dụng trên dòng chip AMD Ryzen 7040. Intel cũng sẽ sớm thực hiện điều tương tự. Trong khi đó, đang phát triển mô hình ngôn ngữ lớn (LLM) riêng, và không lâu nữa, nó cũng sẽ tích hợp vào Siri.
Với sự cạnh tranh khốc liệt trong cuộc đua AI sắp tới, AI không còn là một khái niệm mơ hồ như những hình ảnh quảng cáo 'chụp đêm AI' hiện nay. Trong thời gian ngắn tới, máy tính và điện thoại sẽ tích hợp những công nghệ AI thực sự có khả năng tương tác, mang lại những đột phá trong trải nghiệm người dùng.
Và có lẽ, tất cả những điều này sẽ trở thành hiện thực trong vài năm tới, không cần phải chờ đợi quá lâu nữa!
Khám phá thêm:- Google Bard thừa nhận 'sợ' trước siêu AI của Elon Musk
- Bài viết chuyên mục Thị trường
