'Chat with RTX' là một chatbot AI được thiết kế để chạy trên PC Windows trang bị GPU NVIDIA RTX 30 hoặc 40 series, không cần kết nối Internet. Người dùng có thể tùy chỉnh chatbot với nội dung riêng.
NVIDIA mới giới thiệu ứng dụng 'Chat with RTX', một chatbot AI có thể hoạt động offline trên máy tính Windows sử dụng GPU NVIDIA RTX 30 hoặc 40 series. Ứng dụng này cho phép người dùng tùy chỉnh chatbot với nội dung riêng và lưu trữ dữ liệu nhạy cảm trên thiết bị.
'Chat with RTX' hoạt động như một hệ thống cục bộ không cần truy cập Internet và được hỗ trợ trên tất cả các GPU GeForce RTX 30 và 40 có ít nhất 8 GB bộ nhớ video.
Chat with RTX hỗ trợ nhiều định dạng tệp và có thể tải nội dung từ các URL YouTube. Người dùng có thể truy vấn nội dung trong danh sách và tạo tóm tắt, tìm kiếm nhanh trong tài liệu.
Người dùng có thể sử dụng ứng dụng Chat with RTX tương tự như ChatGPT với các truy vấn khác nhau, tuy nhiên kết quả sẽ phụ thuộc vào tập dữ liệu cụ thể.
Sử dụng GPU RTX với hỗ trợ TensorRT-LLM giúp người dùng làm việc với dữ liệu cục bộ mà không cần lưu trữ trên đám mây, mang lại kết quả chính xác và tiết kiệm thời gian. NVIDIA cũng cho biết rằng TensorRT-LLM v0.6.0 sẽ cải thiện hiệu suất lên 5 lần.
Tính năng chính của Chat with RTX:
Xử lý cục bộ: Hoạt động trực tiếp trên PC Windows RTX và máy trạm, đem lại phản hồi nhanh chóng và bảo mật dữ liệu người dùng.
Cá nhân hóa: Người dùng có thể tuỳ chỉnh chatbot theo nội dung của mình, bao gồm cả các tệp văn bản, PDF, DOC/DOCX, XML và video YouTube.
Tạo văn bản tăng cường truy vấn (Retrieval-Augmented Generation): Sử dụng RAG, phần mềm NVIDIA TensorRT-LLM và công nghệ tăng tốc NVIDIA RTX để tạo và cung cấp nội dung phù hợp theo ngữ cảnh.
Ngôn ngữ mô hình lớn mã nguồn mở (LLM): Người dùng có thể lựa chọn hai mô hình LLM mã nguồn mở, Mistral hoặc Llama 2, để huấn luyện chatbot của họ.
Thân thiện với nhà phát triển: Xây dựng từ dự án tham khảo nhà phát triển TensorRT-LLM RAG, có sẵn trên GitHub, cho phép các nhà phát triển phát triển ứng dụng dựa trên RAG của họ.
Yêu cầu và hạn chế:
Yêu cầu phần cứng: Yêu cầu GPU NVIDIA GeForce RTX 30 Series trở lên với ít nhất 8GB VRAM, hệ điều hành Windows 10 hoặc 11 và trình điều khiển GPU NVIDIA mới nhất.
Ứng dụng hiện đang trong giai đoạn demo dành cho các nhà phát triển, do đó khả năng ghi nhớ ngữ cảnh vẫn còn hạn chế và khả năng xác định nguồn không chính xác.