Buzz
VTV.vn - Mặc dù số tiền 35.000 USD không phải là nhỏ, nhưng nhiều cư dân mạng lại cho rằng đây là mức giá rất hợp lý để có thể sở hữu một chatbot AI độc quyền.
Cộng đồng công nghệ đang dậy sóng khi hay tin một công ty luật tầm trung đã chi gần một tỷ đồng (35.000 USD) để thuê một lập trình viên tạo ra hệ thống AI riêng biệt. Điều thú vị là thay vì chỉ trích về mức chi này, phần lớn người dùng đều cho rằng số tiền bỏ ra hoàn toàn hợp lý, thậm chí là 'quá rẻ'.
Câu chuyện bắt đầu khi một lập trình viên có tên u/eeko_systems chia sẻ trên Reddit về thương vụ lớn nhất trong sự nghiệp của mình. Thay vì sử dụng các dịch vụ AI như hay Claude, công ty luật này đã quyết định tự xây dựng một 'pháo đài AI' độc lập, không phụ thuộc vào bất kỳ nhà cung cấp nào.
Hệ thống được xây dựng trên nền tảng mô hình LLaMA 3 70B của Meta, sử dụng cấu hình dual A100 GPUs mạnh mẽ nhất hiện nay dành cho AI, triển khai trên CoreWeave. Đặc biệt, toàn bộ dữ liệu và quá trình xử lý đều diễn ra trong môi trường kiểm soát chặt chẽ của công ty luật, đảm bảo không có thông tin nào rời khỏi hệ thống của họ.
Để hiểu rõ hơn về tính phức tạp của hệ thống này, hãy tưởng tượng một 'siêu trợ lý' có khả năng đọc hàng nghìn trang tài liệu pháp lý chỉ trong vài giây, trả lời các câu hỏi pháp lý khó nhằn, tóm tắt các vụ kiện, và thậm chí phân tích hợp đồng chi tiết. Mọi công việc đều có thể thực hiện qua một giao diện web đơn giản, dễ sử dụng cho bất kỳ luật sư nào trong công ty.
Hệ thống này hoạt động dựa trên một sự kết hợp tinh tế giữa các công nghệ. ChromaDB đóng vai trò là 'thư viện số', chuyển đổi tất cả tài liệu thành dạng dữ liệu mà AI có thể xử lý. LlamaIndex là 'trợ lý thông minh', giúp AI tìm kiếm và rút ra thông tin chính xác từ khối tài liệu đồ sộ. Còn n8n đóng vai trò 'điều phối viên', tự động hóa mọi quy trình từ việc tải tài liệu mới lên hệ thống đến gửi thông báo qua Slack và email.
Công ty đã chọn mô hình AI mã nguồn mở Llama 3 phiên bản 70B của Meta để triển khai cho hệ thống của mình.
Điều khiến cộng đồng công nghệ ấn tượng không chỉ là tính năng mà còn ở mức độ bảo mật của hệ thống. Với xác thực JWT, kiểm soát truy cập theo IP và ghi nhận mọi hoạt động, hệ thống đáp ứng đầy đủ yêu cầu của ngành luật, nơi mà việc rò rỉ thông tin có thể gây hậu quả nghiêm trọng về mặt pháp lý.
Vậy tại sao mức giá 35.000 USD lại được coi là 'rẻ' cho một hệ thống như vậy? Câu trả lời nằm ở chi phí vận hành. Việc thuê dual A100 GPUs trên CoreWeave có thể ngốn từ 6.000 đến 8.000 USD mỗi tháng, nghĩa là chi phí cơ sở hạ tầng trong một năm lên tới 72.000 đến 96.000 USD. Mức 35.000 USD chỉ tương đương 4-5 tháng chi phí vận hành mà thôi.
Hơn nữa, nếu công ty luật tự xây dựng đội ngũ AI nội bộ, họ sẽ phải chi ít nhất 400.000 USD mỗi năm cho các chuyên gia AI, DevOps và bảo mật, chưa kể thời gian và rủi ro trong quá trình phát triển. Các giải pháp enterprise từ các 'ông lớn' như Microsoft hay Google có giá từ 100.000 đến 500.000 USD, nhưng lại phụ thuộc vào API bên thứ ba - điều mà nhiều công ty luật không thể chấp nhận.
Mô hình AI DeepSeek R1-0528 mới có thể làm tăng hiệu quả chi phí khi triển khai các chatbot AI riêng cho từng công ty.
Điều thú vị là ngay khi câu chuyện này đang thu hút sự chú ý, một sự kiện quan trọng khác lại xảy ra. DeepSeek, một startup AI từ Trung Quốc, vừa giới thiệu phiên bản 'thu nhỏ' của mô hình R1, có thể chạy trên chỉ một GPU thay vì hàng chục GPU như trước đây. Điều này có nghĩa là chi phí triển khai hệ thống AI tương tự có thể giảm xuống còn 18.000 đến 22.000 USD, trong khi chi phí vận hành hàng năm chỉ còn từ 24.000 đến 36.000 USD.
Mô hình DeepSeek R1 thu gọn không chỉ tiết kiệm chi phí mà còn thể hiện hiệu suất vượt trội, vượt qua Google Gemini 2.5 Flash trong các bài kiểm tra toán học và gần đạt kết quả tương đương với Microsoft Phi 4 trong các bài kiểm tra khác. Đặc biệt, tỷ lệ 'ảo giác' - khi AI cung cấp thông tin sai lệch - đã giảm tới 45-50% so với phiên bản trước đó.
Tuy vậy, sự xuất hiện của DeepSeek cũng đặt ra nhiều câu hỏi về tương lai. Liệu công nghệ đến từ một startup Trung Quốc có đủ đáp ứng các yêu cầu pháp lý của các công ty luật tại Mỹ? Hiệu suất của mô hình nhỏ gọn này liệu có thể xử lý được những tác vụ pháp lý phức tạp hay không? Đây chính là những vấn đề mà các công ty luật cần phải xem xét kỹ lưỡng.
Điều thú vị là trong khi nhiều ngành nghề khác vẫn còn ngần ngại trong việc áp dụng AI, các công ty luật lại tỏ ra rất quyết đoán. Có lẽ vì trong ngành này, thời gian thực sự là tiền bạc. Một AI có thể phân tích hàng nghìn trang tài liệu chỉ trong vài phút thay vì vài tuần có thể mang lại lợi nhuận khổng lồ cho công ty.
