Trí tuệ nhân tạo thông minh hiện nay đi kèm với một mức giá lớn

Calvin Qi, người làm việc tại một startup tìm kiếm có tên là Glean, muốn sử dụng các thuật toán trí tuệ nhân tạo mới nhất để cải thiện sản phẩm của công ty.

Glean cung cấp các công cụ để tìm kiếm qua các ứng dụng như Gmail, Slack và Salesforce. Qi nói rằng các kỹ thuật trí tuệ nhân tạo mới cho việc phân tích ngôn ngữ sẽ giúp khách hàng của Glean khám phá tập tin hoặc cuộc trò chuyện đúng đắn một cách nhanh chóng hơn.

Nhưng việc huấn luyện một thuật toán trí tuệ nhân tạo hiện đại như vậy có giá vài triệu đô la. Vì vậy, Glean sử dụng các mô hình trí tuệ nhân tạo nhỏ hơn, ít có khả năng, không thể trích xuất nhiều ý nghĩa từ văn bản.

"Đối với những nơi nhỏ có ngân sách nhỏ, khó có thể đạt được cùng mức kết quả" như các công ty như Google hay Amazon, Qi nói. Các mô hình trí tuệ nhân tạo mạnh mẽ nhất là "không thể nghĩ đến," ông nói.

Trí tuệ nhân tạo đã tạo ra những đột phá thú vị trong thập kỷ qua—các chương trình có thể đánh bại con người trong những trò chơi phức tạp, lái xe qua những con đường thành phố trong điều kiện cụ thể, phản ứng với các lệnh nói, và viết văn bản có logic dựa trên một gợi ý ngắn. Viết, đặc biệt, phụ thuộc vào những tiến bộ gần đây trong khả năng phân tích và xử lý ngôn ngữ của máy tính.

Những tiến bộ đó chủ yếu là kết quả của việc cung cấp cho các thuật toán nhiều văn bản hơn làm ví dụ để học, và cung cấp thêm chip để tiêu thụ nó. Và điều đó tốn kém.

Hãy xem mô hình ngôn ngữ GPT-3 của OpenAI, một mạng thần kinh mô phỏng lớn được tính toán toán học được cung cấp nhiều văn bản lấy từ web. GPT-3 có thể tìm ra các mô hình thống kê dự đoán, với sự mạch lạc đáng kể, từ những từ nào sẽ theo sau những từ khác. Ngay từ khi mới xuất xưởng, GPT-3 đáng kể tốt hơn so với các mô hình trí tuệ nhân tạo trước đây ở các nhiệm vụ như trả lời câu hỏi, tóm tắt văn bản và sửa lỗi ngữ pháp. Theo một đánh giá, nó mạnh mẽ hơn người tiền nhiệm của nó, GPT-2, khoảng 1,000 lần. Nhưng việc huấn luyện GPT-3 đã tốn kém, theo một số ước lượng, gần 5 triệu đô la.

“Nếu GPT-3 dễ tiếp cận và giá rẻ, nó sẽ làm cho công cụ tìm kiếm của chúng tôi trở nên cực kỳ mạnh mẽ,” Qi nói. “Điều đó sẽ thực sự, thực sự mạnh mẽ.”

Chi phí ngày càng tăng khi huấn luyện trí tuệ nhân tạo tiên tiến cũng là một vấn đề đối với các công ty đã thành lập đang tìm cách xâ dựng khả năng trí tuệ nhân tạo của họ.

Dan McCreary dẫn đầu một nhóm trong một bộ phận của Optum, một công ty Công nghệ thông tin y tế, sử dụng các mô hình ngôn ngữ để phân tích bản ghi cuộc gọi để xác định bệnh nhân có nguy cơ cao hơn hoặc đề xuất giới thiệu. Anh ta nói rằng ngay cả việc huấn luyện một mô hình ngôn ngữ nhỏ hơn một nghìn lần so với GPT-3 có thể nhanh chóng tiêu tốn ngân sách của nhóm. Mô hình cần được huấn luyện cho các nhiệm vụ cụ thể và có thể chi phí hơn 50,000 đô la, được thanh toán cho các công ty máy tính đám mây để thuê máy tính và chương trình của họ.

McCreary nói rằng các nhà cung cấp máy tính đám mây hiếm khi có lý do để giảm chi phí. “Chúng ta không thể tin rằng những nhà cung cấp máy tính đám mây đang cố gắng giảm chi phí cho việc xây dựng mô hình trí tuệ nhân tạo của chúng ta,” ông nói. Ông đang tìm cách mua các vi chip chuyên dụng được thiết kế để tăng tốc quá trình huấn luyện trí tuệ nhân tạo.

Một phần của lý do tại sao trí tuệ nhân tạo đã tiến triển nhanh chóng gần đây là vì nhiều phòng thí nghiệm học thuật và các startup có thể tải xuống và sử dụng những ý tưởng và kỹ thuật mới nhất. Thuật toán đã tạo ra đột phá trong xử lý hình ảnh, ví dụ, xuất phát từ các phòng thí nghiệm học thuật và được phát triển bằng cách sử dụng phần cứng sẵn có và tập dữ liệu được chia sẻ mở cửa.

Tuy nhiên, theo thời gian, đã trở nên rõ ràng hơn rằng sự tiến bộ trong trí tuệ nhân tạo liên quan đến một sự tăng cường mũi tên xuất phát từ sức mạnh máy tính cơ bản.

Các công ty lớn, tất nhiên, luôn có những ưu điểm về ngân sách, quy mô và tầm vóc. Và lượng lớn sức mạnh máy tính là một trong những bước chân cơ bản trong các ngành như khám phá thuốc.

Bây giờ, một số người đang đẩy mạnh để mở rộng quy mô lớn hơn nữa. Microsoft cho biết tuần này, cùng với Nvidia, họ đã xây dựng một mô hình ngôn ngữ lớn hơn gấp đôi GPT-3. Các nhà nghiên cứu tại Trung Quốc cho biết họ đã xây dựng một mô hình ngôn ngữ lớn hơn bốn lần so với đó.

“Chi phí để huấn luyện trí tuệ nhân tạo đang tăng lên đáng kể,” nói David Kanter, giám đốc điều hành của MLCommons, một tổ chức theo dõi hiệu suất của vi xử lý được thiết kế cho trí tuệ nhân tạo. Ý tưởng rằng các mô hình lớn hơn có thể mở khóa khả năng mới có giá trị có thể thấy trong nhiều lĩnh vực của ngành công nghiệp công nghệ, ông nói. Điều này có thể giải thích tại sao Tesla đang thiết kế chip riêng chỉ để huấn luyện mô hình trí tuệ nhân tạo cho lái xe tự động.

Có người lo lắng rằng chi phí ngày càng tăng để sử dụng công nghệ mới nhất và tốt nhất có thể làm chậm lại tốc độ đổi mới bằng cách dành nó cho những công ty lớn nhất và những người thuê các công cụ của họ.

“Tôi nghĩ điều này thực sự làm giảm đột phá,” nói Chris Manning, một giáo sư tại Đại học Stanford chuyên sâu về trí tuệ nhân tạo và ngôn ngữ. “Khi chúng ta chỉ có một số nơi mà mọi người có thể thăm dò các cấu trúc bên trong của những mô hình có quy mô đó, điều đó phải làm giảm đáng kể lượng khám phá sáng tạo diễn ra.”

Manning nói rằng mười năm trước, phòng thí nghiệm của ông có đủ tài nguyên máy tính để thăm dò bất kỳ dự án nào. “Một sinh viên nghiên cứu tiến sĩ làm việc chăm chỉ có thể tạo ra công việc đạt tới trạng thái nghệ thuật,” ông nói. “Có vẻ như cửa sổ đó bây giờ đã đóng lại.”

Đồng thời, chi phí ngày càng tăng đang thúc đẩy người ta tìm kiếm cách huấn luyện mô hình trí tuệ nhân tạo một cách hiệu quả hơn. Dozens of companies are working on specialized computer chips for both training and running AI programs.

Qi của Glean và McCreary của Optum đều đang nói chuyện với Mosaic ML, một startup tách ra từ MIT đang phát triển các mẹo phần mềm nhằm tăng cường hiệu suất của quá trình huấn luyện máy học.

Công ty đang xây dựng trên một kỹ thuật được phát triển bởi Michael Carbin, một giáo sư tại MIT, và Jonathan Frankle, một trong những sinh viên của ông, liên quan đến việc “tạo cây tỉa” một mạng neural để loại bỏ những không hiệu quả và tạo ra một mạng nhỏ gọn có khả năng thực hiện tương tự. Frankle nói rằng kết quả sơ bộ cho thấy có thể giảm nửa lượng công suất máy tính cần thiết để huấn luyện một cái gì đó như GPT-3, giảm chi phí phát triển.

Carbin nói rằng có các kỹ thuật khác để cải thiện hiệu suất của việc huấn luyện mạng neural. Mosaic ML dự định công bố nguồn mở nhiều công nghệ của mình nhưng cũng cung cấp dịch vụ tư vấn cho các công ty muốn giảm chi phí triển khai trí tuệ nhân tạo. Một ứng cử viên tiềm năng: một công cụ để đo lường sự đánh đổi giữa các phương pháp khác nhau về độ chính xác, tốc độ và chi phí, Carbin nói. “Không ai thực sự biết cách kết hợp tất cả những phương pháp này lại với nhau,” ông nói.

Kanter của MLCommons nói rằng công nghệ của Mosaic ML có thể giúp các công ty giàu có đưa mô hình của họ lên một tầm cao mới, nhưng cũng có thể giúp phổ cập hóa trí tuệ nhân tạo cho các công ty không có chuyên môn sâu về AI. “Nếu bạn có thể giảm chi phí, và cung cấp cho những công ty đó sự tiếp cận với chuyên gia, thì điều đó sẽ thúc đẩy sự áp dụng,” ông nói.

Những Nội Dung Tuyệt Vời Khác Từ MYTOUR

• 📩 Thông tin mới nhất về công nghệ, khoa học, và nhiều hơn nữa: Nhận bản tin của chúng tôi!
• Nhiệm vụ viết lại lịch sử của Đức Quốc xã trên Wikipedia
• Các hành động bạn có thể thực hiện để đối phó với biến đổi khí hậu
• Denis Villeneuve về Dune: “Tôi thực sự là một kẻ điên đảo”
• Amazon's Astro là một robot không mục tiêu
• Nỗ lực để máy bay không người lái gieo rừng
• 👁️ Khám phá trí tuệ nhân tạo như chưa bao giờ có trước đây với cơ sở dữ liệu mới của chúng tôi
• 🎮 MYTOUR Games: Nhận những mẹo, đánh giá, và nhiều hơn nữa
• 🎧 Âm thanh không nghe đúng? Kiểm tra tai nghe không dây, loa thanh, và loa Bluetooth yêu thích của chúng tôi