GitHub Copilot - Sản phẩm thực sự đầu tiên dựa trên các mô hình ngôn ngữ lớn

Bài viết này là một phần của loạt bài khám phá về kinh doanh trí tuệ nhân tạo

Kể từ GPT-2, đã có rất nhiều sự hứng thú xung quanh ứng dụng của các mô hình ngôn ngữ lớn. Và trong vài năm qua, chúng ta đã thấy LLMs được sử dụng cho nhiều công việc thú vị, chẳng hạn như viết bài, thiết kế trang web, tạo hình ảnh và thậm chí là viết mã.

Nhưng như tôi đã từng bàn trước đây, có một khoảng trống rộng giữa việc cho thấy một công nghệ mới làm điều gì đó thú vị và việc sử dụng cùng công nghệ đó để tạo ra một sản phẩm thành công với một mô hình kinh doanh có thể thực hiện được.

Microsoft, theo ý kiến của tôi, vừa ra mắt sản phẩm LLM thực sự đầu tiên với sự phát hành công khai của GitHub Copilot vào tuần trước. Đây là một ứng dụng có sự phù hợp mạnh mẽ giữa sản phẩm/thị trường, mang lại giá trị bổ sung lớn, khó cạnh tranh, hiệu quả về chi phí, có các kênh phân phối rất mạnh mẽ và có thể trở thành nguồn lợi nhuận lớn.

Việc phát hành GitHub Copilot là một lời nhắc nhở về hai điều: Đầu tiên, LLMs rất thú vị, nhưng chúng hữu ích khi áp dụng vào các nhiệm vụ cụ thể thay vì trí tuệ nhân tạo tổng quát. Và thứ hai, bản chất của LLMs đưa các công ty công nghệ lớn như Microsoft và Google có một lợi thế không công bằng để thương mại hóa chúng—LLMs không dân chủ.

LLM Chuyên nghiệp

Copilot là một công cụ lập trình AI được cài đặt như một tiện ích mở rộng trên các IDE phổ biến như Visual Studio và VS Code. Nó đưa ra gợi ý khi bạn viết mã, giống như chức năng tự động hoàn thiện nhưng dành cho lập trình. Khả năng của nó bao gồm từ việc hoàn thiện một dòng mã đến việc tạo ra toàn bộ các khối mã như các hàm và lớp.

Copilot được động viên bởi Codex, một phiên bản của mô hình GPT-3 nổi tiếng của OpenAI, một mô hình ngôn ngữ lớn đã nổi tiếng với khả năng thực hiện nhiều loại nhiệm vụ. Tuy nhiên, trái ngược với GPT-3, Codex đã được điều chỉnh chỉ cho các nhiệm vụ lập trình. Và nó tạo ra những kết quả ấn tượng.

Thành công của GitHub Copilot và Codex nhấn mạnh một sự thực tế quan trọng. Khi nói đến việc đưa LLMs vào sử dụng thực tế, sự chuyên sâu vượt trội so với sự tổng quát. Khi Copilot được giới thiệu lần đầu vào năm 2021,

CNBC đưa tin: “… ngày xưa khi OpenAI đang đào tạo [GPT-3], start-up này không có ý định dạy nó cách giúp đỡ việc viết mã, [Giám đốc CTO của OpenAI Greg] Brockman nói. Nó được thiết kế hơn là là một mô hình ngôn ngữ đa dụng [nhấn mạnh của tôi] có thể, ví dụ, tạo ra bài viết, sửa lỗi ngữ pháp không chính xác và dịch từ một ngôn ngữ sang ngôn ngữ khác.”

Nhưng trong khi GPT-3 đã đạt được một số thành công nhất định trong các ứng dụng khác nhau, Copilot và Codex đã chứng minh làm rất tốt trong một lĩnh vực cụ thể. Codex không thể viết thơ hay bài viết như GPT-3, nhưng nó đã chứng minh rất hữu ích đối với các nhà phát triển ở mức độ chuyên nghiệp khác nhau. Codex cũng nhỏ gọn hơn nhiều so với GPT-3, điều này có nghĩa là nó hiệu quả về bộ nhớ và tính toán hơn. Và với việc nó đã được đào tạo cho một nhiệm vụ cụ thể thay vì thế giới ngôn ngữ của con người mở và mơ hồ, nó ít dễ bị sa vào những rủi ro mà những mô hình như GPT-3 thường gặp phải.

Tuy nhiên, đáng lưu ý rằng giống như GPT-3 không biết gì về ngôn ngữ của con người, Copilot cũng không biết gì về mã máy tính. Đó là một mô hình biến đổi được đào tạo trên hàng triệu kho mã nguồn. Được cho một yêu cầu (ví dụ, một đoạn mã hoặc mô tả văn bản), nó sẽ cố gắng dự đoán chuỗi lệnh tiếp theo mà có vẻ hợp lý nhất.

Với bộ lớn dữ liệu đào tạo và mạng nơ-ron khổng lồ của mình, Copilot chủ yếu đưa ra dự đoán chính xác. Nhưng đôi khi, nó có thể mắc những sai lầm ngớ ngẩn mà người lập trình mới vào nghề cũng tránh được. Nó không nghĩ về chương trình theo cách mà một lập trình viên làm. Nó không thể thiết kế phần mềm hoặc suy nghĩ theo bước và xem xét yêu cầu và trải nghiệm của người dùng và tất cả những điều khác cần thiết để xây dựng ứng dụng thành công. Nó không phải là sự thay thế cho lập trình viên con người.

Sự phù hợp sản phẩm/thị trường của Copilot

Một trong những cột mốc quan trọng đối với bất kỳ sản phẩm nào là đạt được sự phù hợp sản phẩm/thị trường, hoặc chứng minh rằng nó có thể giải quyết một số vấn đề tốt hơn so với các giải pháp thay thế trên thị trường. Ở điểm này, Copilot đã là một thành công đáng kinh ngạc.

GitHub phát hành Copilot như một sản phẩm xem trước vào tháng sáu năm ngoái và kể từ đó đã được sử dụng bởi hơn một triệu nhà phát triển.

Theo GitHub, trong các tệp tin mà Copilot được kích hoạt, nó chiếm khoảng 40% ấn tượng của mã đã viết. Các nhà phát triển và kỹ sư tôi nói chuyện với tuần trước nói rằng mặc dù có những hạn chế đối với khả năng của Copilot, không thể phủ nhận rằng nó cải thiện đáng kể năng suất của họ.

Đối với một số trường hợp sử dụng, Copilot đang cạnh tranh với StackOverflow và các diễn đàn mã nguồn khác, nơi người dùng phải tìm kiếm giải pháp cho vấn đề cụ thể mà họ đang gặp phải. Trong trường hợp này, giá trị thêm của Copilot rất rõ ràng và rõ ràng: ít sự thất vọng và xao lạc hơn, tập trung hơn. Thay vì rời khỏi IDE của họ và tìm kiếm giải pháp trên web, nhà phát triển chỉ cần gõ mô tả hoặc docstring của chức năng mà họ muốn, và Copilot sẽ thực hiện phần lớn công việc cho họ.

Trong một số trường hợp khác, Copilot đang cạnh tranh với việc viết mã khó chịu bằng tay, chẳng hạn như cấu hình biểu đồ matplotlib trong Python (một công việc vô cùng khó chịu). Mặc dù kết quả của Copilot có thể cần một số điều chỉnh, nó giảm gánh nặng lớn đối với các nhà phát triển.

Trong nhiều trường hợp sử dụng khác, Copilot đã có thể củng cố vị thế của mình như một giải pháp xuất sắc cho những vấn đề mà nhiều nhà phát triển phải đối mặt hàng ngày. Những nhà phát triển kể với tôi về việc chạy các trường hợp kiểm thử, thiết lập máy chủ web, tài liệu hóa mã nguồn và nhiều nhiệm vụ khác trước đây đòi hỏi sự nỗ lực thủ công và làm phiền toái. Copilot đã giúp họ tiết kiệm rất nhiều thời gian trong công việc hàng ngày của họ.

Phân phối và hiệu quả chi phí

Sự phù hợp sản phẩm/thị trường chỉ là một trong những thành phần của việc tạo ra một sản phẩm thành công. Nếu bạn có một sản phẩm tốt nhưng không thể tìm ra các kênh phân phối đúng để cung cấp giá trị của nó một cách hiệu quả chi phí và có lợi nhuận, thì bạn sẽ bị định mệnh. Đồng thời, bạn sẽ cần một kế hoạch để duy trì ưu thế của mình so với đối thủ, ngăn chặn các công ty khác sao chép thành công của bạn và đảm bảo rằng bạn có thể tiếp tục cung cấp giá trị trong thời gian dài.

Để biến Copilot thành một sản phẩm thành công, Microsoft cần phải kết hợp một số thành phần rất quan trọng, bao gồm công nghệ, cơ sở hạ tầng và thị trường.

Trước hết, họ cần công nghệ đúng, mà họ đã có nhờ vào bản quyền độc quyền của họ đối với công nghệ của OpenAI. Kể từ năm 2019, OpenAI đã ngừng công bố công nghệ của mình và thay vào đó cấp phép nó cho các nhà tài trợ tài chính, đặc biệt là Microsoft. Codex và Copilot được tạo ra từ GPT-3 với sự giúp đỡ của các nhà khoa học của OpenAI.

Các công ty công nghệ lớn khác đã có thể tạo ra các mô hình ngôn ngữ lớn có thể so sánh được với GPT-3. Nhưng không thể phủ nhận rằng các mô hình ngôn ngữ lớn đòi hỏi chi phí rất lớn để huấn luyện và chạy.

“Đối với một mô hình nhỏ hơn 10 lần so với Codex - mô hình đằng sau Copilot (có 12 tỷ tham số trên giấy), việc đánh giá trên bài kiểm tra mà họ sử dụng trong bài báo của họ mất hàng trăm đô la,” Loubna Ben Allal, kỹ sư máy học tại Hugging Face, nói với TechTalks. Ben Allal đề cập đến một bài kiểm tra khác được sử dụng cho việc đánh giá Codex, mà theo cô, tốn hàng nghìn đô la cho mô hình nhỏ của cô.

“Cũng có vấn đề về an ninh vì bạn phải thực thi các chương trình không tin cậy để đánh giá mô hình có thể là độc hại, thường sử dụng sandbox để đảm bảo an ninh,” Ben Allal nói.

Leandro von Werra, một kỹ sư máy học khác tại Hugging Face, ước tính chi phí đào tạo là từ vài chục đến hàng trăm nghìn đô la tùy thuộc vào kích thước và số lượng thử nghiệm cần thiết để làm đúng.

“Inference là một trong những thách thức lớn nhất,” von Werra thêm vào trong bình luận cho TechTalks. “Mặc dù hầu hết mọi người có nguồn lực đều có thể huấn luyện một mô hình 10 tỷ ngày nay, việc giảm độ trễ suy luận đủ thấp để cảm thấy phản hồi đối với người dùng là một thách thức kỹ thuật.”

Đây là nơi ưu thế thứ hai của Microsoft phát huy tác dụng. Công ty đã có thể tạo ra một cơ sở hạ tầng đám mây lớn chuyên cho các mô hình máy học như Codex. Nó chạy suy luận và đưa ra gợi ý trong vài mili giây. Và quan trọng hơn, Microsoft có thể chạy và cung cấp Copilot với giá rất phải chăng. Hiện nay, Copilot được cung cấp với giá 10 đô la/tháng hoặc 100 đô la/năm và sẽ được cung cấp miễn phí cho sinh viên và người duy trì các kho lưu trữ mã nguồn mở phổ biến.

Hầu hết các nhà phát triển mà tôi đã nói chuyện đều rất hài lòng với mô hình giá cả vì nó mang lại cho họ nhiều thời gian tiết kiệm hơn giá trị của nó.

Abhishek Thakur, một kỹ sư máy học khác tại Hugging Face mà tôi đã nói chuyện vào đầu tuần này, nói: “Là một kỹ sư máy học, tôi biết rằng có rất nhiều thứ phải vào xây dựng các sản phẩm như thế này, đặc biệt là Copilot, cung cấp gợi ý với độ trễ dưới mili giây. Xây dựng một cơ sở hạ tầng phục vụ những loại mô hình này miễn phí không khả thi trong thế giới thực trong một khoảng thời gian dài.”

Tuy nhiên, việc chạy các mô hình LLM tạo mã mã nguồn với giá phải chăng không phải là không thể.

“Về mặt tính toán để xây dựng những mô hình này và dữ liệu cần thiết: điều đó khá khả thi và đã có một số bản sao của Codex như Incoder từ Meta và CodeGen (hiện đã truy cập miễn phí trên Hugging Face Hub) từ Salesforce khớp với hiệu suất của Codex,” von Werra nói. “Chắc chắn có một số kỹ thuật trong việc xây dựng các mô hình thành một sản phẩm nhanh và tốt, nhưng dường như nhiều công ty có thể làm điều này nếu họ muốn.”

Tuy nhiên, đây là nơi mảnh ghép thứ ba của câu đố đặt chân vào. Việc Microsoft mua GitHub đã mang lại cho họ quyền truy cập vào thị trường nhà phát triển lớn nhất, làm cho việc đưa Copilot vào tay hàng triệu người dùng trở nên dễ dàng. Microsoft cũng sở hữu Visual Studio và VS Code, hai trong những IDE phổ biến nhất với hàng trăm triệu người dùng. Điều này giảm ma sát để nhà phát triển áp dụng Copilot so với một sản phẩm tương tự khác.

Với mô hình giá cả, hiệu quả và phạm vi thị trường của mình, Microsoft dường như đã củng cố vị trí của mình là nhà lãnh đạo trong thị trường mới nổi của phát triển phần mềm hỗ trợ bởi trí tuệ nhân tạo. Thị trường có thể chuyển hướng khác nhau. Điều chắc chắn (như tôi đã chỉ ra trước đây) là các mô hình ngôn ngữ lớn sẽ mở ra nhiều cơ hội để tạo ra ứng dụng và thị trường mới. Nhưng chúng sẽ không thay đổi những nguyên tắc cơ bản của quản lý sản phẩm chất lượng.