Độc hại của Thiên chức Y tế. Nhưng Cũng Nguy Hiểm Là Các Thuật Toán 'Công Bằng'

Sức khỏe tinh thần và thể chất đều là yếu tố quan trọng góp phần vào cuộc sống hạnh phúc và đầy đủ. Cách chúng ta cảm thấy ảnh hưởng đến công việc chúng ta thực hiện, mối quan hệ xã hội chúng ta xây dựng, và sự chăm sóc chúng ta cung cấp cho người thân yêu. Bởi vì mức độ quan trọng là rất cao, nhiều người thường quay đầu về công nghệ để giúp duy trì sự an toàn trong cộng đồng của chúng ta. Trí tuệ nhân tạo là một trong những hy vọng lớn, và nhiều công ty đang đầu tư mạnh mẽ vào công nghệ để phục vụ nhu cầu sức khỏe ngày càng tăng trên toàn thế giới. Và có nhiều ví dụ hứa hẹn: Trí tuệ nhân tạo có thể được sử dụng để phát hiện ung thư, đánh giá ưu tiên bệnh nhân, và đưa ra đề xuất điều trị. Một mục tiêu là sử dụng Trí tuệ nhân tạo để tăng cường quyền lợi tiếp cận đến chăm sóc sức khỏe chất lượng cao, đặc biệt là ở những nơi và đối tượng mà lịch sử đã loại trừ. 

Tuy nhiên, các thiết bị y tế có độ chệch chủng tộc, ví dụ như, gây ra việc chậm trễ trong điều trị cho bệnh nhân da màu trong đại dịch Covid-19 vì oxymeters nhấn mạnh quá mức mức oxy trong máu ở nhóm dân tộc ít được chú ý. Tương tự, công nghệ phát hiện ung thư của phổi và da được biết đến là ít chính xác đối với những người da màu sẫm, có nghĩa là chúng thường xuyên không báo hiệu về ung thư ở bệnh nhân, làm chậm quá trình tiếp cận chăm sóc cứu sống. Các hệ thống ưu tiên bệnh nhân thường đánh giá thấp nhu cầu chăm sóc cho bệnh nhân thuộc dân tộc thiểu số. Một hệ thống như vậy, ví dụ, thường xuyên đánh giá thấp mức độ nghiêm trọng của bệnh tình ở bệnh nhân da đen vì nó sử dụng chi phí chăm sóc sức khỏe như là một đại diện cho bệnh tình mà không tính đến sự không bình đẳng trong việc tiếp cận chăm sóc, và do đó, chi phí không đồng đều trên quần thể. Điều này cũng có thể quan sát thấy theo chiều chia giới tính. Bệnh nhân nữ thường bị chẩn đoán sai về bệnh tim, và nhận được chăm sóc không đủ hoặc không chính xác. 

May mắn thay, nhiều người trong cộng đồng Trí tuệ Nhân tạo đang tích cực làm việc để sửa chữa những dạng chệch lệch này. Thật không may, như nghiên cứu mới nhất của chúng tôi cho thấy, những thuật toán mà họ đã phát triển thực tế có thể làm tình hình trở nên tồi tệ hơn nếu được áp dụng, và đặt mạng sống của người dùng vào nguy cơ. 

Hầu hết các thuật toán được phát triển để thúc đẩy 'công bằng thuật toán' đã được xây dựng mà không có xem xét về chính sách và ngữ cảnh xã hội. Hầu hết định nghĩa công bằng theo cách đơn giản, trong đó công bằng có nghĩa là giảm bớt khoảng cách về hiệu suất hoặc kết quả giữa các nhóm dân số. Việc thực hiện công bằng trong Trí tuệ Nhân tạo đã trở thành việc đáp ứng một trong những định nghĩa toán học trừu tượng này mà vẫn giữ nguyên nhiều nhất có thể độ chính xác của hệ thống ban đầu. 

Với những thuật toán hiện tại, công bằng thường được đạt được thông qua hai bước: (1) điều chỉnh hiệu suất cho các nhóm có hiệu suất kém hơn, và (2) giảm hiệu suất cho các nhóm có hiệu suất tốt hơn. Hai bước này có thể được phân biệt bởi động cơ cơ bản của chúng. 

Hãy tưởng tượng rằng, vì lợi ích của công bằng, chúng ta muốn giảm thiểu độ chệch lệch trong một hệ thống Trí tuệ Nhân tạo được sử dụng để dự đoán rủi ro ung thư phổi trong tương lai. Hệ thống ảo của chúng ta, tương tự như các ví dụ thực tế, gặp khó khăn với sự chênh lệch hiệu suất giữa bệnh nhân da đen và da trắng. Cụ thể, hệ thống có tỷ lệ nhớ thấp hơn đối với bệnh nhân da đen, có nghĩa là nó thường xuyên đánh giá thấp rủi ro ung thư của họ và phân loại sai bệnh nhân là 'rủi ro thấp' trong khi thực tế họ ở 'rủi ro cao' phát triển ung thư phổi trong tương lai. 

Hiệu suất kém này có thể có nhiều nguyên nhân. Có thể xuất phát từ hệ thống của chúng tôi được đào tạo trên dữ liệu chủ yếu lấy từ bệnh nhân da trắng, hoặc vì hồ sơ sức khỏe từ bệnh nhân da đen ít có sẵn hoặc chất lượng kém hơn. Tương tự, điều này có thể phản ánh những bất bình đẳng xã hội cơ bản trong việc truy cập và chi trả dịch vụ chăm sóc sức khỏe.

Dù có nguyên nhân gì gây ra khoảng cách về hiệu suất, động lực của chúng tôi để theo đuổi sự công bằng là để cải thiện tình hình của một nhóm bị tổn thương lịch sử. Trong ngữ cảnh của xét nghiệm ung thư, false negatives đáng gấp nhiều lần so với false positives; false positives có nghĩa là bệnh nhân sẽ phải có những kiểm tra sức khỏe hoặc quét hình ảnh mà họ không cần, trong khi false negatives có nghĩa là nhiều trường hợp ung thư trong tương lai sẽ không được chẩn đoán và điều trị.

Một cách để cải thiện tình hình cho bệnh nhân da đen là cải thiện khả năng nhớ của hệ thống. Như một bước đầu tiên, chúng ta có thể quyết định hành động một cách thận trọng và yêu cầu hệ thống thay đổi dự đoán của mình đối với những trường hợp mà nó không chắc chắn nhất định liên quan đến bệnh nhân da đen. Cụ thể, chúng ta sẽ chuyển đổi một số trường hợp “thấp rủi ro” ít chắc chắn sang “rủi ro cao” để bắt kịp nhiều trường hợp ung thư hơn. Điều này được gọi là “cân bằng lên”, hoặc thiết kế hệ thống để mục đích thay đổi một số dự đoán của nó cho nhóm hiện đang bị thiệt thòi bởi hệ thống và theo dõi họ thường xuyên hơn (ví dụ: tăng tần suất xét nghiệm ung thư).

Thay đổi này đến với chi phí của độ chính xác; số người được xác định sai là có rủi ro ung thư tăng lên, và tỷ lệ chính xác tổng thể của hệ thống giảm đi. Tuy nhiên, sự đánh đổi giữa độ chính xác và khả năng nhớ là chấp nhận được vì không chẩn đoán một người có ung thư là có hại đến vậy.

Tuy nhiên, điều này đang diễn ra trong nhiều thuật toán thúc đẩy sự công bằng nhóm bởi vì đây là giải pháp toán học tối ưu. Loại suy giảm này, nơi công bằng được đạt được bằng cách làm cho một hoặc nhiều nhóm trở nên tồi hơn một cách tùy ý hoặc bằng cách đưa các nhóm hiệu suất cao về mức độ của nhóm hiệu suất thấp nhất, được gọi là “leveling down.” Bất kỳ nơi nào có thể xảy ra, việc sử dụng thuật toán công bằng để thúc đẩy công bằng thông qua leveling down là một nguyên nhân đáng lo ngại.

Thực tế, những gì chúng tôi đã mô tả ở đây thực sự là một kịch bản tốt nhất, trong đó có thể thực hiện công bằng bằng cách thực hiện những thay đổi đơn giản ảnh hưởng đến hiệu suất cho mỗi nhóm. Trong thực tế, thuật toán công bằng có thể hoạt động một cách cực kỳ và khó dự đoán. Cuộc khảo sát này phát hiện rằng, trung bình, hầu hết các thuật toán trong thị giác máy tính cải thiện công bằng bằng cách làm tổn thương tất cả các nhóm - ví dụ, bằng cách giảm recall và độ chính xác. Không giống như trong kịch bản tưởng tượng của chúng tôi, nơi chúng tôi đã giảm thiệt hại mà một nhóm phải chịu, có khả năng leveling down có thể làm cho mọi người trực tiếp tồi tệ hơn.

Leveling down ngược lại với mục tiêu của công bằng thuật toán và mục tiêu bình đẳng rộng lớn trong xã hội: cải thiện kết quả cho nhóm đã bị thiệt thòi hoặc bị đ margin. Giảm hiệu suất cho các nhóm hiệu suất cao không tự nhiên mang lại lợi ích cho các nhóm hiệu suất thấp. Hơn nữa, leveling down có thể gây tổn thương trực tiếp cho các nhóm đã bị thiệt thòi lịch sử. Sự lựa chọn loại bỏ một lợi ích thay vì chia sẻ nó với người khác thể hiện sự thiếu quan tâm, đoàn kết và sẵn sàng để nắm bắt cơ hội để thực sự khắc phục vấn đề. Nó làm mờ các nhóm đã bị thiệt thòi lịch sử và củng cố sự phân biệt và bất bình xã hội đã dẫn đến vấn đề ban đầu.

Khi chúng ta xây dựng hệ thống AI để đưa ra quyết định về cuộc sống của mọi người, những quyết định thiết kế của chúng ta mã hóa những đánh giá giá trị ngụ ý về điều gì nên được ưu tiên. Leveling down là một hậu quả của sự lựa chọn đo lường và điều chỉnh công bằng chỉ dựa trên sự chênh lệch giữa các nhóm, mà không tính đến tiện ích, phúc lợi, ưu tiên và những hành vi khác quan trọng đối với câu hỏi về bình đẳng trong thế giới thực. Nó không phải là số phận không thể tránh khỏi của công bằng thuật toán; thay vào đó, đó là kết quả của việc chọn lựa con đường có sức kháng toán học nhỏ nhất, và không phải vì bất kỳ lý do toàn cầu nào, pháp lý hoặc đạo đức.

Để tiến lên, chúng ta có ba lựa chọn: 

• Chúng ta có thể tiếp tục triển khai hệ thống thiên vị mà rõ ràng chỉ mang lại lợi ích cho một phân khúc ưu đãi của dân số trong khi gây hại nặng nề cho nhóm khác. 
• Chúng ta có thể định nghĩa công bằng dưới dạng các thuật ngữ toán học cơ bản và triển khai trí tuệ nhân tạo mà ít chính xác hơn đối với tất cả các nhóm và gây hại tích cực cho một số nhóm. 
• Chúng ta có thể hành động và đạt được công bằng thông qua việc “leveling up.” 

Chúng tôi tin rằng leveling up là con đường duy nhất từ mặt đạo đức, đạo đức và pháp lý có thể chấp nhận được. Thách thức cho tương lai của công bằng trong trí tuệ nhân tạo là tạo ra và triển khai các hệ thống có tính chất công bằng nội dung, không chỉ là quy trình công bằng thông qua việc leveling down. Leveling up là một thách thức phức tạp hơn: Nó cần phải được kết hợp với các bước tích cực để loại bỏ nguyên nhân thực tế của độ chệch trong hệ thống trí tuệ nhân tạo. Các giải pháp kỹ thuật thường chỉ là một miếng dán để đối phó với một hệ thống hỏng. Việc cải thiện quyền truy cập vào chăm sóc sức khỏe, tạo ra các bộ dữ liệu đa dạng hơn và phát triển các công cụ đặc biệt nhằm giải quyết vấn đề mà cộng đồng đã bị thiệt thòi lịch sử đang có thể giúp biến công bằng nội dung thành hiện thực.

Đây là một thách thức phức tạp hơn nhiều so với việc chỉnh sửa một hệ thống để làm cho hai con số trở nên bằng nhau giữa các nhóm. Điều này có thể đòi hỏi không chỉ là sự đổi mới công nghệ và phương pháp lớn, bao gồm cả việc thiết kế lại hệ thống trí tuệ nhân tạo từ đầu, mà còn là những thay đổi xã hội đáng kể trong các lĩnh vực như quyền truy cập và chi tiêu chăm sóc sức khỏe. 

Dù khó khăn nhưng việc tập trung lại vào “AI công bằng” là quan trọng. Hệ thống trí tuệ nhân tạo đưa ra những quyết định quan trọng đổi đời. Quyết định về cách chúng nên công bằng, và đối với ai, quá quan trọng để coi công bằng như một vấn đề toán học đơn giản cần giải quyết. Đây là tình trạng hiện tại đã dẫn đến các phương pháp công bằng đạt được sự bình đẳng thông qua leveling down. Cho đến nay, chúng ta đã tạo ra các phương pháp công bằng toán học, nhưng không thể và không chứng minh được lợi ích cho nhóm bị thiệt thòi. 

Điều này không đủ. Các công cụ hiện tại được coi là giải pháp cho công bằng thuật toán, nhưng cho đến nay chúng không thực hiện được cam kết của mình. Những ảnh hưởng đạo đức không rõ ràng làm cho chúng ít có khả năng được sử dụng và có thể đang làm chậm lại những giải pháp thực sự cho những vấn đề này. Những gì chúng ta cần là hệ thống công bằng thông qua việc leveling up, giúp nhóm có hiệu suất kém mà không tự ý làm tổn thương người khác. Đây là thách thức chúng ta phải giải quyết ngay bây giờ. Chúng ta cần AI có tính công bằng về bản chất, không chỉ là toán học. 

Thông báo: Chris Russell cũng là một nhân viên tại Amazon Web Services. Anh ấy không đóng góp vào bài viết này hoặc nghiên cứu cơ bản trong vai trò nhân viên Amazon. Chúng được chuẩn bị hoàn toàn thông qua dự án Trustworthiness Auditing for AI tại Viện Internet Oxford.

Cập nhật ngày 3 tháng 3 năm 2023, 11 giờ sáng giờ Đông: Bài viết này đã được cập nhật để bao gồm thông báo tác giả và làm rõ hơn ví dụ giả định về leveling down trong lĩnh vực chăm sóc sức khỏe.