Buzz
Washington, DC, là nơi cư trú của chính phủ mạnh mẽ nhất trên trái đất. Đây cũng là nơi sống của 690,000 người—và 29 thuật toán không rõ ràng đang định hình cuộc sống của họ. Các cơ quan thành phố sử dụng tự động hóa để sàng lọc ứng viên nhà ở, dự đoán tái phạm tội phạm, xác định gian lận hỗ trợ thực phẩm, xác định xem một học sinh trung học có khả năng bỏ học hay không, thông tin quyết định về mức án cho người trẻ, và nhiều vấn đề khác.
Bức tranh về cuộc sống đô thị tự động hóa một phần này đến từ một báo cáo mới của Trung Tâm Thông Tin Quyền Riêng Tư Điện Tử (EPIC). Tổ chức phi lợi nhuận này đã dành 14 tháng để điều tra việc sử dụng thuật toán trong thành phố và phát hiện rằng chúng được sử dụng trong 20 cơ quan, với hơn một phần ba được triển khai trong lĩnh vực cảnh sát hoặc tư pháp hình sự. Đối với nhiều hệ thống, các cơ quan thành phố không cung cấp thông tin chi tiết đầy đủ về cách công nghệ của họ hoạt động hoặc được sử dụng như thế nào. Nhóm dự án kết luận rằng có khả năng thành phố đang sử dụng thêm nhiều thuật toán khác mà họ không thể khám phá ra.
Các kết quả này đáng chú ý ngoài Thành phố DC vì chúng cộng thêm vào bằng chứng cho thấy nhiều thành phố đã một cách yên lặng đặt các thuật toán quản lý công việc hành chính vào các bộ phận của họ, nơi chúng có thể đóng góp vào các quyết định ảnh hưởng đến cuộc sống của công dân.
Các cơ quan chính phủ thường xuyên sử dụng tự động hóa với hy vọng gia tăng hiệu suất hoặc tính khách quan cho các quy trình hành chính, nhưng đối với người dân, đôi khi khó để biết họ đang làm việc, và một số hệ thống đã được phát hiện gây phân biệt đối xử và dẫn đến các quyết định hủy hoại cuộc sống con người. Ở Michigan, một thuật toán phát hiện gian lận thất nghiệp với tỷ lệ lỗi 93% đã gây ra 40,000 cáo buộc gian lận sai lầm. Một phân tích năm 2020 của Đại học Stanford và Đại học New York đã phát hiện rằng gần một nửa các cơ quan liên bang đang sử dụng một số hình thức hệ thống quyết định tự động.
EPIC đào sâu vào việc sử dụng thuật toán của một thành phố để hiểu được nhiều cách mà chúng có thể ảnh hưởng đến cuộc sống của công dân và khuyến khích người dân ở những nơi khác thực hiện các bài kiểm tra tương tự. Ben Winters, người dẫn dắt công việc về trí tuệ nhân tạo và nhân quyền của tổ chức phi lợi nhuận, cho biết Washington được chọn một phần vì khoảng một nửa cư dân của thành phố tự nhận mình là người Mỹ gốc Phi.
“Thường xuyên hơn là không, các hệ thống quyết định tự động hóa có tác động không cân đối đối với cộng đồng người Mỹ gốc Phi,” Winters nói. Dự án đã tìm thấy bằng chứng cho thấy camera giám sát giao thông tự động thường được đặt ở các khu vực có nhiều cư dân Mỹ gốc Phi hơn.
Các thành phố có số lượng cư dân Mỹ gốc Phi đáng kể gần đây đã đóng vai trò trung tâm trong các chiến dịch phản đối các thuật toán thành phố, đặc biệt là trong lĩnh vực cảnh sát. Detroit trở thành trung tâm của các cuộc tranh cãi về nhận dạng khuôn mặt sau những vụ bắt giữ sai lầm của Robert Williams và Michael Oliver vào năm 2019 do thuật toán nhận diện sai. Năm 2015, triển khai nhận dạng khuôn mặt tại Baltimore sau cái chết của Freddie Gray khi đang ở trong tù cảnh sát đã dẫn đến một số cuộc điều tra của Quốc hội đầu tiên về việc sử dụng công nghệ này trong lực lượng chức năng.
EPIC săn đuổi các thuật toán bằng cách tìm thông tin công bố của các cơ quan thành phố và cũng đệ trình yêu cầu hồ sơ công cộng, yêu cầu hợp đồng, thỏa thuận chia sẻ dữ liệu, đánh giá tác động đến quyền riêng tư và các thông tin khác. Sáu trong số 12 cơ quan thành phố đã phản hồi, chia sẻ tài liệu như một hợp đồng trị giá $295,000 với Pondera Systems, thuộc sở hữu của Thomson Reuters, sản xuất phần mềm phát hiện gian lận mang tên FraudCaster được sử dụng để sàng lọc ứng viên hỗ trợ thực phẩm. Đầu năm nay, các quan chức California phát hiện rằng hơn một nửa trong số 1.1 triệu đơn của cư dân tiểu bang mà phần mềm của Pondera ghi chú là đáng nghi là thực tế hợp lệ.
Nhưng nói chung, các cơ quan không sẵn lòng chia sẻ thông tin về hệ thống của họ, bảo vệ sự bí mật thương mại và tính bảo mật. Điều này làm cho việc xác định mọi thuật toán được sử dụng ở DC trở nên gần như không thể. Đầu năm nay, một dự án của Trường Luật Yale thực hiện một nỗ lực tương tự để đếm số lượng thuật toán được sử dụng bởi các cơ quan nhà nước tại Connecticut nhưng cũng bị ảnh hưởng bởi những yêu sách về bảo mật thương mại.
EPIC nói rằng chính phủ có thể giúp người dân hiểu về việc sử dụng thuật toán bằng cách yêu cầu công bố mọi khi hệ thống đưa ra quyết định quan trọng về cuộc sống của một người. Và một số quan chức được bầu cử đã ủng hộ ý tưởng yêu cầu đăng ký công cộng các hệ thống quyết định tự động được sử dụng bởi chính phủ. Tháng trước, các nhà lập pháp ở Pennsylvania, nơi một thuật toán sàng lọc đã buộc tội các bậc phụ huynh thu nhập thấp về tội bỏ mặc trẻ, đề xuất một luật lệ về đăng ký thuật toán.
Nhưng Winters và những người khác cảnh báo không nên nghĩ rằng việc đăng ký thuật toán tự động dẫn đến sự chịu trách nhiệm. Thành phố New York đã bổ nhiệm một “quản lý thuật toán và chính sách” vào năm 2020, một vị trí mới nhằm thông báo cho các cơ quan thành phố cách sử dụng thuật toán và công bố cho công dân cách thành phố sử dụng quyết định tự động.
