Buzz
Điều này giúp giải thích tại sao việc tận dụng sức mạnh của minh bạch để tạo ra niềm tin lớn hơn vào các thuật toán lại khó khăn hơn những gì người ta có thể tưởng. Sự phức tạp với minh bạch nói chung, và sự thất bại của Nass trong cuộc phiêu lưu về minh bạch về chấm điểm cụ thể, có thể thấy trong các khóa học trực tuyến đại học mở khổng lồ, hay còn được biết đến với tên gọi MOOCs. Không bị ràng buộc bởi những yếu tố như địa điểm của sinh viên hoặc kích thước lớp học, các trường đại học, cao đẳng, và các nền tảng giáo dục như Coursera cung cấp các khóa học trực tuyến có thể được hàng chục nghìn sinh viên tham gia. Ví dụ, các khóa học khởi nghiệp mà tôi đã giảng dạy trên Coursera đã được gần 100,000 sinh viên tham gia (so với khoảng 2,500 sinh viên trong suốt 15 năm ở các lớp học truyền thống của đại học). Sự lan rộng của MOOCs là lớn, nhưng chúng đối mặt với những thách thức riêng—ví dụ, làm thế nào để tương tác tích cực với nhiều sinh viên mà bạn không tương tác, hoặc làm thế nào để chấm điểm các bài tập phức tạp như bài luận hoặc thiết kế của một lớp hơn 10,000 sinh viên. Hầu hết MOOCs sử dụng việc đánh giá của đồng học thay vì để Trợ giảng chấm điểm bài làm của sinh viên: Nói cách khác, sinh viên được yêu cầu đánh giá công việc của đồng học.
René Kizilcec, một sinh viên tiến sĩ Stanford trẻ tuổi, muốn giải quyết vấn đề đánh giá chủ quan này. Sự quan tâm của anh ấy không phải là tình cờ. Thực tế, Nass chính là người hướng dẫn của anh ấy, và anh ấy đã chứng kiến sự hỗn loạn diễn ra trong lớp học. Khi đăng ký làm sinh viên tiến sĩ của Nass, Kizilcec đã dự định nghiên cứu về việc phát triển giao diện tạo niềm tin cho các phương tiện bán tự động bán tự động. Nhưng vào tháng 11 năm 2013, thảm kịch xảy ra khi Nass 55 tuổi bị đau tim và qua đời. Không có người hướng dẫn ngưỡng mộ, Kizilcec thấy bản thân anh ấy ngày càng nghĩ nhiều hơn về vấn đề đánh giá mà Nass để lại chưa giải quyết.
Kizilcec phát hiện rằng nhiều MOOCs đang sử dụng các biến thể của thuật toán điều chỉnh điểm do một đồng nghiệp của Kizilcec tạo ra. Thú vị là, không có MOOCs nào giải thích chính sách đánh giá này cho sinh viên của họ. Các quản lý MOOCs không chắc chắn về sự khôn ngoan của việc truyền đạt cho sinh viên cách điểm của họ được xác định, và, thậm chí nếu họ làm, làm thế nào để làm điều này một cách hiệu quả. Đối với sinh viên, những mức độ này quan trọng, vì nó quyết định liệu họ có nhận được chứng chỉ hoàn thành khóa học hay không.
Kizilcec bắt đầu tạo ra một phiên bản trực tuyến của thí nghiệm ban đầu của Nass với điểm được điều chỉnh theo thuật toán—và sử dụng nó để kiểm tra cách minh bạch có thể thay đổi cuối cùng mức độ tin tưởng mà sinh viên sẽ có vào các thuật toán ảnh hưởng đến họ. Anh ấy bắt đầu với một nhóm 103 sinh viên đã nộp bài luận để đánh giá của đồng học. Mỗi bài luận được đánh giá bởi nhiều đồng học. Kizilcec yêu cầu những sinh viên này nói ra điểm mà họ mong đợi nhận được. Tiếp theo, mỗi sinh viên nhận được cả một điểm tổng hợp—là trung bình đơn giản của các điểm được gán bởi một nhóm đồng học—và một điểm tính toán, được điều chỉnh bởi một thuật toán tính toán có tính đến độ chủ quan của mỗi đánh giá viên.
