Gặp Phần Thuật toán Bí Mật Giữ Sinh Viên Ra Khỏi Đại Học

ANAHITA NAGPAL, MỘT BÉ GÁI 18 TUỔI, lo sợ kế hoạch bắt đầu đào tạo để trở thành bác sĩ vào mùa thu này của mình đã bị trục trặc bởi một mô hình thống kê.

Nagpal, who lives in Göttingen, Germany, had been offered a premed place and scholarship at NYU. Her acceptance was dependent on her results in the International Baccalaureate diploma, a two-year high school program recognized by colleges and taken by more than 170,000 students this year, most in the US. But she scored more poorly than expected.

Niềm hối tiếc của thanh thiếu niên về điểm không phải là điều hiếm gặp, nhưng cách mà quỹ đạo lý thường của Chương trình Baccalaureate tính điểm năm nay là khác thường. Kết quả, được công bố vào thứ Hai, đã được xác định bằng một công thức mà IB, tổ chức đứng sau chương trình, triển khai nhanh chóng sau khi hủy bỏ các kỳ thi thường niên vào mùa xuân do Covid-19. Hệ thống sử dụng tín hiệu bao gồm điểm của học sinh trên bài tập và điểm từ những người tốt nghiệp trước đây tại trường học của họ để dự đoán họ sẽ đạt được điểm nào nếu đại dịch không ngăn chặn kỳ thi trực tiếp.

Nagpal và nhiều sinh viên, phụ huynh và giáo viên khác nói rằng những dự đoán đó đã đánh lạc hướng. Nhiều sinh viên nhận được điểm thấp đáng ngờ, hủy hoại kế hoạch của họ cho mùa thu và xa hơn. Kế hoạch dự phòng của Nagpal nếu cô ấy không được vào NYU là học y tại Đức, nhưng cô ấy không nghĩ rằng điểm thấp hơn dự kiến của mình sẽ đủ điều kiện cho cô ấy vào đó. "Như nhiều người khác, tôi rất sốc," cô ấy nói. Sau đó, Nagpal nhận được một email từ NYU nói rằng họ chưa đưa ra quyết định về việc nhận cô ấy. NYU nói rằng họ không bình luận về các trường hợp cá nhân.

Hơn 15,000 phụ huynh, sinh viên và giáo viên đã ký vào một đơn kiến nghị trực tuyến yêu cầu IB "chọn một cách tiếp cận khác với thuật toán đánh giá của họ và làm cho nó công bằng hơn." Quỹ từ chối trả lời các câu hỏi về hệ thống của mình nhưng nói rằng nó đã được kiểm tra so với năm kết quả trước và rằng sinh viên thất vọng có thể sử dụng quy trình khiếu nại hiện tại của nó, đi kèm với một khoản phí. Quỹ công bố thống kê tóm tắt cho thấy điểm trung bình của năm nay cao hơn một chút so với năm ngoái, và nó nói rằng phân phối điểm tương tự như năm ngoái.

Một giáo viên toán tại một trường ở Trung Đông nói rằng IB nên tiết lộ toàn bộ cơ sở làm việc của mô hình của mình để được kiểm tra bởi bên ngoại. Anh ta và một đồng nghiệp có tiến sĩ toán đã đau đầu với thiết kế của nó khi một số sinh viên mất học bổng đến các trường đại học hàng đầu, sau khi nhận được kết quả thấp hơn nhiều so với mong đợi của giáo viên. Một số sinh viên bị mắc kẹt không biết làm thế nào họ sẽ trả tiền cho đại học. “Dự đoán duy nhất của tôi là một mô hình lỗi lạc,” anh ấy nói.

Lo ngại về mô hình toán học lỗi lạc đang tăng lên khi ngày càng có nhiều công ty và chính phủ áp dụng máy tính vào những vấn đề truyền thống của con người như quyết định bảo lãnh, xác định nghi phạm tội ác và quyết định điều gì là lời nói căm tức. Việc loại bỏ độ chệch và sai sót trong những hệ thống như vậy đang là một lĩnh vực hoạt động và học thuật ngày càng phát triển.

Những người nghi ngờ vào các điểm dựa trên thuật toán của IB hiện đang đưa ra một số vấn đề tương tự. Họ đang tự hỏi cách hệ thống được thiết kế và kiểm thử, tại sao cơ sở làm việc của nó không được tiết lộ đầy đủ và liệu có lý khi sử dụng một công thức để xác định các điểm có thể định hình cơ hội trong cuộc sống của một người.

Khi Covid-19 bắt đầu làm chủ thế giới vào tháng 3, nhiều thanh thiếu niên ở năm cuối cấp trung học bị đặt vào tình thế bấp bênh. Lệnh ở nhà làm cho việc hoàn thành những bài kiểm tra cuối cùng hoặc bài kiểm tra quyết định sự lựa chọn đại học và cuộc sống của họ trở nên khó khăn hoặc không thể thực hiện được.

Những nhà cung cấp bài kiểm tra đã vội vàng nghĩ ra những cách mới để đánh giá học sinh. Ở Hoa Kỳ, Cơ quan Kiểm thử Giáo dục, cung cấp GRE, và Hội đồng Trường Đại học, chạy Kỳ thi AP, chuyển bài kiểm tra của họ lên mạng. Điều này mang lại những điều kỳ cục và sự cố - như yêu cầu học sinh phải thi cùng một lúc bất kể múi giờ và thi lại do lỗi kỹ thuật - nhưng nó vẫn giữ được một vẻ nguyên trạng của quy trình bình thường.

IB, có trụ sở tại Geneva, quyết định sử dụng một công thức thống kê thay vì—đóng góp vào danh sách ngày càng dài các giải pháp công nghệ được đề xuất để tự động hóa hậu quả từ đại dịch. Cách thức hoạt động của bằng IB—và thời điểm công bố kết quả—đã gây tổn thương đặc biệt cho sinh viên IB đang nộp đơn vào các trường đại học ở Mỹ. Không giống như bài kiểm tra AP, thường được tách biệt từ điểm trung học, kết quả IB được thiết kế để phản ánh công việc của sinh viên trong năm. Sinh viên IB thường được nhận vào đại học dựa trên các điểm dự đoán, và họ nộp kết quả cuối cùng khi chúng trở nên khả dụng vào mùa hè. Một số trường đại học, bao gồm NYU và Northeastern, cảnh báo trên trang nhập học của họ rằng sinh viên có kết quả IB không đủ gần với những dự đoán có thể mất chỗ.

Trong những thời điểm bình thường, sinh viên bằng IB chọn sáu môn học, từ các lựa chọn như vật lý và triết học, và nhận điểm cuối cùng được xác định chủ yếu bằng các bài tập nhưng chủ yếu là bằng những bài kiểm tra bằng văn bản được tổ chức vào mùa xuân. Chương trình này được cung cấp bởi gần 900 trường công lập ở Hoa Kỳ và phổ biến trong các trường quốc tế trên khắp thế giới. Tháng 3, IB hủy bỏ tất cả các bài kiểm tra và nói rằng sẽ tính điểm cuối cùng của mỗi sinh viên bằng một phương pháp do một tổ chức giáo dục không tên chuyên về phân tích dữ liệu phát triển.

Ý tưởng là sử dụng các mô hình trước để suy luận điểm mà một sinh viên sẽ đạt được trong một năm 2020 không bị chi phối bởi đại dịch chết người. IB không tiết lộ chi tiết về phương pháp học thuật nhưng nói rằng điểm sẽ được tính toán dựa trên điểm bài tập của sinh viên, điểm dự đoán và kết quả IB lịch sử từ trường học của họ. Tổ chức cho biết ranh giới điểm được đặt để phản ánh những thách thức của việc học từ xa trong thời kỳ đại dịch. Đối với những trường học nơi dữ liệu lịch sử bị thiếu, dự đoán sẽ dựa trên dữ liệu tổng hợp từ các trường học khác.

Trong một video IB đăng về quy trình này, Antony Furlong, quản lý nghiên cứu và thiết kế đánh giá của tổ chức, nói rằng hệ thống về cơ bản tạo ra “một phương trình theo đặc điểm” cho mỗi trường học.

Một giáo viên nghệ thuật tại một trường học ở Mỹ nói những gì cô và đồng nghiệp thấy cho thấy nó không được điều chỉnh tốt. “Khi tôi nhìn thấy điểm, tôi đã bị sốc,” cô nói. “Tôi luôn thận trọng trong việc dự đoán điểm, nhưng mọi học sinh trừ một người đều bị giảm điểm.” Trong số 15 học sinh cô làm việc, có 4 người phải xem xét lại kế hoạch của họ cho mùa thu này, vì họ không đậu vào đại học, điều mà cô không mong đợi từ bất kỳ người nào.

Xác định xem hệ thống của IB có khiếm khuyết hay không là một thách thức mà không biết về công thức, đầu vào và đầu ra của nó. Chỉ vì một số người không thích đầu ra của một phân tích dữ liệu không có nghĩa là nó là sai. Nhưng Suresh Venkatasubramanian, một giáo sư tại Đại học Utah nghiên cứu về hậu quả xã hội của quyết định tự động, nói rằng có vẻ như IB đã có thể triển khai hệ thống của mình một cách có trách nhiệm hơn. “Tất cả điều này chỉ ra điều gì xảy ra khi bạn cố gắng cài đặt một loại quy trình tự động mà không có sự minh bạch,” ông nói. “Gánh nặng chứng minh nên đặt trên hệ thống để chứng minh sự tồn tại của nó.”

Phân tích dữ liệu mạnh mẽ hơn bao giờ hết nhưng vẫn còn rất xa để có thể dự đoán hành động con người phức tạp trong tương lai. Các mô hình suy luận từ các xu hướng thống kê quá khứ có thể dẫn đến việc đối xử không công bằng với người dùng vì tình hình của họ khác nhau, ngay cả khi kết quả trùng khớp với các mô hình quá khứ trung bình.

Venkatasubramanian nói rằng dựa trên xu hướng quá khứ tại trường học của học sinh, có thể không liên quan đến sự nghiệp học tập của học sinh, có thể là không công bằng. Việc sử dụng dữ liệu từ các trường học khác—như IB đã làm cho những trường học có ít lịch sử theo dõi—là một “tín hiệu đỏ,” ông nói, vì điều đó có nghĩa là điểm của một số học sinh đã được tính toán khác nhau so với những người khác.

Constance Lavergne, người con trai ở Vương quốc Anh nhận điểm IB thấp hơn mong đợi và không đậu vào trường đại học ưa thích, là một trong nhiều phụ huynh đang gặp khó khăn trong việc hiểu điều gì đã xảy ra. Bà nói rằng kinh nghiệm làm việc chặt chẽ với các chuyên gia phân tích dữ liệu trong ngành công nghiệp công nghệ khiến bà nghi ngờ về phương pháp của IB. Điều này có thể tạo ra kết quả ồn ào hơn cho các lớp học nhỏ, như của con trai bà, vì chúng có ít điểm dữ liệu quá khứ hơn, bà gợi ý. “Có vấn đề gì đó với thuật toán,” Lavergne nói.

Giáo viên toán tại Trung Đông nói ông tin rằng trường của ông đã phải chịu ảnh hưởng vì cách IB công bố và hiệu chuẩn mô hình của mình. Học sinh tại trường đã nộp bài tập của họ trước khi IB nói rằng những bài tập đó sẽ giúp điều chỉnh mô hình đánh giá. Một số học sinh IB tại các trường học khác chưa nộp những bài tập đó, cho phép họ nỗ lực hơn, được hỗ trợ bởi việc biết họ không cần chuẩn bị cho kỳ thi. Cuối tuần này, ông dự định làm việc với đồng nghiệp có bằng tiến sĩ toán học của mình và một gói phần mềm để khám phá nơi mà công thức IB có thể đã đi sai.

Nhiều học sinh nhận được kết quả thất vọng đang hướng đến tháng 11, khi IB thường tổ chức vòng thi in-person thứ hai và họ có thể tham gia bài thi viết đã bị hủy. Nagpal, nữ sinh y khoa thất vọng, dự định tham gia, với chi phí khoảng €700 ($791). Nếu Covid-19 làm ảnh hưởng đến những bài kiểm tra đó, cô hy vọng IB sẽ chuyển chúng trực tuyến thay vì thử nghiệm thêm bất kỳ phương pháp đánh giá dựa trên dữ liệu nào nữa.

Cập nhật, 13-7-20, 19:30 ET: Phiên bản trước đó của bài viết này không chính xác khi nói rằng NYU đã thu hồi chấp nhận của Anahita Nagpal.

• Bạn của tôi bị mắc bệnh ALS. Để chống lại, anh ấy xây dựng một phong trào
• 15 chiếc khẩu trang chúng tôi thực sự thích đeo
• Chiếc thẻ này liên kết tín dụng của bạn với số liệu truy cập truyền thông xã hội của bạn
• Passionflix và mùi hương của lãng mạn
• Sống sai và thịnh vượng: Covid-19 và tương lai của gia đình
• 👁 Bác sĩ tâm lý có mặt—và đó là một ứng dụng trò chuyện. Ngoài ra: Nhận tin tức AI mới nhất
• 💻 Nâng cấp trò chơi làm việc của bạn với các laptop, bàn phím, phương án gõ và tai nghe chống ồn yêu thích của đội ngũ Gear chúng tôi