Sự Hoảng Loạn Trước Đợt Tấn Công của Bot Trên Amazon's Mechanical Turk

Trong suốt một tuần qua, các nhà tâm lý trên khắp nước Mỹ đã hoảng sợ.

Nguyên nhân của sự lo lắng của họ là quan sát của một sinh viên nghiên cứu tâm lý từ Đại học Minnesota tên Max Hui Bai. Giống như nhiều nhà nghiên cứu khác, Bai sử dụng nền tảng Amazon's Mechanical Turk, nơi các cá nhân đăng ký để thực hiện các công việc đơn giản, như tham gia khảo sát cho các nhà nghiên cứu hoặc nhà tiếp thị và nhận một khoản phí thấp. Vào thứ Ba, ngày 7 tháng 8, anh đặt một câu hỏi đơn giản trong một nhóm Facebook dành cho các nhà nghiên cứu tâm lý: "Có ai đã sử dụng Mturk trong vài tuần qua và nhận thấy bất kỳ sự giảm chất lượng nào không?"

Như anh sau này sẽ làm rõ trong một bài đăng trên blog, Bai đã phát hiện ra rằng các cuộc khảo sát mà anh tiến hành với MTurk đầy những câu trả lời vô nghĩa cho các câu hỏi mở và người tham gia với các vị trí GPS trùng lặp. Anh nói rằng anh phải loại bỏ gần một nửa dữ liệu trong cuộc khảo sát gần đây nhất của mình, một sự tăng đáng kể so với những gì anh đã quen thấy. Bài đăng trên Facebook của anh thu hút 181 bình luận, với các nhà nghiên cứu khác mô tả những dấu hiệu tương tự về dữ liệu chất lượng kém trong công việc gần đây của họ. Một số người tỏ ra nghi ngờ liệu nguyên nhân là do bot—chương trình tự động mô phỏng hành vi của con người, không phải là lao động con người thực sự mà MTurk được thiết kế để cung cấp.

Cuộc thảo luận nhanh chóng lan rộng trên Twitter và email, cho đến khi dường như cả lĩnh vực đều lo lắng về MTurk. Đến thứ Sáu, New Scientist đăng một bài viết với tiêu đề “Bot trên Amazon’s MTurk đang Phá hủy Nghiên cứu Tâm lý.” Một giáo sư tâm lý suy nghĩ trên Facebook: “Tôi tự hỏi liệu đây có phải là cuối cùng của nghiên cứu MTurk không?”

Nếu đúng như vậy, đó sẽ là một vấn đề khá lớn. Hàng nghìn nghiên cứu khoa học xã hội được công bố mỗi năm sử dụng dữ liệu khảo sát từ MTurk, theo Panos Ipeirotis, một nhà khoa học dữ liệu tại Trường Kinh doanh Stern của Đại học New York.

Nhưng điều quan trọng là: Không dễ dàng để biết chắc liệu điều mà Bai báo cáo có phải là kết quả của bot làm mưa làm gió. Có nhiều giải thích cho các phản ứng vô nghĩa trên MTurk. Bai nhận ra điều này. “Đó có thể là bot, có thể là bot được cải tiến bởi con người, hoặc có thể là con người đã chán việc tham gia khảo sát và chỉ đơn giản là click ngẫu nhiên các nút,” anh nói. Điều này cũng có thể là kết quả của thiết kế khảo sát kém, như Joe Miele, người quản lý một công ty tư vấn dữ liệu MTurk, đã chỉ ra để đối phó với sự xôn xao.

Không phải tất cả các hành vi giống bot trên MTurk đều được coi là xấu. Chính sách Sử dụng Chấp nhận của nền tảng nói rằng Amazon "nói chung là OK nếu bạn sử dụng kịch bản và công cụ tự động" để xem trước và chọn nhiệm vụ một cách hiệu quả hơn. Người làm MTurk, hay còn gọi là Turkers, thường sử dụng kịch bản để giúp họ tìm nhiệm vụ có thù lao cao phù hợp và chấp nhận chúng nhanh chóng. Những gì bạn không thể làm là hoàn thành những nhiệm vụ đó bằng cách sử dụng công cụ tự động, vì khi đó bạn không sử dụng trí tuệ con người để làm công việc, và đó là ý nghĩa chính của MTurk. Điều này không ngăn cản một số người báo cáo rằng họ đã sử dụng công cụ để tự động điền vào các biểu mẫu, nhưng vẫn chưa rõ liệu việc sử dụng này có đang gia tăng hay không, hoặc có phổ biến không. Amazon chỉ nói rằng hành vi này là vi phạm quy tắc của họ.

"Có bot trên MTurk và đã có từ nhiều năm," nghiên cứu viên lao động số Rochelle LaPlante nói, người trước đây là người quản lý diễn đàn r/mturk trên Reddit. "Tôi không biết liệu cuộc thảo luận mới này thực sự là sự gia tăng về bot, hay chỉ là sự tăng cường về mặt nghiên cứu và tìm kiếm tích cực dữ liệu cho nó."

MTurk và Khoa học Xã hội

Khi ra mắt vào năm 2005, Mechanical Turk đã làm thay đổi trò chơi. Nó mở ra một nguồn lực lớn hơn cho các nhà nghiên cứu so với sinh viên đại học trên trường, người trước đây trước sự xuất hiện của crowdsourcing trực tuyến đã là những người tham gia chính trong nhiều nghiên cứu này, và với chi phí tương đối thấp. MTurk đã mở ra một "kỷ nguyên vàng" cho nghiên cứu khoa học xã hội. Ngày nay, dữ liệu thu thập trên nền tảng này được sử dụng trong hàng nghìn nghiên cứu mỗi năm.

Tuy nhiên, từ lâu, có những lo ngại về trang web và độ tin cậy của dữ liệu đó. Mọi người đã lo lắng rằng họ có thể bị lừa dối - những người yêu cầu về công việc kém chất lượng và người lao động về việc thực hiện các nhiệm vụ mà không bao giờ thanh toán. Những người tiếp thị và nghiên cứu lo lắng rằng dân số Turkers không đại diện đủ cho các cuộc khảo sát của họ. Và mức lương cực kỳ thấp - chỉ vài xu mỗi nhiệm vụ - làm bất ngờ những nhà hoạt động lao động và nhà đạo đức, họ tự hỏi liệu việc nhà khoa học dựa vào những người lao động kiếm ít đó có phải là điều đúng đắn hay không. Điều này cũng tạo động lực cho người lao động hoàn thành nhiệm vụ càng nhanh càng tốt. Nhà nghiên cứu có kiểm soát về mức độ họ bồi thường cho Turkers cho công việc và có thể chọn trả nhiều hơn nếu họ muốn. Đồng thời, các nhà khoa học cũng quan tâm đến việc giữ chi phí thấp, và các hội đồng xem xét đánh giá thường thể hiện sự quan ngại (một số người nói là sai lầm) rằng việc trả lương cao cho các đối tượng nghiên cứu con người có thể làm ép buộc.

Khi có nhiều nhà nghiên cứu sử dụng MTurk hơn, họ cũng đã phát hiện ra cách giảm nhẹ nhiều trong những lo ngại này. Ipeirotis đã tìm ra rằng dân số Turkers không kém phần đại diện như sinh viên đại học cho các quần thể khảo sát và dữ liệu có thể đáng tin cậy nếu mọi người thực hiện biện pháp phòng ngừa đúng đắn khi thiết kế nghiên cứu của họ. Còn về công việc của bot, các chuyên gia nói rằng các nhà nghiên cứu có thể tránh vấn đề bằng cách thiết lập cuộc khảo sát của họ với các tham số nghiêm ngặt và thiết kế nhiệm vụ khó tự động hóa.

"Hầu hết mọi người, đến nay, đều đủ thông minh để xử lý tiếng ồn từ những người lao động không chú ý hoặc từ các bot," Ipeirotis nói. Đáng chú ý, Bai và nhiều nhà nghiên cứu báo cáo sự tăng lên của dữ liệu kém chất lượng vào mùa hè này đã sử dụng Captcha và kiểm tra sự chú ý, như các chuyên gia khuyến cáo, mặc dù Miele và một số nhà nghiên cứu trong nhóm Facebook đề xuất có lẽ điều kiện tham gia của họ có thể đã mạnh mẽ hơn.

Kathryn Johnson, giáo sư tâm lý tại Đại học Arizona State, đã dành cả tuần trở lại kiểm tra dữ liệu của mình để xem những gì Bai báo cáo trên blog của mình có đúng với nghiên cứu của cô hay không. “Thường thì tôi có một nghiên cứu MTurker mỗi tháng,” cô nói.

Cô phát hiện ra những vấn đề gây bất an giống nhau trong các nghiên cứu MTurk gần đây nhất của mình: các vị trí GPS lặp đi lặp lại và các câu trả lời vô nghĩa cho các câu hỏi mở. Nhưng dữ liệu vị trí, dù là địa chỉ IP hay GPS, không phải là một chỉ báo đáng tin cậy về hành vi gian lận, bốn chuyên gia khác nhau về MTurk và bot nói với MYTOUR. Vì vậy, nếu đó là điều đáng ngờ duy nhất mà các nhà nghiên cứu thấy trong kết quả của họ, họ không nên lo lắng.

Những câu trả lời vô nghĩa có ý nghĩa hơn. Một đám nghiên cứu cho biết họ đã lặp lại các trường hợp của người tham gia khảo sát trả lời “đẹp” hoặc “tốt” cho các câu hỏi mở cửa mà những từ đó không có ý nghĩa.

“Có những tiện ích mở rộng trình duyệt điền vào các biểu mẫu bằng các câu trả lời ngẫu nhiên, vì vậy tôi chắc chắn một số [những gì họ đang thấy] là điều này,” LaPlante nói, nhưng cô nhanh chóng lưu ý rằng đó cũng có thể là người không trả lời khảo sát cẩn thận. Các câu trả lời xấu có thể là Turkers sao chép và dán nhanh chóng để họ có thể hoàn thành nhiều cuộc khảo sát hơn và kiếm được nhiều tiền hơn. Điều này cũng có thể nghĩa là những người không giỏi tiếng Anh đang tham gia các cuộc khảo sát, Miele chú ý.

Nhưng Vấn Đề Bots Có To Lớn Như Thế Nào?

Mặc dù Amazon một cách rõ ràng không chấp nhận bot hoàn thành công việc trên Mechanical Turk, nhưng công ty không thể hiện rõ vấn đề này có lớn đến mức nào trên nền tảng. Có lẽ đó là vì họ không cần phải làm điều đó. Không giống như Twitter, mà trước tình trạng lây nhiễm bot nổi tiếng của mình, đã phải lên tiếng về việc loại bỏ chúng, khả năng xuất hiện bot trên MTurk đánh bại nhiều người như tin tức tuần này.

Amazon cũng làm cho việc thiết lập nhiều tài khoản hoặc tài khoản giả mạo khó khăn hơn một chút, bằng cách yêu cầu người lao động cung cấp thông tin thuế hợp lệ. Nhưng điều đó không ngăn chặn một người đã được xác minh từ bổ sung lao động MTurk của họ bằng một hệ thống tự động. Nó sẽ dễ dàng hơn nếu bạn thiết lập một đoạn mã kịch bản trên tài khoản của bạn để hoàn thành một loạt công việc trong khi bạn đang ngủ hoặc đi làm việc khác, ví dụ như.

“Khi hầu hết chúng ta nghĩ về bots, chúng ta nghĩ về các mạng lưới lớn của tội phạm, nhưng một bot chỉ là một công cụ để tự động hóa. Nó có thể được sử dụng bởi một cá nhân để nói, thay vì tôi kiếm được 5 đô la mỗi ngày trên Amazon Turk, tôi sẽ sử dụng nó để kiếm 20 đô la mỗi ngày. Điều này không nhất thiết là xâm phạm hay xấu xa, nhưng có một khu vực mơ hồ,” nói Reid Tatoris, phó chủ tịch phát triển sản phẩm và tiếp thị tại Distil Networks, công ty phát hiện và bảo vệ khách hàng khỏi các cuộc tấn công tự động và bots. “Nhưng điều này chắc chắn không tuân theo quy định,” ông thêm vào.

Trả lời với lo ngại về bot trong tuần này, một đại diện của Amazon cho biết công ty sẽ đình chỉ hoặc chấm dứt bất kỳ ai được phát hiện hoàn thành các nhiệm vụ MTurk bằng cách tự động. “Chúng tôi có cả cơ chế tự động và thủ công để phát hiện gian lận và lạm dụng dịch vụ bằng bots, và chúng tôi luôn cải tiến những cơ chế này khi chúng tôi phát hiện ra các hình thức lạm dụng mới,” đại diện nói.

Amazon không nói liệu có tăng lên trong hành vi tự động trên MTurk gần đây hay không, cũng như công ty không thảo luận về các ví dụ cụ thể về bots hoặc tài khoản.

“Điều này đã diễn ra từ đầu của Mechanical Turk, từ thuở nào,” nói Kristy Milland, người đã tiến hành nghiên cứu trên nền tảng và làm Turker trong 12 năm. Cô tự mô tả là một nhà hoạt động lao động MTurk, làm việc để khuyến khích trả công công bằng trên nền tảng. “Có một tá người tôi biết cá nhân chạy bots, và họ thoải mái với nó,” cô nói thêm rằng chỉ mất cô 30 giây để viết một đoạn mã kịch bản đơn giản để tự động điền thông tin khảo sát trên MTurk.

Diễn đàn dành cho người lao động MTurk đầy đủ cuộc trò chuyện về các đoạn mã kịch bản, một số trong số đó sẽ vi phạm các điều khoản của Amazon. Bạn cũng có thể tìm thấy video trên YouTube chỉ cho người lao động MTurk cách viết một đoạn mã kịch bản để tự động điền câu trả lời. Theo ý kiến của Milland, hành vi này ở một số mức nào đó là không tránh khỏi nhờ vào các chính sách của nền tảng.

“Người lao động Mechanical Turk đã bị đối xử thật sự, thật sự tồi tệ trong 12 năm, và vì vậy, ở một số khía cạnh, tôi nhìn nhận đây là một điểm chống lại," cô nói. "Nếu chúng ta được trả công công bằng trên nền tảng, không ai sẽ mạo hiểm tài khoản của họ như thế này.”

Bất kỳ ai phát hiện tài khoản bot có thể làm việc, hoặc một tài khoản vi phạm các điều khoản của MTurk, có thể thông báo cho Amazon qua một biểu mẫu liên lạc trên trang web. Milland nói cô đã gửi cho Amazon nhiều ID MTurk chạy bots, nhưng các tài khoản vẫn hoạt động.

“Họ không muốn thừa nhận [bots có trên nền tảng],” Milland nói. “Có đủ nhiều người không biết rằng một cái gì đó như vậy có thể xảy ra nên họ không muốn đưa ra thậm chí là một lời đồn về sự thật rằng đó là một khả năng. Vì vậy, họ sẽ không nói về nó. Tôi gửi đi. Tôi không nhận được bất kỳ phản hồi nào cả.”

Sự im lặng của Amazon về chủ đề này rất đáng chú ý, xét đến mức độ lo ngại giữa các nhà nghiên cứu. Các thành viên của nhóm Facebook nơi Bai đầu tiên đăng về MTurk nói họ đã liên lạc với Amazon trong tuần này, nhưng không báo cáo về việc nhận lại thông tin. Tuần trước, Bai đã tạo một bảng câu hỏi cho các nhà nghiên cứu—không phải trên MTurk—và hiện đang dẫn dắt một nỗ lực đồng cộng đồng giữa các nhà khoa học xã hội để xác định xem bao nhiêu dữ liệu xấu mà anh ấy đã thấy là mới, vấn đề lớn như thế nào, và làm thế nào để ngăn chặn nó. Anh ấy vẫn đang phân tích cuộc khảo sát đó, nhưng anh ấy dự định gửi nghiên cứu của họ đến Amazon với hy vọng rằng dữ liệu sẽ buộc công ty phải đáp ứng.

Nếu chúng ta nghĩ về cuộc thám hiểm của Bai như một thí nghiệm khoa học, chúng ta chỉ vượt qua giai đoạn giả thuyết ("Có thể có nhiều dữ liệu xấu trên MTurk, và có thể do bots") và đã bắt đầu chế độ thu thập dữ liệu. Kết quả vẫn chưa có.

Những Điều Tuyệt Vời Nhiều Hơn từ MYTOUR

• Chờ đợi Group FaceTime? Có nhiều lựa chọn
• Đoạn phim hoạt hình tuyệt vời về tuyết lở có thể cứu mạng bạn
• Làm thế nào để thực sự ngăn Google theo dõi vị trí của bạn
• Một hướng dẫn để tìm vé xem phim theo đăng ký của bạn
• Cát siêu bí mật làm cho chiếc điện thoại của bạn trở nên có thể
• Đang tìm kiếm thêm? Đăng ký nhận bản tin hàng ngày của chúng tôi và đừng bao giờ bỏ lỡ những câu chuyện tốt nhất của chúng tôi