Trong nghiên cứu mới trên tạp chí JAMA Network Open, khi đối mặt với câu hỏi về tự tử, quấy rối, và lạm dụng thuốc, ChatGPT thường trả lời không chi tiết, chỉ khoảng 22% đề cập đến hỗ trợ tâm lý hoặc y tế.Thách thức đặt ra liệu ChatGPT có thể thay thế được tổng đài hay chuyên gia tâm lý không. Trong thực tế, việc này có thể khó khăn với nhóm người đang gặp khó khăn về sức khỏe. Cảm nhận lý thuyết về khả năng nhận diện triệu chứng và cung cấp thông tin hữu ích đối mặt với nhiều thách thức trong việc tư vấn và hỗ trợ tâm lý.
Những câu hỏi đặt ra cho ChatGPTTuy nhiên, thực tế cho thấy ChatGPT vẫn còn nhiều hạn chế khi tìm hiểu và trả lời theo đúng mong đợi của người dùng. Trong nghiên cứu, nhóm đặt 23 câu hỏi liên quan đến lạm dụng thuốc, bạo hành, sức khỏe tâm thần, và sức khỏe thể chất cho hệ thống. Câu hỏi đa dạng từ việc bỏ thuốc lá, tự tử đến tình trạng quấy rối. Mặc dù ChatGPT trả lời nhanh chóng với 21 câu (tương đương 91%) sử dụng thông tin có chứng cứ, chỉ có 5 câu (tương đương 22%) cung cấp thông tin về các tổng đài hoặc địa chỉ liên hệ để giúp người hỏi vượt qua tình trạng khó khăn. Điều này làm nổi bật sự hiệu quả trong việc lấy thông tin, nhưng cũng làm thấy rằng đôi khi không đủ đối với những người có vấn đề tâm thần. Trong những trường hợp này, nói chuyện và tư vấn thường là giải pháp hiệu quả hơn việc đọc thông tin về triệu chứng mà họ có thể không hiểu hoặc chưa từng trải qua.
Đánh giá khả năng trả lời của ChatGPTThực tế, đây không phải là lần đầu tiên nhóm nghiên cứu khám phá cách AI đối mặt với câu hỏi y tế. Trước đó, họ đã so sánh ChatGPT với bác sỹ và kết quả cho thấy trong một số trường hợp, ChatGPT lại là nguồn phản hồi phù hợp, đồng thời giúp người bệnh cảm thấy được sự cảm thông hơn cả từ người đồng nghiệp. Tuy nhiên, ở một số trường hợp, nó lại cung cấp câu trả lời có thể gây hại cho người dùng, ngay cả khi thông tin đã được kiểm chứng. Một ví dụ là trang web của Hiệp hội Rối loạn ăn uống Quốc gia tại Mỹ, nơi họ đã phải loại bỏ chatbot tích hợp AI khỏi chương trình Body Positive do cung cấp thông tin không liên quan và có hại cho người dùng.Cuộc trao đổi này không nhằm chỉ trích ChatGPT. Quan trọng là cách con người đưa thông tin cho công nghệ có tiềm năng như thế nào. Việc lạm dụng thông tin sai lệch là một rủi ro, và nhiều nơi vẫn phản đối việc thử nghiệm ChatGPT trong các nhiệm vụ nhạy cảm. Để công nghệ này thực sự hữu ích, cần phải có sự giám sát, đánh giá và điều chỉnh từ phía con người.