
Nếu một ngày nào đó chúng ta tạo ra những bộ não máy thông minh hơn con người về trí tuệ tổng quát, thì siêu trí tuệ này có thể trở nên vô cùng mạnh mẽ. Giống như số phận của loài khỉ đột hiện nay phụ thuộc vào con người nhiều hơn chính chúng, thì số phận của chúng ta cũng sẽ lệ thuộc vào hành động của siêu trí tuệ máy.
Thực ra, con người có một lợi thế: chúng ta có khả năng chế tạo ra những thứ như vậy. Về lý thuyết, chúng ta có thể tạo ra một siêu trí tuệ có ý thức bảo vệ các giá trị nhân loại, và chúng ta có lý do để làm điều đó. Tuy nhiên, vấn đề kiểm soát – làm sao để kiểm soát hành động của siêu trí tuệ – lại rất khó khăn. Chúng ta dường như chỉ có một cơ hội. Khi một siêu trí tuệ không thân thiện đã tồn tại, nó sẽ ngăn cản chúng ta thay thế hoặc thay đổi các ưu tiên của nó, và khi đó, số phận nhân loại sẽ bị định đoạt.
Trong cuốn sách này, tôi sẽ khám phá những thách thức từ viễn cảnh siêu trí tuệ và cách tối ưu để chúng ta đối phó với nó. Đây có thể là thách thức lớn nhất mà nhân loại từng đối mặt, và dù thành công hay thất bại, nó có thể là thách thức cuối cùng cho chúng ta.
Cuốn sách này không khẳng định chúng ta đang trên bờ vực của một đột phá lớn về trí tuệ nhân tạo, hay có thể dự đoán chính xác khi nào điều đó sẽ xảy ra. Có thể điều đó sẽ diễn ra trong thế kỷ này, nhưng chúng ta không biết chắc. Các chương đầu bàn về những lộ trình khả dĩ và thời điểm, nhưng phần lớn cuốn sách tập trung vào những gì xảy ra sau đó. Chúng tôi nghiên cứu động lực của một cuộc bùng nổ trí tuệ, các dạng và quyền năng của siêu trí tuệ, và các lựa chọn chiến lược cho một tác tử siêu trí tuệ. Sau đó, chúng tôi chuyển sang vấn đề kiểm soát và đặt câu hỏi về cách chúng ta có thể thiết lập các điều kiện ban đầu để sống sót và hưởng lợi. Cuối sách, chúng tôi sẽ suy ngẫm về bức tranh toàn cảnh từ nghiên cứu của mình và đưa ra một số khuyến nghị để tránh thảm họa trong tương lai.
Viết cuốn sách này không dễ dàng. Tôi hy vọng con đường đã mở ra sẽ giúp những người thám hiểm khác tiến xa nhanh hơn và dễ dàng hơn, để khi đến nơi, họ vẫn còn đầy sức sống và sẵn sàng mở rộng tầm hiểu biết của chúng ta. (Và nếu con đường đó có phần gập ghềnh quanh co, tôi hy vọng rằng những người đánh giá sẽ không coi nhẹ những khó khăn phải đối mặt!)
