Buzz
Khi tôi đánh giá chiếc kính thực tế ảo dành riêng cho gaming từ Sony, PlayStation VR2, vào đầu năm 2023, tôi đã đề cập đến khả năng theo dõi chuyển động của giác mạc để giúp giảm tải đồ họa và đảm bảo tốc độ khung hình mượt mà từ 60 đến 120Hz trên PS5.
Thực tế là, nếu không quay lại những đoạn video khi chơi game với PS VR2, bạn sẽ khó nhận ra công nghệ đắt đỏ đằng sau sự mượt mà của VR và AR trên nền tảng xử lý hiện tại. Công nghệ này được gọi là foveated rendering, chỉ khi nhìn vào màn hình của kính thực tế ảo Sony, bạn mới thấy được sự giảm chi tiết đồ họa đáng kể, từ chất lượng texture đến độ phân giải, điều này không thể nhìn thấy khi bạn đang đeo kính chơi game.
Vì sao hệ thống camera hồng ngoại và cảm biến bên trong kính đồng loạt nhận diện giác mạc, kích thích máy chơi game ngay lập tức nâng cấp đồ họa ở vị trí mà mắt đang nhìn. Mọi trò chơi như Gran Turismo 7 và Horizon: Call of the Mountains đều đẹp mắt và mượt mà, loại bỏ hoàn toàn nguy cơ gây say cho người sử dụng kính.
Khi Apple Vision Pro xuất hiện, người dùng trải nghiệm sản phẩm giá 4 nghìn USD của Apple thấy ngay sự tương đồng với PS VR2 một năm trước. Công nghệ GPU của chip M2 áp dụng giải pháp này để đảm bảo hình ảnh mượt mà mà không gây áp lực quá lớn lên chip M2.
Giới thiệu lần đầu vào năm 2014, foveated rendering hứa hẹn giảm tải đồ họa khi chơi game. Hoạt động như thị giác con người, tập trung vào một điểm cố định và làm mờ xung quanh. Thí nghiệm đơn giản: chú ý vào một điểm, mọi thứ xung quanh trở nên mờ mịt, nhấn mạnh khái niệm thị giác ngoại vi. Mặc dù nhìn thấy xung quanh nhưng không rõ nét như thứ đang tập trung quan sát.
Yếu tố thị giác ngoại vi là cơ sở cho sự phát triển của foveated rendering.
Đầu tiên, khi render hình ảnh trong thế giới VR/AR, cả game và ứng dụng khác đều phải đối mặt với nhiều thách thức. Điều quan trọng nhất là cử động của cổ và đầu người dùng. Xem các video trải nghiệm với các loại kính VR như PS VR2, Meta Quest 3, và gần đây là Apple Vision Pro, đầu người đeo có thể cố gắng giữ cố định, nhưng hình ảnh vẫn rung lắc. Do đó, phần cứng render hình ảnh phải đồng bộ chặt chẽ với những cử động này để tránh cảm giác buồn nôn khi đeo kính.Thứ hai, là vùng quan sát. Giới hạn tối đa của tầm nhìn ngang và góc nhìn ngoại vi của con người là 220 độ. Để hỗ trợ trải nghiệm chân thực, kính VR/AR càng phải mở rộng vùng nhìn, tạo áp lực lớn hơn cho phần cứng.
Thứ ba, là khả năng phân cực hình ảnh để tạo chiều sâu. Kính VR/AR thường sử dụng hai màn hình cho mỗi mắt để tạo ấn tượng chiều sâu. Trái ngược với phương pháp trên PC và console, nơi hình ảnh thường được render một lần rồi sau đó phân cực cho hai màn hình trong kính. Điều này đòi hỏi phần cứng render hình ảnh phải điều chỉnh một cách chính xác để đảm bảo hình ảnh thật sự chân thực.
Hôm nay là thứ Tư, để giảm khả năng gặp tình trạng 'say xe' khi theo dõi hình ảnh trên kính thực tế tăng cường, tốc độ khung hình dao động từ 90 đến 120 FPS. Việc đạt được 60 FPS ở độ phân giải 4K đã là thách thức lớn với các giải pháp như PS5, và rất đắt đỏ trên PC. Đối diện với VR hoặc AR, hình ảnh phải đạt chất lượng 4K hoặc cao hơn, vì màn hình chỉ cách đôi mắt khoảng vài centimet, hơn nữa còn phải mượt mà để tránh cảm giác 'say'.
Những thách thức này đưa chúng ta đến với kỹ thuật foveated rendering. Điều này không phải là giải pháp duy nhất để tối ưu hình ảnh trên kính AR/VR. Việc render hình ảnh trên các kính thực tế tăng cường luôn đòi hỏi sự đánh đổi giữa chất lượng hình ảnh và tốc độ khung hình. Do đó, việc thấy một tựa game VR xuất sắc với đồ họa chân thực như trên PC và console là điều hiếm gặp.
Trung tâm của công nghệ foveated rendering là khả năng nhận diện vị trí võng mạc, để đảm bảo rằng chi tiết ở vị trí mắt của người chơi là nét, đẹp và ấn tượng nhất. Mọi chi tiết xung quanh sẽ bị làm mờ và giảm độ phân giải. Điều quan trọng tiếp theo là độ chính xác của hệ thống nhận diện võng mạc, để hình ảnh ở các vị trí khác có thể trở nên rõ nét ngay lập tức.
Có hai phương pháp foveated rendering. Phương pháp đầu tiên tưởng chừng đơn giản nhưng hầu như không hữu ích, được gọi là fixed/static foveated rendering. Kỹ thuật này giả định rằng cả hai võng mạc của người đeo kính thực tế tăng cường luôn tập trung vào trung tâm của màn hình, và những gì ở phía giữa màn hình sẽ có độ nét cao nhất, trong khi chi tiết xung quanh sẽ bị làm mờ. Điều này yêu cầu người dùng kính XR phải giữ chặt trung tâm màn hình, chỉ cần quay đầu và cổ để theo dõi thế giới ảo render trên hai màn hình của kính.
Còn phương pháp thứ hai, dynamic foveated rendering, là đỉnh cao của công nghệ thực tế tăng cường hiện đại. Theo mô tả của Tobii, dynamic foveated rendering sử dụng khả năng theo dõi mắt để chỉ render một vùng rất nhỏ trên hai màn hình của kính XR ở chất lượng cao nhất. Rồi từ vùng hình ảnh màu xám và xanh nhạt như trong hình minh họa dưới đây, chất lượng, độ nét và độ phân giải hình ảnh sẽ giảm dần để tận dụng khả năng thị giác ngoại vi của mắt người:
Nhờ vào việc giữ vùng hình ảnh chất lượng cao trên màn hình rất nhỏ so với tổng diện tích hiển thị của hai màn hình, dynamic foveated rendering giúp giảm áp lực render hình ảnh cho phần cứng của kính thực tế tăng cường một cách đáng kể.
Trong tài liệu nghiên cứu khoa học về công nghệ foveated rendering của bốn nhà nghiên cứu tại trường đại học Maryland, Mỹ công bố vào năm 2022, họ chia sẻ kết quả nghiên cứu, chỉ ra rằng vùng nhìn thực tế mà đôi mắt con người thực sự tập trung vào trong màn hình kính XR chỉ là 20 độ. Trong thử nghiệm với kính VR năm 2016, chỉ có 4% tổng số điểm ảnh nằm trong vùng nhìn của người đeo, 96% còn lại nằm trong tầm nhìn ngoại vi, nơi mắt không chú ý kỹ, việc render chúng ở chất lượng cao là lãng phí.
Đối với Tobii, họ đã thử nghiệm công nghệ này trên kính Pico, hình ảnh được render từ Unity Engine, và GPU được giảm tải đến 72%. Lượng tài nguyên tính toán này có thể được sử dụng để nâng cao chất lượng hình ảnh hiển thị trong kính, cũng như hiển thị nhiều thông tin, cửa sổ hình ảnh và chi tiết đồ họa hơn trong các ứng dụng thực tế tăng cường.
Mặc dù công nghệ đã tồn tại từ nhiều năm, nhưng đến nay, số lượng kính hỗ trợ foveated rendering mặc định còn đếm trên đầu ngón tay: Meta Quest Pro, Varjo Aero, Pimax Crystal, Sony PlayStation VR2, và mới nhất là Apple Vision Pro. Trong bức hình cover, dễ dàng nhận biết những vị trí foveated rendering hoạt động trên Apple Vision Pro, và có thể nhận ra vùng tập trung của đôi mắt của mod Tùng Trịnh. So với PS VR2, hình ảnh làm mờ và giảm chất lượng trên Apple Vision Pro nhìn mịn màng hơn nhiều, có lẽ nhờ vào sức mạnh của GPU trên con chip M2 tích hợp bên trong kính.
