Trong buổi ra mắt, ngoài khả năng điều khiển bằng giọng nói, Apple Vision Pro còn cho phép sử dụng cử chỉ ngón tay và bàn tay. Chi tiết về cách công nghệ hoạt động vẫn là bí mật, nhưng có tin đồn về sự sáng tạo trong việc nhận diện chuyển động mắt và đa dạng của phần mềm có thể mang lại nhiều trải nghiệm độc đáo.Chiếc kính AR Apple Vision Pro không chỉ đơn giản là thiết bị giải trí, mà còn là một công cụ đa nền tảng có khả năng xử lý công việc và tác vụ như máy tính hay thiết bị cầm tay. Sự trải nghiệm mà nó mang lại được đánh giá cao và hứa hẹn vượt xa so với các sản phẩm khác trên thị trường.Bộ xử lý Thần kỳ của Apple Vision Pro
Ultraleap đã chia sẻ rằng, để kích hoạt tính năng điều khiển bằng cử chỉ tay, phần cứng cần phải đơn giản. Hệ thống cần ít nhất 2 camera (gọi là IR camera) để thu thập hình ảnh không gian 3 chiều (3D), và cần có đèn LED hồng ngoại (LED illumianators) để 'soi sáng' vật thể và đồng bộ với tốc độ khung hình mà camera thu thập được.
Với thiết kế của các thiết bị phần cứng cần thiết, công nghệ này có thể gặp những giới hạn cụ thể mà những nhà sản xuất hay thiết kế cần phải đối mặt. Chẳng hạn, Ultraleap đã nâng cấp công nghệ camera với góc nhìn tối đa lên đến 170 độ cả chiều ngang và chiều dọc, cho phép nhận diện cử chỉ tay để điều khiển trong phạm vi từ 10-75cm tính từ mắt người về phía trước.
Để có khả năng nhận diện cử chỉ tay, khoảng cách chính là yếu tố quyết định do hệ thống LED illuminators chỉ 'chiếu sáng' trong một phạm vi nhất định. Mặc dù camera IR có góc rộng, nhưng chỉ có thể 'nhìn' thấy các vật thể được chiếu sáng bởi LED illuminators, các vật thể khác di chuyển đều không ảnh hưởng.
Có thể tưởng tượng, dữ liệu từ camera IR kết hợp với LED illuminators mang lại sự chính xác, theo dõi vật thể chuyển động trong không gian 3 chiều, không bị hạn chế về vị trí miễn là chúng di chuyển, đặc biệt là đôi bàn tay.Phần mềm theo dõi cử chỉ tay hiện đại
Sau khi có dữ liệu từ thiết bị, bước tiếp theo là cần một hệ thống phần mềm để đọc và xử lý dữ liệu thu thập. Theo Ultraleap, họ sẽ tái tạo hình ảnh 3D của các khớp cử động trên bàn tay, từ đó có thể gán các nhiệm vụ hoặc theo dõi cử chỉ chính xác của bàn tay, có thể là một hay nhiều ngón tay.
Chắc chắn, những nhà sản xuất đã 'dạy' cho phần mềm hàng ngàn kịch bản chuyển động của tay để nâng cao độ chính xác của cử chỉ. Với Apple, họ tích hợp hệ thống nhận diện cử chỉ từ mống mắt để xác định khu vực mà người dùng muốn tương tác trong không gian 3 chiều, đây có vẻ như là công nghệ độc đáo của Apple, không chỉ là việc đọc hiểu và ứng dụng công nghệ điều khiển bằng cử chỉ.Trong ứng dụng thực tế đầy sáng tạo
BMW áp dụng công nghệ với nguyên tắc tương tự như đã mô tả trước đó, sử dụng hệ thống camera IR và đèn LED hồng ngoại làm cốt lõi. Tuy nhiên, khu vực nhận diện cử chỉ có hạn chế và tốc độ xử lý phụ thuộc vào cấu hình phần cứng và phần mềm.Kết luận tạm thời
Apple luôn khéo léo sử dụng công nghệ hiện đại để biến nó thành một trải nghiệm hấp dẫn. Công nghệ điều khiển bằng cử chỉ có khả năng được thêm vào danh sách đó. Lịch sử đã chứng minh, cách đây khoảng 15 năm, đã có ý tưởng và phần mềm sử dụng camera để theo dõi cử chỉ và biến nó thành thao tác điều khiển. Leap Motion, sau khi được mua lại vào năm 2019, đã tiếp tục phát triển chiếc kính có khả năng thực hiện điều tương tự như chiếc kính của Apple.
Điểm độc đáo và nổi bật nằm ở cách giao diện hoạt động, cùng với cách kết hợp linh hoạt với công nghệ điều khiển bằng cử chỉ tay. Video giới thiệu của Apple cho thấy tính hoàn hảo hơn so với những hệ thống điều khiển bằng cử chỉ khác trên thị trường.