Sử dụng một máy ảnh thu nhỏ và mạng lưới thần kinh sâu tùy chỉnh, các nhà nghiên cứu của Cornell đã phát triển một dây đeo cổ tay đầu tiên thuộc loại này theo dõi toàn bộ tư thế cơ thể ở dạng 3D.
BodyTrak là thiết bị đeo đầu tiên theo dõi tư thế toàn bộ cơ thể bằng một camera duy nhất. Cheng Zhang, trợ lý giáo sư khoa học thông tin và là tác giả chính của bài báo cho biết, nếu được tích hợp vào các đồng hồ thông minh trong tương lai, BodyTrak có thể thay đổi cuộc chơi trong việc theo dõi cơ chế cơ thể người dùng trong các hoạt động thể chất, nơi độ chính xác là rất quan trọng.
>> Tham khảo: Thiết bị truyền động tĩnh điện công suất cao để nhận ra cơ bắp nhân tạo.
Zhang cho biết: “Vì đồng hồ thông minh đã có camera nên công nghệ như BodyTrak có thể hiểu được tư thế của người dùng và đưa ra phản hồi theo thời gian thực. “Tiện dụng, hợp túi tiền và không giới hạn khu vực di chuyển của người dùng.”
Một bài báo tương ứng, “BodyTrak: Inferring Full-body Poses from Body Silhouettes Using a Miniature Camera on a Bracelet,” đã được xuất bản trong Kỷ yếu của Hiệp hội Máy tính (ACM) về Công nghệ Tương tác, Di động, Thiết bị đeo được và Phổ biến, và được trình bày vào tháng 9 tại UbiComp 2022, hội nghị quốc tế ACM về điện toán phổ biến và phổ biến.
BodyTrak là hệ thống cảm biến cơ thể mới nhất của SciFiLab — có trụ sở tại Đại học Khoa học Thông tin và Máy tính Cornell Ann S. Bowers — một nhóm trước đây đã phát triển và tận dụng các mô hình học sâu tương tự để theo dõi chuyển động của bàn tay và ngón tay, nét mặt và thậm chí cả nhận dạng giọng nói im lặng.
>> Tham khảo: Quang xúc tác: Các quá trình phân tách điện tích được ghi lại bằng thực nghiệm.
Bí mật của BodyTrak không chỉ nằm ở chiếc máy ảnh có kích thước bằng đồng xu trên cổ tay mà còn ở mạng lưới thần kinh sâu tùy chỉnh đằng sau nó. Mạng lưới thần kinh sâu này — một phương pháp AI huấn luyện máy tính học hỏi từ những sai lầm — đọc các hình ảnh thô sơ của máy ảnh hoặc “hình bóng” của cơ thể người dùng đang chuyển động và hầu như tạo lại 14 tư thế cơ thể ở chế độ 3D và trong thời gian thực.
Nói cách khác, mô hình điền chính xác và hoàn thành một phần hình ảnh do máy ảnh chụp được, Hyunchul Lim, nghiên cứu sinh tiến sĩ trong lĩnh vực khoa học thông tin và là tác giả chính của bài báo cho biết.
Lim cho biết: “Nghiên cứu của chúng tôi cho thấy rằng chúng ta không cần khung cơ thể của mình nằm hoàn toàn trong tầm nhìn của camera để cảm nhận cơ thể. “Nếu chúng tôi chỉ có thể chụp được một phần cơ thể của mình, thì đó là rất nhiều thông tin để suy luận nhằm tái tạo lại toàn bộ cơ thể.”
Zhang và Lim cho biết việc duy trì quyền riêng tư cho những người ngoài cuộc ở gần ai đó đeo thiết bị cảm biến như vậy là mối quan tâm chính đáng khi phát triển các công nghệ này. Họ cho biết BodyTrak giảm thiểu những lo ngại về quyền riêng tư cho những người ngoài cuộc vì máy ảnh hướng về phía cơ thể người dùng và chỉ thu thập một phần hình ảnh cơ thể của người dùng.
>> Tham khảo: Một nửa số cây nhiệt đới được trồng lại không sống sót.
Họ cũng nhận ra rằng đồng hồ thông minh ngày nay chưa có camera nhỏ hoặc đủ mạnh và thời lượng pin phù hợp để tích hợp cảm biến toàn thân, nhưng sẽ có trong tương lai.
Cùng với Lim và Zhang, các đồng tác giả của bài báo là Matthew Dressa ’22, Jae Hoon Kim ’23 và Ruidong Zhang, nghiên cứu sinh tiến sĩ trong lĩnh vực khoa học thông tin; Yaxuan Li của Đại học McGill; và Fang Hu của Đại học Jian Tong Thượng Hải.
