XI International Workshop on Free and Open Source Software and Emerging Technologies
Event XI International Workshop on Free and Open Source Software and Emerging Technologies starts on Oct 14, 2025, 12:00:00 AM (America/Havana)
Development framework for realistic object handling with hand-tracking in virtual reality environments
(30 minutes)
Development framework for realistic object handling with hand-tracking in virtual reality environments
Omar Correa
Development framework for realistic object handling with hand-tracking in virtual reality environments
Omar Correa
Development framework for realistic object handling with hand-tracking in virtual reality environments

El seguimiento de manos en realidad virtual (RV) ofrece interacciones intuitivas sin controladores, pero su adopción enfrenta desafíos técnicos y de diseño, como la falta de retroalimentación táctil, la necesidad de visibilidad constante de las manos y limitaciones en precisión. Este artículo propone un marco estructurado para desarrollar sistemas de RV donde el seguimiento manual es la entrada principal, estructurado en dos pilares: aspectos de diseño y procesos de interacción. En el diseño, se priorizan entornos virtuales con física realista, donde objetos incluyen asas, hendiduras o superficies texturizadas que guían agarres naturales. Técnicas de retroalimentación visual—como brillo en puntos de contacto, degradados en dedos al acercarse a objetos, y deformación de mallas para simular tacto—mejoran la inmersión y confianza del usuario. Las manos virtuales son personalizables en apariencia (género, edad, etnia) para fomentar inclusividad, manteniendo precisión esquelética para movimientos realistas. En la interacción, se privilegia el agarre físico (alinear manos virtuales con la geometría de objetos) sobre métodos no físicos o basados en rayos. La locomoción emplea teletransporte adaptado: con una mano para multitarea (ej: sostener objetos mientras se navega) y con dos manos para simplicidad en usuarios novatos. Como validación, el marco se integró en Unity con dispositivos Ultraleap, aprovechando su motor físico para comportamientos realistas y su seguimiento de alta precisión. Esto permitió crear simuladores inmersivos, como entrenadores médicos para procedimientos quirúrgicos, donde usuarios practican habilidades motoras sin controladores.

Futuras mejoras incluyen ampliar gestos y optimizar detección de colisiones. No obstante, este marco establece una base escalable para aplicaciones de RV centradas en el usuario, equilibrando realismo y accesibilidad en sectores como educación, salud y entrenamiento técnico.