Barracuda :: BlazePalm /HandLandmark/ HandPose

BlazePalm(손바닥 인식 , 가벼운 모델)

BlazePalmBarracuda는 Unity의 Barracuda 신경망 추론 라이브러리를 활용하여 MediaPipe BlazePalm 모델을 구현한 경량 손 검출기입니다.

주요 기능:

• 실시간 손 검출: 이미지나 비디오에서 손을 실시간으로 탐지하여 다양한 애플리케이션에 활용할 수 있습니다.

모델 정보:

• 이 프로젝트에 포함된 ONNX 모델 파일은 Colab 노트북을 통해 변환되었으며, ONNX 호환성 문제를 해결하기 위한 추가 작업이 수행되었습니다.

시스템 요구 사항:

• Unity 2020.3 LTS 이상 버전이 필요합니다.

설치 및 사용 방법:

1. 이 저장소를 클론하거나 다운로드하여 Unity 프로젝트에 추가합니다.
2. 프로젝트 설정에서 Barracuda 패키지가 설치되어 있는지 확인합니다.
3. 제공된 예제 장면을 열어 기능을 테스트하거나, 자신의 프로젝트에 스크립트와 리소스를 통합하여 사용합니다.

참고 사항:

• 일부 사용자들은 손 추적 성능 향상에 대한 필요성을 제기하였으며, 이는 향후 최적화를 통해 개선될 수 있습니다.

자세한 내용과 최신 정보는 GitHub 저장소를 참고하시기 바랍니다.

 

https://github.com/keijiro/BlazePalmBarracuda

GitHub - keijiro/BlazePalmBarracuda: Lightweight hand detection model for Unity Barracuda

 

 

---

HandLandmarkBarracuda

HandLandmarkBarracuda는 Unity의 Barracuda 신경망 추론 라이브러리를 활용하여 MediaPipe Hand Landmark 모델을 구현한 손 랜드마크 감지기입니다.

주요 기능:

• 실시간 손 랜드마크 감지: 이미지나 비디오에서 손의 21개 주요 지점을 실시간으로 탐지하여 제스처 인식, 손 추적 등 다양한 애플리케이션에 활용할 수 있습니다.

모델 정보:

• 이 프로젝트에 포함된 ONNX 모델 파일은 tflite2onnx 도구를 사용하여 변환되었습니다.

시스템 요구 사항:

• Unity 2020.3 LTS 이상 버전이 필요합니다.

설치 및 사용 방법:

1. 이 저장소를 클론하거나 다운로드하여 Unity 프로젝트에 추가합니다.
2. 프로젝트 설정에서 Barracuda 패키지가 설치되어 있는지 확인합니다.
3. 제공된 예제 장면을 열어 기능을 테스트하거나, 자신의 프로젝트에 스크립트와 리소스를 통합하여 사용합니다.

참고 사항:

• 실제 웹캠을 사용하려면 Webcam Input 컴포넌트의 Dummy Image 속성을 비워야 합니다.
• 이 손 랜드마크 감지기를 효과적으로 사용하려면 손 영역을 먼저 감지하는 BlazePalm과 같은 손 검출기가 필요합니다.

자세한 내용과 최신 정보는 GitHub 저장소를 참고하시기 바랍니다.

 

https://github.com/keijiro/HandLandmarkBarracuda

GitHub - keijiro/HandLandmarkBarracuda: Hand landmark detector for Unity Barracuda

 

---

HandPoseBarracuda

 

HandPoseBarracuda는 Unity의 Barracuda 신경망 추론 라이브러리를 활용하여 MediaPipe Hands 모델을 부분적으로 구현한 손 및 손가락 추적 솔루션입니다.

주요 기능:

• 실시간 손 및 손가락 추적: 단일 RGB 카메라를 통해 손과 손가락의 움직임을 실시간으로 추적합니다.

특징 및 제한 사항:

• 단일 손 추적: 현재 구현은 한 번에 하나의 손만 추적할 수 있습니다. 여러 손을 추적하려면 시스템을 재설계해야 합니다.
• 2D 위치 및 상대 깊이 지원: 화면 공간에서의 2D 위치와 손바닥으로부터의 상대적인 깊이만 지원합니다. 3D 애플리케이션을 위해서는 화면에서 세계 공간으로의 변환 기능을 추가로 구현해야 합니다.

관련 프로젝트:

• BlazePalmBarracuda: 경량 손 검출기
• HandLandmarkBarracuda: 손/손가락 랜드마크 감지기

자세한 내용과 최신 정보는 GitHub 저장소를 참고하시기 바랍니다.

 

https://github.com/keijiro/HandPoseBarracuda

GitHub - keijiro/HandPoseBarracuda: Hand and finger tracking solution (MediaPipe Hands) for Unity Barracuda