Barracuda :: BodyPix

 

BodyPixSentis는 Unity의 Sentis 신경망 추론 라이브러리를 활용하여 BodyPix 모델을 구현한 프로젝트입니다.

주요 기능:

• 사람 분할(Segmentation): 이미지나 비디오에서 사람의 영역을 분리합니다.
• 포즈 추정(Pose Estimation): 사람의 관절 위치를 추정하여 자세를 인식합니다.

시스템 요구 사항:

• Unity 2020.3 LTS 이상 버전이 필요합니다.

ONNX 파일에 대하여:

• 원본 BodyPix 모델(tfjs 형식)을 ONNX 형식으로 변환하여 사용합니다.
• 변환 과정에 대한 자세한 내용은 Colab 노트북을 참고하세요.

ResNet 지원:

• ResNet 아키텍처(더 정확하지만 느리고 큰 모델)를 지원합니다.
• 파일 크기 제한으로 인해 해당 ONNX 파일은 패키지에 포함되어 있지 않으며, 여기에서 다운로드할 수 있습니다.
• 이러한 모델을 사용하려면 새로운 BodyPix ResourceSet 파일을 생성하고, 모델, 아키텍처, 스트라이드 필드를 적절히 설정해야 합니다.

설치 방법:

1. Unity 프로젝트의 Project Settings에서 Package Manager를 엽니다.
2. Scoped Registries 목록에 다음 정보를 추가합니다:
   • Name: Keijiro
   • URL: https://registry.npmjs.com
   • Scope: jp.keijiro
3. 이제 Package Manager의 My Registries 섹션에서 해당 패키지를 설치할 수 있습니다.

참고 사항:

• 현재 다중 인물 지원은 구현되어 있지 않으며, 단일 인물에 대한 분할 및 포즈 추정만 가능합니다.
• 키포인트 데이터에 접근하기 위한 C# 인터페이스가 제공되어, 각 관절의 위치 정보를 활용할 수 있습니다.

자세한 내용과 최신 정보는 GitHub 저장소를 참고하시기 바랍니다.

 

https://github.com/keijiro/BodyPixSentis

GitHub - keijiro/BodyPixSentis: BodyPix for Unity Sentis

 

https://www.youtube.com/watch?v=kE_xlG8OAm0