1. 배경 설명
청각장애인들이 주로 사용하는 수화
그러나 수화로는 비청각장애인들과의 소통이 어려움
그러므로 수화로도 서로 원활한 소통을 할 수 있는 프로그램의 제작이 필요하다고 느꼈음
영상인식 기술을 통해 수화를 인식하고 이를 텍스트로 번역해주는 프로그램을 목표로 함.
그러나 1달이라는 시간 동안 진행하므로 전체 수화가 아닌 알파벳, 또는 숫자를 인식하는 것을 목표로 삼음
화상 채팅에서 AI 기반으로 수화를 인식할 수 있는 프로그램을 만드는 것을 최종 목표로 한다.
2. 기술 스택
- 주 사용 언어 : Python
- 딥러닝 : TensorFlow
- 데이터 수집 및 전처리 : OpenCV, Pandas
- 데이터셋 : AI-Hub에서 제공하는 수어 영상을 이용 예정(라벨링 완료된 파일들)
- 모델 구축 : CNN(이미지 분류/인식에 사용)
- 모델 학습 및 평가 : Keras(TensorFlow 내장 API)
- UI : Flask(파이썬 기반)
- 프론트엔드 : HTML, CSS, JavaScript, WebRTC
- 백엔드 : Flask
3. 간략한 일정 계획
- 1주차: 데이터 수집 및 전처리
- 데이터 수집 및 전처리
- 공개된 한국 수화 데이터셋 활용 및 전처리
- 사전 학습된 MobileNetV2 모델 선택 및 학습
- 프레임 전처리 및 예측 함수 구현
- 실시간 비디오 스트리밍 설정 (HTML, JavaScript)
- 프레임 캡처 및 서버로 전송 기능 구현
- Flask 서버 설정 및 AI 모델 통합
- 모델 성능 평가 및 최적화
- 전체 시스템 통합 및 테스트
