AI 수화 번역 프로그램

프로젝트/AI수화

bumm 2024. 6. 13. 15:40

1. 배경 설명

청각장애인들이 주로 사용하는 수화

그러나 수화로는 비청각장애인들과의 소통이 어려움

그러므로 수화로도 서로 원활한 소통을 할 수 있는 프로그램의 제작이 필요하다고 느꼈음

영상인식 기술을 통해 수화를 인식하고 이를 텍스트로 번역해주는 프로그램을 목표로 함.

그러나 1달이라는 시간 동안 진행하므로 전체 수화가 아닌 알파벳, 또는 숫자를 인식하는 것을 목표로 삼음

화상 채팅에서 AI 기반으로 수화를 인식할 수 있는 프로그램을 만드는 것을 최종 목표로 한다.

- 주 사용 언어 : Python

- 딥러닝 : TensorFlow

- 데이터 수집 및 전처리 : OpenCV, Pandas

- 데이터셋 : AI-Hub에서 제공하는 수어 영상을 이용 예정(라벨링 완료된 파일들)

- 모델 구축 : CNN(이미지 분류/인식에 사용)

- 모델 학습 및 평가 : Keras(TensorFlow 내장 API)

- UI : Flask(파이썬 기반)

- 프론트엔드 : HTML, CSS, JavaScript, WebRTC

- 백엔드 : Flask