[수어 연구소]로컬과 웹상의 모델 인식 차이 개선

안녕하세요. 우당탕탕 개발일지 입니다.

개발 중 자세한 기록이 중요하다고 생각해 개발이 거의 끝난 시점이지만 그동안의 고민과 질문을 기록하려고 합니다. 틀린 부분 있으면 댓글 남겨주시면 반영 하겠습니다. 

 

 

 

로컬에서 개발한 모델을 웹 상에 띄우니 너무 차이가 많이 나서 오늘은 그 문제를 몇가지 조정을 통해서 개선 해보았습니다. 

 

 

문제  :  지문자 인식률이 거의 98%에서 아예 인식 안되는 것도 몇몇 있는 정도로 성능이 낮아짐.

 

---

 

 

원인 1) 기존에는 서버로 보내서 판별하는 형식이 아니라 같은 프로젝트 내에 이미 모델이 존재했음.

하지만 좌우반전된 영상을 서버로 보내서 성능이 떨어진 것이였음. 

 

 

해결 1) 프론트에서 이미 좌우반전해서 서버로 보냄

→ 수어는 원래 좌우가 상관 없지만 데이터 촬영할때 오른손으로만 찍었기 때문에 다시 오른손으로만 촬영하는 방향으로 변경.

ctx.translate(canvas.width, 0);
ctx.scale(-1, 1);

//해당 값 삭제해서 좌우반전 없애주기 

 

 

 

EX) 안되던 ㅁ 인식됨.

 

---

원인 2) 지문자는 자모음 분류 : 자모음 상관없이 ㅕ,ㅓ가 과도하게 학습되어 해당 문자만 뜸

 

 

 해결2) 자음일때는 자음안에서만 찾고 모음일때는 모음 안에서만 top3안에 뜨게 변경함.

인식률이 기존보다 눈에 띄게 개선됨.

if allowed_labels:
    mask = torch.full_like(probs, float("-inf"))
    for idx, label in self.idx_to_label.items():
        if label in allowed_labels: // allowed_labels 값에 따라서 자모음을 구분함. 
            mask[0][idx] = probs[0][idx]
    probs = mask

 

 

---

원인 3) 지문자만 JPEG 품질이 낮음

해결 3) 수정전 : 0.6 → 수정 후 :0.8로 변경.

 

const b64 = canvas.toDataURL("image/jpeg", 0.6);

 

높을때 단점

• 웹 소켓의 전송량이 증가함
• 응답 지연 시간 증가
• 품질은 좋지만 부하가 커짐.

낮을떄 장점

• 가볍고 부하가 적음