Skip to content

A Recognition of Lip Commands using a Motion Shape Descriptor

움직이는 모양 연산자를 이용한 입술 명령어 인식

Document Type
Publications · Journal Article
Registered DB
KCI
Journal
한국정보기술학회논문지18(11) · pp.1 · 2020
Citation
KCI 1
ISSN
1598-8619

Authors

  1. Kim, Seon-jongFirst author부산대학교
  2. Kwon, Hyeog Soong부산대학교
  3. Kim, Joo-Man부산대학교

Abstract

음성을 기반으로 하는 명령은 주변 환경이나 잡음에 따른 영향을 받는다. 본 논문에서는 소리가 아닌 입술의 모양으로 움직임을 추적하고, 주어진 명령어를 인식하는 SSD(Sequential Shape Descriptor) 연산자를 제안하였다. 이를 위해 먼저 입술의 모양을 표현하는 TCD(Triangular Centroid Distance) 연산자를 사용하고, 이들의 연속적인 움직임은 SSD 연산자로 표현하여 주어진 명령을 인식하도록 하였다. SSD 연산자는 윤곽선으로 나타나는 입술 모양을 주파수 영역으로 표현할 수 있어서, 크기, 위치 및 회전에 무관하게 인식될 수 있다. 일반적으로 사용되는 5개의 기계 명령어를 이용하여 CNN 기반 딥러닝에 실험한 결과, 96.3%의 높은 인식률을 얻을 수 있었다. 따라서 소리에 민감한 환경인 경우, 제안된 SSD 연산자를 이용한 인식이 소리 대체 수단으로 사용될 수 있음을 확인할 수 있었다.

Keywords

lip readinglip commandssequential shape descriptorlip motion

Identifiers

KCI
ART002649182