[사진1. 전기전자공학과 손광훈 교수 연구팀]

  전기전자공학과 손광훈 교수 연구팀의 ‘딥러닝 기반 인간수준의 종합적인 비디오 이해 기술 개발’이 2019년, 과학기술정보통신부 및 한국과학기술기획평가원에서 실시한 국가연구개발 우수성과 100선에 선정되었다.

  현재 감성 컴퓨팅 분야에서 주목을 받고 있는 동영상기반 감정을 인식하는 기술은 딥러닝 학습을 위한 대용량 비디오 데이터베이스 부족으로 얼굴이 가려지거나 다양한 조명 및 장소 변화가 발생하는 비정제 동영상에서 적용하기 취약하여 실제 적용하는데 한계가 있다. 따라서 얼굴뿐만 아니라 장소 및 행동에 대한 상황 이해와 더불어 비정제 비디오를 기반으로 감정을 인식하는 기술 개발이 중요해지고 있다.

  손광훈 교수 연구팀은 딥러닝 학습에서 가장 문제가 되고 있는 대용량 고품질 학습 데이터를 확보하는 부담을 줄이고, 비디오 이해에 관련된 다양한 주제에 대해 효율적, 효과적인 학습이 가능하도록 약지도학습(weakly supervised) 방식의 자동 레이블링 알고리즘을 개발하였다. 또한 개발된 동영상 기반 감정 인식 기술은 주변 환경 상황에 대한 정보를 복합적으로 인식하고 융합하는 구조를 기반으로 하는 딥러닝 네트워크로 설계하였다. 이러한 데이터베이스 및 복합적 감정 인식 기술은 딥러닝을 활용한 차세대 머신 러닝 산업/학문의 성능 개선 및 다양한 어플리케이션 (비디오 종합적 이해, 활동 인지)에 활용 가능하며, 관련 기술들은 8편의 최우수 SCI논문 출판과 1건의 특허 출원을 통해 인공지능 분야의 원천기술을 확보하게 되었다.

  본 연구를 통해 행동, 환경, 그리고 감정 인식을 위한 모든 요소를 포함하고 있는 통합 데이터베이스를 구축하여 인간수준의 종합적 비디오 이해를 위한 연구를 가능하게 하며 세계적 통용 벤치마크로 활용되고 있다. 이를 이용하여 본 연구에서 개발한 기술은 기존의 딥러닝 기술로 추론하기 어려운 비정제 동영상의 한계(다양한 조명 및 장소 변화 및 얼굴 가림 등)를 극복하여 감정/행동/장소 등 비정제 비디오의 종합적 이해를 위한 요소들의 예측이 가능하다.

  본 연구에서 개발한 비정제 비디오에서의 행동, 장면, 감정을 인지하는 기술은 동영상 해석의 핵심기술로써 비디오 콘텐츠 안에 존재하는 감정/행동/장소를 예측 가능하여 대용량 동영상 콘텐츠 산업의 감성컴퓨팅 성장의 밑거름이 될 것으로 기대된다.

[그림1. 비정제 동영상 기반 주변 환경 인식을 통한 감정 인식 딥 네트워크 구조]