본 발명의 실시 예는 행동 프레임 검출 모델을 이용하여 행동 프레임을 검출하는 방법에 있어서, 동영상 데이터를 입력받는 단계, 상기 동영상 데이터의 특징을 추출하는 단계, 상기 동영상 데이터의 특징을 이용하여 포인트 레이블 모델에 입력하여 1차 행동 프레임을 검출하는 단계, 상기 1차 행동 프레임의 세그먼트 레벨의 행동 클래스 스코어 및 세그먼트 레벨의 배경스코어에 기초한 최종스코어를 도출하는 단계, 상기 최종 스코어와 포인트 레이블을 이용하여 최적 시퀀스를 탐색하는 단계, 상기 최적 시퀀스를 일종의 유사 레이블 (pseudo label)로 이용하여 스코어 대조 손실값 (score contrastive loss) 및 특징 대조 손실값 (feature contrastive loss)을 계산하는 단계 및 상기 스코어 대조 손실값 및 특징 대조 손실값 각각에 가중치를 부여하여 손실함수를 최적화함으로써 상기 행동 프레임 검출 모델을 업데이트하는 단계를 포함하는 행동 프레임 검출 방법을 개시한다.