- WIPO 기술분류 전기 > 컴퓨터기술
- 표준산업분류 컴퓨터 프로그래밍, 정보서비스업
- 국가과학기술표준분류 건설/교통 > 도로교통기술
- 지식재산권 상태 등록
- 출원일/등록일 2018-09-21 / 2020-11-23
- 거래유형 양도/실시권설정 모두가능
- 기술료 조건 협의 후 결정
멀티모달 학습 기반의 운전자 상태 인식 시스템 및 그 방법
- 충남대학교 산학협력단
- 요약
- 본 발명은 운전자의 졸음 상태를 인식하는 기술에 관한 것으로, 본 발명의 일 실시예에 따른 멀티모달 학습 기반의 운전자 상태 인식 방법은 (a) 운전자의 생체 정보 및 상기 운전자의 얼굴 이미지 정보를 수신하는 단계; (b) 상기 수신한 얼굴 이미지 정보에 대한 특징을 추출하는 단계; (c) 상기 추출한 얼굴 이미지 정보에 대한 특징 및 상기 생체 정보에 기초하여 멀티-모달 네트워크(multi-modal network)를 형성하는 단계; (d) 상기 형성된 멀티-모달 네트워크의 출력값을 기 설정된 모드의 순서와 기 설정된 시간 순서에 따라 상기 출력값을 정렬하고, 상기 출력값을 조합함으로써 대표 정보를 생성하는 단계; 및 (e) 상기 생성된 대표 정보에 기초하여 운전자의 상태를 분류하는 단계를 포함할 수 있다.
- 대표청구항
- 운전자의 생체 정보 및 상기 운전자의 얼굴 이미지 정보를 수신하는 정보 수신부; 상기 수신한 생체 정보 및 얼굴 이미지 정보를 기설정된 기계학습 모델에 적용하여 학습하는 학습부; 및 상기 학습에 기초하여 상기 운전자의 상태를 분류하는 분류부를 포함하되, 상기 학습부는, 상기 정보 수신부에서 수신한 얼굴 이미지 정보에 대한 특징을 추출하는 특징 추출부; 상기 특징 추출부에서 추출한 얼굴 이미지 정보에 대한 특징 및 상기 생체 정보에 기초하여 멀티-모달 네트워크(multi-modal network)를 형성하는 멀티-모달 네트워크 형성부; 및 상기 멀티-모달 네트워크 형성부에서 형성된 멀티-모달 네트워크의 출력값을 기 설정된 모드의 순서와 기 설정된 시간 순서에 따라 상기 출력값을 정렬하고, 상기 출력값을 조합함으로써 대표 정보를 생성하는 대표 정보 생성부를 포함하고, 상기 멀티-모달 네트워크 형성부는 DBM(Deep Boltzmann Machine)을 이용하여 상기 얼굴 이미지 정보와 상기 생체 정보에 대한 각 모달리티를 재구성하고, 상기 멀티-모달 네트워크의 입력값으로서 상기 생체 정보 및 상기 얼굴 이미지 정보는 3초 단위로 자른 데이터이고, 기 설정된 상기 모드의 순서는 차례대로 눈 이미지 데이터, 입 이미지 데이터 및 광혈류측정(PPG) 데이터 순서이고, 상기 시간 순서는 1초 단위로 자른 데이터의 순서인 것을 특징으로 하는 멀티모달 학습 기반의 운전자 상태 인식 시스템.
문의 및 상담신청
팝업닫기