충남대학교 산학협력단
이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템
-
WIPO 기술분류
전기 > 컴퓨터기술
-
표준산업분류
컴퓨터 프로그래밍, 정보서비스업
-
국가과학기술표준분류
건설/교통 > 도로교통기술
-
지식재산권 상태
등록
-
출원일/등록일
2018-12-12 / 2020-03-27
-
거래유형
양도/실시권설정 모두가능
-
기술료 조건
협의 후 결정
- 요약
- 본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템은 운전자의 얼굴 이미지로부터 눈과 입의 위치정보를 추출하고, 동시에 상기 운전자의 PPG(Photoplethysmogram:생리학 데이터)를 수집하는 전처리부; 상기 눈과 입의 위치정보를 상기 PPG와 하나로 융합하는 멀티모달 네트워크; 및 상기 멀티모달 네트워크에서 융합된 눈과 입의 위치정보를 상기 PPG와 융합한 융합 데이터를 가지고 운전자의 졸음상태를 파악하는 분류 네트워크;를 포함하여 운전자의 이미지 데이터(눈, 입)와 생리학 데이터(PPG) 모두 고려함으로써 정확도 높은 운전자의 졸음상태를 파악할 수 있는 효과가 있다.
- 대표청구항
- 운전자의 얼굴 이미지로부터 눈과 입의 위치정보를 추출하고, 동시에 상기 운전자의 PPG(Photoplethysmogram:생리학 데이터)를 수집하는 전처리부; 상기 눈과 입의 위치정보를 상기 PPG와 하나로 융합하는 멀티모달 네트워크; 및 상기 멀티모달 네트워크에서 융합된 눈과 입의 위치정보를 상기 PPG와 융합한 융합 데이터를 가지고 운전자의 졸음상태를 파악하는 분류 네트워크;를 포함하고, 상기 전처리부는 차량 내에 장착된 카메라가 촬영한 운전자 얼굴 이미지를 수신하여 수집하는 이미지 수집부; 상기 운전자 얼굴 이미지로부터 눈과 입의 위치정보를 추출하는 주제어부; 및 상기 운전자의 혈류량 변화를 통하여 심박수를 측정한 값인 PPG를 수집하는 PPG 수집부;를 포함하고, 상기 주제어부는 상기 PPG 수집부가 수집한 PPG를 표준화하고, 상기 멀티모달 네트워크는 상기 전처리부에서 전달되는 눈과 입의 위치정보 데이터를 수신하여, 해당 눈과 입의 특징을 추출하는 컨볼루션 신경망; 상기 컨볼루션 신경망에서 추출한 상기 눈과 입의 특징을 하나의 레이어로 재구성하는 레이어 재구성부; 및 상기 레이어와 상기 주제어부에 의해 표준화한 PPG를 하나의 JR(Joint Representation)로 융합하여 구성하는 JR 구성부;를 포함하고, 상기 JR 구성부는 상기 컨볼루션 신경망이 추출한 눈과 입의 특징과, 상기 주제어부(120)가 표준화한 PPG를 시간순으로 정렬하는 정렬 방식(Sorting)으로 융합하여 하나의 데이터로 재구성하는 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템.