Summary
우리는 간단하고 편안하고 빠른 낙하 감지 및 인간 활동 인식 시스템을 구성하는 멀티 모달 센서를 기반으로하는 방법론을 제시합니다. 목표는 쉽게 구현하고 채택 할 수있는 정확한 낙하 감지시스템을 구축하는 것입니다.
Abstract
이 백서는 멀티모달 센서를 기반으로 간단하고 편안하며 빠른 낙하 감지 및 쉽게 구현및 채택할 수 있는 인간 활동 인식 시스템을 구성하는 방법론을 제시합니다. 이 방법론은 특정 유형의 센서 구성, 기계 학습 방법 및 절차를 기반으로 합니다. 프로토콜은 (1) 데이터베이스 생성 (2) 데이터 분석 (3) 시스템 단순화 및 (4) 평가의 네 단계로 나뉩니다. 이 방법론을 사용하여 낙하 감지 및 인간 활동 인식, 즉 UP-Fall 감지를 위한 멀티모달 데이터베이스를 만들었습니다. 그것은 3 개의 시험 도중 5가지 폭포의 모형 및 6개의 다른 간단한 활동을 능력을 발휘하는 17명의 과목에서 데이터 표본으로 구성됩니다. 모든 정보는 웨어러블 센서 5개(삼축 가속도계, 자이로스코프 및 광강도), 1개의 뇌파 헬멧, 6개의 적외선 센서를 주변 센서로, 측면 및 전면 시야에 있는 카메라 2대를 사용하여 수집되었습니다. 제안된 새로운 방법론은 낙하 감지 시스템을 단순화하기 위해 다음과 같은 설계 문제에 대한 심층 분석을 수행하기 위한 몇 가지 중요한 단계를 추가합니다: a) 간단한 낙하 감지 시스템에서 사용될 센서 또는 센서 조합을 선택하고, b) 정보 소스의 최상의 배치를 결정하고, c) 추락 및 인간 활동 감지 및 인식에 가장 적합한 기계 학습 분류 방법을 선택합니다. 문헌에 보고된 일부 다중 모드 접근법은 위에서 언급한 문제 중 하나 또는 두 개에만 초점을 맞추고 있지만, 당사의 방법론은 인간의 추락 및 활동 감지 및 인식 시스템과 관련된 세 가지 설계 문제를 동시에 해결할 수 있도록 합니다.
Introduction
인구 고령화 현상이1로세계적으로 증가하고 있기 때문에, 가을 유병률은 증가하고 실제로 주요 건강 문제로 간주됩니다2. 추락이 발생하면 사람들은 부정적인 결과를 줄이기 위해 즉각적인주의가 필요합니다. 낙하 감지 시스템은 추락이 발생했을 때 경보를 보내는 의사의 진료를 받는 시간을 줄일 수 있습니다.
추락 감지 시스템3의다양한 분류가 있습니다. 초기 작업4는 감지 방법, 대략 분석 방법 및 기계 학습 방법에 따라 낙하 감지 시스템을 분류합니다. 최근에는 다른 저자3,,5,,6이 데이터 수집 센서를 가을 검출기를 분류하는 주요 기능으로 간주했습니다. Igual 등3은 가을 감지 시스템을 비전 및 주변 센서 기반 접근 방식, 웨어러블 장치 시스템을 포함하는 컨텍스트 인식 시스템으로 나눕니다. Mubashir 등5는 데이터 수집에 사용되는 장치( 웨어러블 장치, 주변 센서 및 비전 기반 장치)를 기반으로 가을 검출기를 세 그룹으로 분류합니다. Perry 등6은 가속 측정 방법, 다른 방법과 결합된 가속 측정 방법 및 가속을 측정하지 않는 방법을 고려합니다. 이러한 설문 조사를 통해 센서와 방법이 일반적인 연구 전략을 분류하는 주요 요소임을 확인할 수 있습니다.
각 센서에는 Xu 등7에서설명한 약점과 강점이 있습니다. 비전 기반 접근 방식은 주로 일반 카메라, 깊이 센서 카메라 및/또는 모션 캡처 시스템을 사용합니다. 일반 웹 카메라는 저렴하고 사용하기 쉽지만 환경 조건(빛의 변화, 폐색 등)에 민감하며, 감소된 공간에서만 사용할 수 있으며 개인 정보 보호 문제가 있습니다. Kinect와 같은 깊이 카메라는 전신 3D 모션7을 제공하며 일반 카메라보다 조명 조건의 영향을 덜 받습니다. 그러나 Kinect를 기반으로 하는 접근 방식은 강력하고 신뢰할 수 없습니다. 모션 캡처 시스템은 더 비싸고 사용하기 어렵습니다.
가속도계 장치와 가속도계가 내장된 스마트폰/시계를 기반으로 하는 접근 방식은 낙하 감지에 매우 일반적으로 사용됩니다. 이러한 장치의 주요 단점은 장기간 착용해야 한다는 것입니다. 불편함, 돌출성, 신체 배치 및 방향은 이러한 접근 방식에서 해결해야 할 디자인 문제입니다. 스마트 폰과 스마트 시계는 센서가 덜 돌출 장치이지만 노인들은 종종 이러한 장치를 잊어 버리거나 항상 착용하지 않습니다. 그럼에도 불구하고 이러한 센서와 장치의 장점은 많은 객실 및/또는 실외에서 사용할 수 있다는 것입니다.
일부 시스템은 환경 주변에 배치된 센서를 사용하여 낙하/활동을 인식하므로 사람들이 센서를 착용할 필요가 없습니다. 그러나 이러한 센서는8을 배치하는 장소로 제한되며 설치가 어려운 경우도 있습니다. 최근 멀티모달 낙하 감지 시스템에는 보다 정밀도와 견고성을 확보하기 위해 다양한 비전, 웨어러블 및 주변 센서조합이 포함되어 있습니다. 또한 일부 단일 센서 제한 을 극복할 수도 있습니다.
낙하 감지에 사용되는 방법은 데이터 수집, 신호 전처리 및 세분화, 기능 추출 및 선택, 교육 및 분류를 위한 단계로 구성된 Bulling et al.9에서제시한 인간 활동 인식 체인(ARC)과 밀접한 관련이 있습니다. 설계 문제는 이러한 각 단계에 대해 해결되어야 합니다. 각 단계에서 다른 방법이 사용됩니다.
우리는 간단하고 편안하고 빠른 인간의 추락과 인간의 활동 감지 / 인식 시스템을 구성하는 멀티 모달 센서를 기반으로 하는 방법론을 제시합니다. 목표는 쉽게 구현하고 채택 할 수있는 정확한 낙하 감지시스템을 구축하는 것입니다. 제안된 새로운 방법론은 ARC를 기반으로 하지만 시스템을 단순화하기 위해 다음과 같은 문제에 대한 심층 분석을 수행하기 위해 몇 가지 중요한 단계를 추가합니다: (a) 간단한 낙하 감지 시스템에서 사용할 센서 또는 조합을 선택; (b) 정보 출처의 최상의 배치를 결정한다. (c) 가을 감지 및 인간 활동 인식에 가장 적합한 기계 학습 분류 방법을 선택하여 간단한 시스템을 생성한다.
앞서 언급한 디자인 문제 중 하나 또는 두 가지를 다루는 문헌에는 관련 작품이 있지만, 우리가 아는 한가지는 이러한 모든 문제를 극복하기 위한 방법론에 초점을 맞춘 작품이 없습니다.
관련 작품은 견고성을 확보하고 정밀도를 높이기 위해 가을 감지 및 인간 활동 인식10,,11,,12를 위한 멀티모달 접근법을 사용합니다. Kwolek 등10은 가속도 측정 데이터 및 깊이 맵을 기반으로 하는 낙하 감지 시스템의 설계 및 구현을 제안했습니다. 그들은 사람의 움직임뿐만 아니라 잠재적 인 추락을 감지하기 위해 3 축 가속도계를 구현하는 흥미로운 방법론을 설계했습니다. 가속 측정값이 임계값을 초과하면 알고리즘은 온라인 업데이트된 깊이 참조 맵에서 깊이 맵을 다른 사람을 추출합니다. 수심 및 가속도계 조합의 분석은 지지 벡터 기계 분류기를 사용하여 이루어졌다.
Ofli 등11은 새로운 인간 활동 인식 시스템에 대한 테스트베드를 제공하기 위해 멀티모달 휴먼 액션 데이터베이스(MHAD)를 발표했다. 이 데이터 세트는 1개의 광학 모션 캡처 시스템, 4대의 멀티 뷰 카메라, 1개의 Kinect 시스템, 4개의 마이크 및 6개의 무선 가속도계를 사용하여 동시에 수집되었기 때문에 중요합니다. 저자는 각 양식에 대한 결과를 발표 : Kinect, 모캡, 가속도계, 오디오.
Dovgan 등12는 노인에서 낙상을 포함한 비정상적인 행동을 검출하기위한 프로토 타입을 제안했다. 이 센서는 낙하 및 비정상적인 동작 감지에 가장 적합한 장비를 찾기 위해 세 가지 센서 시스템에 대한 테스트를 설계했습니다. 첫 번째 실험은 엉덩이, 무릎, 발목, 손목, 팔꿈치 및 어깨에 부착 된 12 개의 태그가있는 스마트 센서 시스템의 데이터로 구성됩니다. 또한 허리, 가슴, 발목 에 4개의 태그가 부착된 하나의 Ubisense 센서 시스템과 1개의 Xsens 가속도계를 사용하여 테스트 데이터 세트를 만들었습니다. 세 번째 실험에서, 4명의 피험자는 유비센스 시스템을 사용하여 4가지 유형의 낙상, 4가지 건강 문제를 비정상적인 행동과 일상 생활의 다른 활동(ADL)으로 수행합니다.
문헌13,,14,,15의 다른 작품들은 여러 분류기와 센서의 다양한 조합의 성능을 비교하는 낙하 감지를 위한 센서 또는 장치의 최상의 배치를 찾는 문제를 해결한다. Santoyo 등13은 낙하 감지를 위한 5개의 센서의 위치의 중요성을 평가하는 체계적인 평가를 제시했습니다. 이들은 k-near nearnears(KNN), 지원 벡터 머신(SVM), 순진한 베이즈(NB) 및 의사 결정 트리(DT) 분류기를 사용하여 이러한 센서 조합의 성능을 비교했습니다. 그들은 피사체에 센서의 위치가 사용되는 분류기와 무관하여 추락 검출기 성능에 중요한 영향을 미친다는 결론을 내립니다.
Özdemir14에서가을 감지를 위해 신체의 웨어러블 센서 배치를 비교했습니다. 센서 배치를 결정하기 위해 저자는 머리, 허리, 가슴, 오른쪽 손목, 오른쪽 발목 및 오른쪽 허벅지의 31 가지 센서 조합을 분석했습니다. 14명의 자원봉사자들이 20개의 시뮬레이션 폭포와 16개의 ADL을 수행했습니다. 그는 이러한 철저한 조합 실험을 통해 단일 센서가 허리에 위치할 때 최상의 성능을 얻을 수 있음을 발견했습니다. 또 다른 비교는 Özdemir의 데이터 세트를 사용하여 Ntanasis15에 의해 제시되었다. 저자는 J48, KNN, RF, 무작위 위원회 (RC) 및 SVM : 저자는 다음과 같은 분류자를 사용하여 머리, 가슴, 허리, 손목, 발목과 허벅지에 단일 위치를 비교했다.
가을 감지를 위한 상이한 계산 방법의 성능에 대한 벤치마크는 문헌16,,17,,18에서도확인할 수 있다. Bagala 등16은 실제 낙하에서 테스트된 13개의 낙하 감지 방법의 성능을 벤치마킹하기 위한 체계적인 비교를 제시했습니다. 그들은 허리 또는 트렁크에 배치 된 가속도계 측정에 따라 알고리즘을 고려했다. Bourke 등17은 ADL의 데이터 세트를 사용하여 낙하 감지를 위한 5가지 분석 알고리즘의 성능을 평가하고 가속도계 판독값을 기반으로 합니다. Kerdegari18은 또한 기록된 가속 데이터 세트에 대한 다양한 분류 모델의 성능을 비교했습니다. 낙하 감지에 사용되는 알고리즘은 제로R, oneR, NB, DT, 다층 퍼셉론 및 SVM이었습니다.
Alazrai 등18은 인간 활동의 축적된 히스토그램 기반 표현을 구성하기 위해 동작 포즈 기하학적 설명기를 사용하여 낙하 감지방법론을 제안했습니다. Kinect 센서로 수집된 데이터 집합을 사용하여 프레임워크를 평가했습니다.
요약하면, 우리는 다중 모달 가을 감지 관련 작품을 발견10,,11,,12 양식의 다른 조합의 성능을 비교. ,일부 저자는 센서13,14,15또는 센서13의 조합과 동일한 양식 및 가속도계의 여러 센서를 가진 여러 분류기13,,,15,,16의 최상의 배치를 찾는 문제를 해결합니다. 배치, 멀티 모달 조합 및 분류기 벤치 마크를 동시에 해결하는 문헌에서는 아무 작업도 발견되지 않았습니다.
Protocol
여기에 설명된 모든 방법은 유니버시다드 파나메리카나 공학 대학의 연구 위원회에 의해 승인되었습니다.
참고: 이 방법론은 간단하고 빠르며 다중 모드 낙하 감지 및 인간 활동 인식 시스템을 구성하기 위해 특정 유형의 센서 구성, 기계 학습 방법 및 절차를 기반으로 합니다. 이로 인해, 다음 프로토콜은 단계로 나뉩니다: (1) 데이터베이스 생성 (2) 데이터 분석 (3) 시스템 단순화 및 (4) 평가.
1. 데이터베이스 생성
- 데이터 수집 시스템을 설정합니다. 이렇게 하면 주체에서 모든 데이터를 수집하고 정보를 검색 데이터베이스에 저장합니다.
- 정보 소스로 필요한 웨어러블 센서, 주변 센서 및 비전 기반 장치의 유형을 선택합니다. 각 정보 소스, 소스당 채널 수, 기술 사양 및 각 소스의 샘플링 속도에 대한 ID를 할당합니다.
- 모든 정보 소스(예: 웨어러블 및 주변 센서 및 비전 기반 장치)를 중앙 컴퓨터 또는 분산 컴퓨터 시스템에 연결합니다.
- 유선 기반 장치가 하나의 클라이언트 컴퓨터에 제대로 연결되어 있는지 확인합니다. 무선 기반 장치가 완전히 충전되었는지 확인합니다. 배터리 부족이 무선 연결 또는 센서 값에 영향을 미칠 수 있음을 고려하십시오. 또한 간헐적이거나 연결이 끊어지면 데이터 손실이 증가합니다.
- 데이터를 검색하도록 각 장치를 설정합니다.
- 클라우드에 데이터를 저장하기 위한 데이터 수집 시스템을 설정합니다. 저장할 데이터가 많기 때문에 이 프로토콜에서는 클라우드 컴퓨팅이 고려됩니다.
- 데이터 수집 시스템이 데이터 동기화 및 데이터 일관성20 속성을 충족하는지 확인합니다. 이렇게 하면 모든 정보 소스에서 데이터 저장소의 무결성이 유지됩니다. 데이터 동기화에 새로운 접근 방식이 필요할 수 있습니다. 예를 들어 페냐포트-아스투리아노 외20을참조하십시오.
- 정보 소스를 사용하여 일부 데이터 수집을 시작하고 원하는 시스템에 데이터를 저장합니다. 모든 데이터에 타임스탬프를 포함합니다.
- 데이터베이스를 쿼리하고 모든 정보 원본이 동일한 샘플 비율로 수집되는지 확인합니다. 제대로 수행하면 1.1.6 단계로 이동하십시오. 그렇지 않으면 페냐포트-아스투리아노,외20에보고된 기준을 사용하여 업 샘플링 또는 다운 샘플링을 수행합니다.
- 필요한 조건과 시스템의 목표에 의해 부과된 제한을 고려하여 환경(또는 실험실)을 설정합니다. 참가자의 안전을 보장하기 위해 Lachance, 등23에서 제안 된 준수 바닥 시스템으로 시뮬레이션 낙하에서 충격력 감쇠에 대한 조건을 설정합니다.
- 매트리스 또는 기타 규정을 준수하는 바닥재 시스템을 사용하여 환경(또는 실험실)의 중심에 놓습니다.
- 모든 물건을 매트리스에서 멀리 떨어져 두어 적어도 1미터의 안전한 공간을 제공합니다. 필요한 경우 참가자를 위한 개인 보호 장비(예: 장갑, 모자, 고글, 무릎 지지대 등)를 준비하십시오.
참고: 프로토콜은 여기에서 일시 중지할 수 있습니다.
- 구성 후 시스템이 감지할 수 있는 사람의 활동과 폴을 결정합니다. 대상 인구뿐만 아니라 추락 감지 및 인간 활동 인식 시스템의 목적을 염두에 두는 것이 중요하다.
- 추락 감지 및 인간 활동 인식 시스템의 목표를 정의합니다. 계획 시트에 적어 둡니다. 이 사례 연구의 목표는 노인의 실내 매일 수행 인간의 폭포와 활동의 유형을 분류하는 것입니다.
- 시스템의 목표에 따라 실험의 대상 인구를 정의합니다. 계획 시트에 적어 둡니다. 연구에서, 대상 인구로 노인을 고려.
- 일일 활동의 유형을 결정합니다. 실제 낙하 감지를 개선하기 위해 가을처럼 보이는 몇 가지 비 낙하 활동을 포함합니다. 모든 ID에 ID를 할당하고 가능한 한 자세히 설명합니다. 각 활동이 실행될 기간을 설정합니다. 이 모든 정보를 계획 시트에 적어 둡니다.
- 인간의 폭포의 유형을 결정합니다. 모든 ID에 ID를 할당하고 가능한 한 자세히 설명합니다. 각 가을을 실행할 기간을 설정합니다. 폭포가 피사체에 의해 자체 생성되거나 다른 사람에 의해 생성될지 고려하십시오 (예 : 피사체를 밀어 내는 경우). 이 모든 정보를 계획 시트에 적어 둡니다.
- 계획 시트에서 주제가 수행할 활동 순서와 폭포를 적어 둡니다. 기간, 활동/가을당 시험 횟수, 활동/가을을 수행할 설명 및 활동/가을 등록 숫자를 지정합니다.
참고: 프로토콜은 여기에서 일시 중지할 수 있습니다.
- 활동 과 폭포의 순서를 실행할 연구에 관련 과목을 선택합니다. 폭포는 실제 생활에서 잡을 수있는 드문 이벤트이며 일반적으로 노인에게 발생합니다. 그럼에도 불구하고 안전상의 이유로 노인과 장애인은 의학적 조언에 따라 가을 시뮬레이션에 포함되지 마십시오. 스턴트는 부상을 방지하기 위해 사용되었습니다22.
- 성별, 연령 범위, 체중 및 피험자의 신장을 결정합니다. 필요한 손상 조건을 정의합니다. 또한 실험에 필요한 최소 피험자 수를 정의합니다.
- 이전 단계에서 명시된 조건에 따라 필요한 과목 세트를 임의로 선택합니다. 자원봉사자를 모집해 보세요. 인간과 실험할 때 기관 및 국가뿐만 아니라 국제 규정에서 적용되는 모든 윤리적 지침을 이행하십시오.
참고: 프로토콜은 여기에서 일시 중지할 수 있습니다.
- 피사체에서 데이터를 검색하고 저장합니다. 이 정보는 추가 실험 분석에 유용합니다. 임상 전문가 또는 책임 있는 연구원의 감독 하에 다음 단계를 완료하십시오.
- 1.1단계에서 구성된 데이터 수집 시스템으로 데이터 수집을 시작합니다.
- 각 과목에게 1.2단계에서 선언된 일련의 활동과 낙하를 수행하도록 한다. 명확하게 각 활동 / 가을의 시작과 끝의 타임 스탬프를 저장합니다. 모든 정보 소스의 데이터가 클라우드에 저장되는지 확인합니다.
- 활동이 제대로 수행되지 않았거나 장치에 문제가 있는 경우(예: 연결 손실, 배터리 부족, 간헐적 연결) 샘플을 폐기하고 장치 문제가 발견되지 않을 때까지 1.4.1 단계를 반복합니다. 1.2단계 순서대로 선언된 각 시험,과목별로 1.4.2단계를 반복합니다.
참고: 프로토콜은 여기에서 일시 중지할 수 있습니다.
- 수집된 모든 데이터를 미리 처리합니다. 각 정보 소스에 대해 업 샘플링 및 다운 샘플링을 적용합니다. Martínez-Villaseñor 외21에서가을 감지 및 인간 활동 인식을 위한 전처리 데이터에 대한 자세한 내용을 참조하십시오.
참고: 프로토콜은 여기에서 일시 중지할 수 있습니다.
2. 데이터 분석
- 데이터 처리 모드를 선택합니다. 데이터베이스에 저장된 데이터가 완전히 사용되는 경우 원시 데이터를 선택하고(즉, 자동 기능 추출을 위해 딥 러닝을 사용) 2.2단계로 이동합니다. 피처 추출이 추가 분석에 사용되는 경우 피쳐 데이터를 선택하고 2.3단계로 이동합니다.
- 원시 데이터의경우 추가 단계가 필요하지 않으므로 2.5 단계로 이동하십시오.
- 피쳐 데이터의경우 원시 데이터에서 피처를 추출합니다.
- 시간 창에서 원시 데이터를 분할합니다. 시간 창 길이(예: 1초 크기의 프레임)를 결정하고 수정합니다. 또한 이러한 시간 창이 겹치는지 여부를 결정합니다. 50% 겹치는 것을 선택하는 것이 좋습니다.
- 데이터의 각 세그먼트에서 피처를 추출합니다. 세그먼트에서 추출할 시간 및 빈번한 피쳐 집합을 결정합니다. 일반적인 기능 추출은 마르티네즈-빌라세뇨르 외 21을 참조하십시오.
- 클라우드에 설정된 기능 추출 데이터를 독립적인 데이터베이스에 저장합니다.
- 다른 시간 창을 선택한 경우 단계 2.3.1 ~ 2.3.3을 반복하고 각 피쳐 데이터 집합을 독립 데이터베이스에 저장합니다.
참고: 프로토콜은 여기에서 일시 중지할 수 있습니다.
- 추출된 가장 중요한 피쳐를 선택하고 피처 데이터 세트를 줄입니다. 일반적으로 사용되는 피처 선택 방법(예: 단변량선택, 주성분 분석, 재귀 피쳐 제거, 피쳐 중요도, 상관 행렬 등)을 적용합니다.
- 피쳐 선택 방법을 선택합니다. 여기서는 기능 의 중요성을 사용했습니다.
- 각 기능을 사용하여 지정된 모델(RF 사용)을 학습하고 정확도를 측정합니다(수학식 1참조).
- 정확도 순서대로 정렬하여 피처의 순위를 지정합니다.
- 가장 중요한 기능을 선택합니다. 여기, 우리는 최고의 순위 처음 10 기능을 사용.
참고: 프로토콜은 여기에서 일시 중지할 수 있습니다.
- 기계 학습 분류 방법을 선택하고 모델을 학습합니다. 잘 알려진 기계 학습 방법이 있습니다.16,17,18,21, 지원 벡터 머신 (SVM), 랜덤 포리스트 (RF), 다층 퍼셉론 (MLP) 및 k-가까운 이웃 (KNN), 많은 다른 사람의 사이에서.
- 선택적으로 딥 러닝 접근 방식을 선택한 경우21: 컨볼루션 신경망 (CNN), 장기 기억 신경망 (LSTM) 등을 고려하십시오.
- 기계 학습 방법 집합을 선택합니다. 여기서는 SVM, RF, MLP 및 KNN과 같은 방법을 사용했습니다.
- 문헌21에서제안된 대로 각 기계 학습 방법의 매개 변수를 수정합니다.
- 독립적인 피쳐 데이터 세트(또는 원시 데이터 세트)를 사용하여 결합된 피쳐 데이터 세트(또는 원시 데이터 세트)를 만들어 정보 소스 유형을 결합합니다. 예를 들어 웨어러블 센서 하나와 카메라 하나를 조합해야 하는 경우 각 소스의 피처 데이터 세트를 결합합니다.
- 교육 및 테스트 집합에서 피처 데이터 집합(또는 원시 데이터 집합)을 분할합니다. 좋은 선택은 무작위로 나누어 것입니다 70% 교육에 대 한 그리고 30% 테스트에 대 한.
- 각 기계 학습 방법에 대해 피쳐 데이터 세트(또는 원시 데이터 세트)를 사용하여 k-fold 교차 유효성검사(21)를 실행합니다. 정확도(수학식 1참조)와 같은 일반적인 평가 메트릭을 사용하여 방법별 학습된 최상의 모델을 선택합니다. 1개의 과목 아웃(LOSO) 실험3도 권장됩니다.
- 기본 프로그래밍 언어 소프트웨어에서 교육 기능 데이터 집합(또는 원시 데이터 집합)을 엽니다. 파이썬을 추천합니다. 이 단계에서는 팬더 라이브러리를 사용하여 다음과 같이 CSV 파일을 읽습니다.
training_set = pandas.csv(&filename.csv>). - 피처 데이터 세트(또는 원시 데이터 집합)를 입력 출력 쌍으로 분할합니다. 예를 들어 파이썬을 사용하여 x-값(입력)과 y-값(출력)을 선언합니다.
training_set_X = training_set.drop('태그', 축=1), training_set_Y = training_set.tag
여기서 태그는 대상 값을 포함하는 피처 데이터 집합의 열을 나타냅니다. - 하나의 기계 학습 방법을 선택하고 매개 변수를 설정합니다. 예를 들어, 다음 명령과 같이 라이브러리 sklearn와 함께 파이썬에서 SVM을 사용합니다.
분류자 = sklearn. SVC(커널 = '폴리')
커널 함수가 다항식으로 선택됩니다. - 기계 학습 모델을 교육합니다. 예를 들어 파이썬에서 위의 분류기를 사용하여 SVM 모델을 학습합니다.
분류기.적합(training_set_X,training_set_Y). - 테스트 피쳐 데이터 세트(또는 원시 데이터 세트)를 사용하여 모델의 추정 값을 계산합니다. 예를 들어, 다음과 같이 Python에서 추정 함수를 사용합니다: 추정 = 분류기.예측(testing_set_X)testing_set_X 테스트 세트의 x-값을 나타냅니다.
- 반복 단계 2.5.6.1 ~ 2.5.6.5, k-fold 교차 유효성 검사에 지정된 횟수(또는 LOSO 접근법에 필요한 횟수).
- 선택한 각 기계 학습 모델에 대해 2.5.6.1에서 2.5.6.6단계를 반복합니다.
참고: 프로토콜은 여기에서 일시 중지할 수 있습니다.
- 기본 프로그래밍 언어 소프트웨어에서 교육 기능 데이터 집합(또는 원시 데이터 집합)을 엽니다. 파이썬을 추천합니다. 이 단계에서는 팬더 라이브러리를 사용하여 다음과 같이 CSV 파일을 읽습니다.
- 선택한 모델을 테스트 데이터 집합과 테스트하여 기계 학습 방법을 비교합니다. 다른 평가 메트릭은 사용할 수 있습니다: 정확도(수학식 1),정밀도(수학식 2),감도(수학식 3),특이성(수학식 4)또는 F1 점수(수학식 5), 여기서 TP는 진정한 긍정, TN은 진정한 부정, FP는 거짓 긍정 및 FN은 거짓 부정이다.
- 혼동 매트릭스9와 같은 다른 유익한 성능 메트릭을 사용하여 기계 학습 모델의 분류 작업을 평가하거나 의사 결정 독립적인 정밀 리콜9(PR) 또는 수신기 작동 특성9(ROC) 곡선을 평가합니다. 이 방법론에서 회수 및 민감도는 동등한 것으로 간주됩니다.
- 기계 학습 모델의 질적 기능을 사용하여 기계 학습 해석의 용이성 과 같은 모델을 비교합니다. 실시간 성능; 시간, 메모리 및 처리 컴퓨팅의 제한된 자원; 에지 디바이스 또는 임베디드 시스템에서 기계 학습 배포의 용이성을 제공합니다.
- 2.5.6단계, 2.5.7 및Equations 1–52.5.8단계의 기계 학습 타당성에 대한 품질 메트릭 및 품질 메트릭 및 질적 특징을 사용하여 최고의 기계 학습 모델을 선택하십시오.
참고: 프로토콜은 여기에서 일시 중지할 수 있습니다.
3. 시스템 단순화
- 정보 소스의 적절한 배치를 선택합니다. 때로는 정보 소스의 최상의 배치(예: 웨어러블 센서의 위치가 더 좋은 위치)를 결정해야 합니다.
- 분석할 정보 소스의 하위 집합을 결정합니다. 예를 들어, 본체에 웨어러블 센서가 5개 있고 하나만 배치된 최상의 센서로 선택해야 하는 경우 각 센서가 하위 집합의 일부가 됩니다.
- 이 하위 집합의 각 정보 원본에 대해 별도의 데이터 집합을 만들고 별도로 저장합니다. 이 데이터 집합은 이전 피처 데이터 집합 또는 원시 데이터 집합일 수 있습니다.
참고: 프로토콜은 여기에서 일시 중지할 수 있습니다.
- 기계 학습 분류 방법을 선택하고 정보 배치의 한 소스에 대한 모델을 학습합니다. 3.1.2단계에서 만든 각 데이터 집합을 사용하여 2.5.1에서 2.5.6까지의 단계를 완료합니다. 순위별로 가장 적합한 정보 배치 소스를 감지합니다. 이 사례 연구를 위해 SVM, RF, MLP 및 KNN과 같은 방법을 사용합니다.
참고: 프로토콜은 여기에서 일시 중지할 수 있습니다. - 시스템에 두 개 이상의 정보 소스가 필요한 경우(예: 웨어러블 센서 1개와 카메라 1개)를 조합하여 다중 모달 접근 방식으로 적합한 배치를 선택합니다. 이 사례 연구에서는 허리 착용형 센서와 카메라 1(측면 도면)을 양식으로 사용합니다.
- 시스템에서 각 양식의 최상의 정보 소스를 선택하고 이러한 정보 소스의 독립적인 데이터 집합을 사용하여 결합된 피쳐 데이터 집합(또는 원시 데이터 집합)을 만듭니다.
- 기계 학습 분류 방법을 선택하고 이러한 결합된 정보 소스에 대한 모델을 학습합니다. 결합된 피처 데이터 세트(또는 원시 데이터 세트)를 사용하여 2.5.1에서 2.5.6단계 완료 이 연구에서는 SVM, RF, MLP 및 KNN과 같은 방법을 사용합니다.
참고: 프로토콜은 여기에서 일시 중지할 수 있습니다.
4. 평가
- 보다 현실적인 조건에서 사용자와 함께 새 데이터 집합을 준비합니다. 이전 단계에서 선택한 정보의 소스만 사용합니다. 바람직한 것은, 대상 군(예를 들어, 고령자)에서 시스템을 구현한다. 더 긴 시간 동안 데이터를 수집합니다.
- 선택적으로 대상 그룹이 사용되는 경우 배제 조건(예: 신체적 또는 심리적 손상)을 포함한 선택 그룹 프로토콜을 만들고 기준 예방을 중지합니다(예: 시험 중 신체적 상해 감지, 메스꺼움, 현기증 및/또는 구토, 실신). 윤리적 우려 와 데이터 개인 정보 보호 문제도 고려하십시오.
- 지금까지 개발된 추락 감지 및 인간 활동 인식 시스템의 성능을 평가한다. 방정식 1-5를 사용하여 시스템의 정확도및 예측 능력 또는 기타 성능 메트릭을 결정합니다.
- 실험 결과에 대한 결과에 대해 토론합니다.
Representative Results
데이터베이스 만들기
우리는 가을 감지 및 인간 활동 인식, 즉 UP-Fall 감지21을위한 멀티모달 데이터 세트를 만들었습니다. 데이터는 유니버시다드 파나메리카나(멕시코 시티, 멕시코)의 공학 부에서 4주 동안 수집되었습니다. 테스트 시나리오는 (a) 피사체가 편안하고 안전하게 낙상 및 활동을 수행할 수 있는 공간, (b) 멀티모달 센서 설정에 적합한 자연 및 인공 조명이 있는 실내 환경을 고려하여 선택되었습니다.
3번의 시험 기간 동안 5가지 유형의 폭포와 6가지 간단한 활동을 수행한 17명의 피험자의 데이터 샘플이 있습니다. 모든 정보는 웨어러블 센서 5개(삼축 가속도계, 자이로스코프 및 광강도), 1개의 뇌전도 헬멧, 6개의 적외선 센서, 측면 및 전면 시야에 있는 2대의 카메라가 있는 사내 데이터 수집 시스템을 사용하여 수집되었습니다. 그림 1은 환경 과 본체에서 센서 배치의 레이아웃을 보여줍니다. 전체 데이터 집합의 샘플링 속도는 18Hz입니다. 데이터베이스에는 통합 원시 데이터 집합(812GB)과 피처 데이터 집합(171GB)의 두 가지 데이터 집합이 포함되어 있습니다. 공용 액세스를 위해 클라우드에 저장된 모든 데이터베이스웨어: https://sites.google.com/up.edu.mx/har-up/. 이 데이터베이스의 데이터 수집, 전처리, 통합 및 저장에 대한 자세한 내용과 동기화 및 데이터 일관성에 대한 자세한 내용은 Martínez-Villaseñor 등21에서확인할 수 있습니다.
이 데이터베이스의 경우, 모든 과목은 건강한 젊은 지원자 (9 남성과 8 여성) 어떤 장애없이했다, 에 이르기까지 18 받는 번째 24 세, 평균 높이 1.66 m와 66.8 kg의 평균 무게. 데이터 수집 중에 기술 책임자 는 모든 활동이 피험자가 올바르게 수행되었는지 감독했습니다. 피험자는 5가지 유형의 낙하를 수행했으며, 10초 동안 각각 손을 사용하여 앞으로(1), 무릎(2), 뒤로(3), 빈 의자(4) 및 옆으로 앉는 다. 또한 점프(30대), 서기(7), 물건 수거(8개), 착석(9개), 점프(10개), 누워(11개) 등 6개의 일상활동을 실시했다. 시뮬레이션된 낙하가 모든 유형의 실제 폭포를 재현할 수는 없지만 적어도 더 나은 낙하 감지 모델을 생성할 수 있는 대표적인 유형의 폭포를 포함하는 것이 중요합니다. 또한 ADL을 사용하는 것과 관련이 있으며, 특히 물체를 줍는 것과 같이 일반적으로 폭포로 오인될 수 있는 활동도 마찬가지입니다. 추락 및 ADL의 종류는 관련 추락 감지시스템(21)을검토한 후 선택되었다. 예를 들어 그림 2는 피사체가 옆으로 떨어질 때 한 번의 평가판의 이미지 시퀀스를 보여 주어 도 2입니다.
우리는 12 개의 시간적 (평균, 표준 편차, 최대 진폭, 최소 진폭, 근평균 제곱, 중앙값, 제로 교차 수, 왜곡, 첨토, 제 1 사분위수, 세 번째 사분위수 및 자기 상관) 및 6 개의 빈번한 (평균, 중앙값, 엔트로피, 에너지, 주요 주파수 및 스펙트럼 중심)을 각 채널에서 21 개의 마모 가능한 센서 및7개의 센서로 추출했습니다. 또한 각 카메라에 대해 400개의 시각적기능(21)을 계산하여 비디오의 두 인접 이미지 사이의 상대적인 픽셀 모션을 계산했습니다.
유니모달 및 멀티모달 접근 방식 간의 데이터 분석
UP-Fall Detection 데이터베이스에서 유니모달 및 멀티모달 접근 방식 간의 비교 를 위해 데이터를 분석했습니다. 그런 의미에서 적외선 센서만(IR)이라는 7가지 정보 원수 조합을 비교했습니다. 웨어러블 센서 전용(IMU); 웨어러블 센서 및 헬멧(IMU+EEG); 적외선 및 웨어러블 센서 및 헬멧(IR+IMU+EEG); 카메라 전용 (CAM); 적외선 센서 및 카메라(IR+CAM); 및 웨어러블 센서, 헬멧 및 카메라(IMU+EEG+CAM)를 제공합니다. 또한 1초, 2초, 3초의 세 가지 시간 창 크기를 50% 겹치는 세 가지 시간 창 크기를 비교했습니다. 각 세그먼트에서 기능 선택 및 순위를 적용하는 가장 유용한 기능을 선택했습니다. 이 전략을 사용하여 40개의 기능을 사용하는 IR 모드를 제외한 양식당 10개의 기능만 사용했습니다. 또한 RF, SVM, MLP 및 KNN의 네 가지 잘 알려진 기계 학습 분류기를 통해 비교가 수행되었습니다. 우리는 기계 학습 모델을 교육하기 위해 70 %의 기차와 30 %의 테스트 데이터 세트로 10 배 의 교차 검증을 사용했습니다. 표 1은 기계 학습 모델과 최상의 창 길이 구성에 따라 각 양식에 대해 최상의 성능을 보고하는 이 벤치마크의 결과를 보여 주며, 각 양식에 대해 최상의 성능을 보고합니다. 평가 메트릭은 정확도, 정밀도, 민감도, 특이성 및 F1 점수를 보고합니다. 그림 3은 F1 점수의 관점에서 그래픽 표현에서 이러한 결과를 보여줍니다.
표 1에서멀티 모달 접근법(적외선 및 웨어러블 센서 및 헬멧, IR+IMU+EEG, 웨어러블 센서 및 헬멧 및 카메라, IMU+EEG+CAM)은 단일 모달 접근법(적외선 만, IR 및 카메라 만, CAM)과 비교하여 최고의 F1 점수 값을 얻었습니다. 또한 웨어러블 센서(IMU)만이 멀티모달 접근 방식보다 유사한 성능을 얻었다는 것을 발견했습니다. 이 경우 다른 정보 소스가 다른 사람의 제한을 처리할 수 있기 때문에 다중 모달 접근 방식을 선택했습니다. 예를 들어, 카메라의 돌출성은 웨어러블 센서로 처리할 수 있으며, 모든 웨어러블 센서를 사용하지 않는 것은 카메라 또는 주변 센서로 보완할 수 있습니다.
데이터 기반 모델의 벤치마크 측면에서 표 1의 실험은 RF가 거의 모든 실험에서 최상의 결과를 제공한다는 것을 보여주었습니다. MLP 및 SVM은 성능이 매우 일관되지 않았지만(예: 이러한 기술의 표준 편차는 RF보다 더 많은 가변성을 나타낸다). 창 크기에 대해, 이들은 그들 중 어떤 중요 한 개선을 나타내지 않았다. 이러한 실험은 가을 과 인간 활동 분류에 대 한 수행 되었다는 것을 주의 하는 것이 중요 하다.
센서 배치 및 최고의 멀티모달 조합
다른 한편으로는, 우리는 낙하 감지를위한 멀티 모달 장치의 최상의 조합을 결정하는 것을 목표로했다. 이 분석을 위해 5개의 웨어러블 센서와 두 대의 카메라로 정보 소스를 제한했습니다. 이러한 장치는 접근 방식에 가장 편안한 장치입니다. 또한, 우리는 두 가지 클래스를 고려 : 가을 (가을의 모든 유형) 또는 무가림 (다른 활동). 모든 기계 학습 모델과 창 크기는 이전 분석과 동일하게 유지됩니다.
각 웨어러블 센서에 대해 각 창 길이에 대해 독립적인 분류기 모델을 구축했습니다. 70% 교육 및 30% 테스트 데이터 세트로 10배 교차 검증을 사용하여 모델을 교육했습니다. 표 2는 F1 점수를 기준으로 성능 분류기당 웨어러블 센서의 순위에 대한 결과를 요약한 것입니다. 이러한 결과는 내림차순으로 정렬되었습니다. 표 2에서볼 수 있듯이, 허리, 목 또는 단단한 오른쪽 포켓(그림자 영역)에서 단일 센서를 사용할 때 최상의 성능을 얻을 수 있습니다. 또한 발목과 왼쪽 손목 착용형 센서는 최악의 성과를 보였습니다. 표 3은 각 분류기에서 최상의 성능을 얻기 위해 웨어러블 센서당 윈도우 길이 기본 설정을 나타낸다. 결과에서 RF 분류기가 있는 허리, 목 및 단단한 오른쪽 포켓 센서와 50% 중첩된 3s 창 크기는 낙하 감지에 가장 적합한 웨어러블 센서입니다.
시스템의 각 카메라에 대해 유사한 분석을 수행했습니다. 각 창 크기에 대해 독립적인 분류기 모델을 만들었습니다. 교육을 위해 70%의 교육과 30%의 테스트 데이터 세트로 10배 의 교차 검증을 했습니다. 표 4는 F1 점수를 기준으로 분류자당 최고의 카메라 관측점의 순위를 나타낸다. 관찰된 바와 같이, 측면 도면(카메라 1)은 최상의 낙하 감지를 수행하였다. 또한 RF는 다른 분류기와 비교하여 능가했습니다. 또한 표 5는 카메라 관측점당 창 길이 기본 설정을 보여 주며, 윈도우 길이 기본 설정도를 보여 주기도 한다. 결과에서, 우리는 카메라의 가장 좋은 위치가 3 s 창 크기와 50 % 중첩RF를 사용하여 측면 관점에 있음을 발견했다.
마지막으로, 우리는 측면 관점의 카메라와 결합 할 웨어러블 센서 (즉, 허리와 꽉 오른쪽 포켓)의 두 가지 가능한 배치를 선택했다. 동일한 교육 절차 후, 우리는 표 6에서결과를 얻었다. 그림과 같이 RF 모델 분류기는 정확도면에서 최고의 성능과 F1 점수를 모두 멀티모달에서 얻었습니다. 또한, 허리와 카메라의 조합은 정확도98.72%, F1 점수 95.77%를 획득하여 1위를 차지했습니다.
그림 1: UP-Fall 감지 데이터베이스의 웨어러블(왼쪽) 및 주변(오른쪽) 센서의 레이아웃입니다. 웨어러블 센서는 이마, 왼쪽 손목, 목, 허리, 바지 오른쪽 포켓 및 왼쪽 발목에 배치됩니다. 주변 센서는 피사체의 존재를 감지하기 위해 6개의 페어링된 적외선 센서와 2대의 카메라입니다. 카메라는 인간의 추락과 관련하여 측면 과 정면 에 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 2: UP-Fall 감지 데이터베이스에서 추출된 비디오 녹화의 예입니다. 상단에는 피사체가 옆으로 떨어지는 이미지 시퀀스가 있습니다. 하단에는 추출된 비전 기능을 나타내는 일련의 이미지가 있습니다. 이러한 피쳐는 인접한 두 이미지 사이의 픽셀 의 상대적인 모션입니다. 흰색 픽셀은 더 빠른 모션을 나타내고 검정 픽셀은 더 느리거나 0에 가까운 모션을 나타냅니다. 이 시퀀스는 시간순으로 왼쪽에서 오른쪽으로 정렬됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 3: 기계 학습 모델및 최상의 창 길이와 관련하여 각 양식의 최고 F1 점수를 보고하는 비교 결과. 막대는 F1 점수의 평균 값을 나타냅니다. 데이터 점의 텍스트는 괄호 안의 평균 및 표준 편차를 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
| 형식 | 모델 | 정확도(%) | 정밀도(%) | 민감도(%) | 특이성 (%) | F1 점수 (%) |
| Ir | RF (3초) | 67.38 ± 0.65 | 36.45 ± 2.46 | 31.26 ± 0.89 | 96.63 ± 0.07 | 32.16 ± 0.99 |
| SVM (3초) | 65.16 ± 0.90 | 26.77 ± 0.58 | 25.16 ± 0.29 | 96.31 ± 0.09 | 23.89 ± 0.41 | |
| MLP (3초) | 65.69 ± 0.89 | 28.19 ± 3.56 | 26.40 ± 0.71 | 96.41 ± 0.08 | 25.13 ± 1.09 | |
| kNN (3초) | 61.79 ± 1.47 | 30.04 ± 1.44 | 27.55 ± 0.97 | 96.05 ± 0.16 | 27.89 ± 1.13 | |
| Imu | RF(1초) | 95.76 ± 0.18 | 70.78 ± 1.53 | 66.91 ± 1.28 | 99.59 ± 0.02 | 68.35 ± 1.25 |
| SVM (1초) | 93.32 ± 0.23 | 66.16 ± 3.33 | 58.82 ± 1.53 | 99.32 ± 0.02 | 60.00 ± 1.34 | |
| MLP (1초) | 95.48 ± 0.25 | 73.04 ± 1.89 | 69.39 ± 1.47 | 99.56 ± 0.02 | 70.31 ± 1.48 | |
| kNN (1초) | 94.90 ± 0.18 | 69.05 ± 1.63 | 64.28 ± 1.57 | 99.50 ± 0.02 | 66.03 ± 1.52 | |
| IMU+EEG | RF(1초) | 95.92 ± 0.29 | 74.14 ± 1.29 | 66.29 ± 1.66 | 99.59 ± 0.03 | 69.03 ± 1.48 |
| SVM (1초) | 90.77 ± 0.36 | 62.51 ± 3.34 | 52.46 ± 1.19 | 99.03 ± 0.03 | 53.91 ± 1.16 | |
| MLP (1초) | 93.33 ± 0.55 | 74.10 ± 1.61 | 65.32 ± 1.15 | 99.32 ± 0.05 | 68.13 ± 1.16 | |
| kNN (1초) | 92.12 ± 0.31 | 66.86 ± 1.32 | 58.30 ± 1.20 | 98.89 ± 0.05 | 60.56 ± 1.02 | |
| IR+IMU+EEG | RF (2초) | 95.12 ± 0.36 | 74.63 ± 1.65 | 66.71 ± 1.98 | 99.51 ± 0.03 | 69.38 ± 1.72 |
| SVM (1초) | 90.59 ± 0.27 | 64.75 ± 3.89 | 52.63 ± 1.42 | 99.01 ± 0.02 | 53.94 ± 1.47 | |
| MLP (1초) | 93.26 ± 0.69 | 73.51 ± 1.59 | 66.05 ± 1.11 | 99.31 ± 0.07 | 68.19 ± 1.02 | |
| kNN (1초) | 92.24 ± 0.25 | 67.33 ± 1.94 | 58.11 ± 1.61 | 99.21 ± 0.02 | 60.36 ± 1.71 | |
| 캠 | RF (3초) | 32.33 ± 0.90 | 14.45 ± 1.07 | 14.48 ± 0.82 | 92.91 ± 0.09 | 14.38 ± 0.89 |
| SVM (2초) | 34.40 ± 0.67 | 13.81 ± 0.22 | 14.30 ± 0.31 | 92.97 ± 0.06 | 13.83 ± 0.27 | |
| MLP (3초) | 27.08 ± 2.03 | 8.59 ± 1.69 | 10.59 ± 0.38 | 92.21 ± 0.09 | 7.31 ± 0.82 | |
| kNN (3초) | 34.03 ± 1.11 | 15.32 ± 0.73 | 15.54 ± 0.57 | 93.09 ± 0.11 | 15.19 ± 0.52 | |
| IR + 캠 | RF (3초) | 65.00 ± 0.65 | 33.93 ± 2.81 | 29.02 ± 0.89 | 96.34 ± 0.07 | 29.81 ± 1.16 |
| SVM (3초) | 64.07 ± 0.79 | 24.10 ± 0.98 | 24.18 ± 0.17 | 96.17 ± 0.07 | 22.38 ± 0.23 | |
| MLP (3초) | 65.05 ± 0.66 | 28.25 ± 3.20 | 25.40 ± 0.51 | 96.29 ± 0.06 | 24.39 ± 0.88 | |
| kNN (3초) | 60.75 ± 1.29 | 29.91 ± 3.95 | 26.25 ± 0.90 | 95.95 ± 0.11 | 26.54 ± 1.42 | |
| IMU+EEG+CAM | RF(1초) | 95.09 ± 0.23 | 75.52 ± 2.31 | 66.23 ± 1.11 | 99.50 ± 0.02 | 69.36 ± 1.35 |
| SVM (1초) | 91.16 ± 0.25 | 66.79 ± 2.79 | 53.82 ± 0.70 | 99.07 ± 0.02 | 55.82 ± 0.77 | |
| MLP (1초) | 94.32 ± 0.31 | 76.78 ± 1.59 | 67.29 ± 1.41 | 99.42 ± 0.03 | 70.44 ± 1.25 | |
| kNN (1초) | 92.06 ± 0.24 | 68.82 ± 1.61 | 58.49 ± 1.14 | 99.19 ± 0.02 | 60.51 ± 0.85 |
표 1: 기계 학습 모델과 최상의 창 길이(괄호)에 대해 각 양식의 최상의 성능을 보고하는 비교 결과입니다. 성능의 모든 값은 평균 과 표준 편차를 나타냅니다.
| # | IMU 형 | |||
| Rf | Svm | Mlp | Knn | |
| 1 | (98.36) 웨스트 | (83.30) 오른쪽 포켓 | (57.67) 오른쪽 포켓 | (73.19) 오른쪽 포켓 |
| 2 | (95.77) 목 | (83.22) 웨스트 | (44.93) 목 | (68.73) 웨스트 |
| 3 | (95.35) 오른쪽 포켓 | (83.11) 목 | (39.54) 웨스트 | (65.06) 목 |
| 4 | (95.06) 발목 | (82.96) 발목 | (39.06) 왼쪽 손목 | (58.26) 발목 |
| 5 | (94.66) 왼쪽 손목 | (82.82) 왼쪽 손목 | (37.56) 발목 | (51.63) 왼쪽 손목 |
표 2: 분류기당 최고의 웨어러블 센서 의 순위로, F1 점수(괄호)로 정렬됩니다. 그림자의 영역은 가을 감지를 위한 상위 3개의 분류기를 나타냅니다.
| IMU 형 | 창 길이 | |||
| Rf | Svm | Mlp | Knn | |
| 왼쪽 발목 | 2초 | 3초 | 1초 | 3초 |
| 허리 | 3초 | 1초 | 1초 | 2초 |
| 목 | 3초 | 3초 | 2초 | 2초 |
| 오른쪽 포켓 | 3초 | 3초 | 2초 | 2초 |
| 왼쪽 손목 | 2초 | 2초 | 2초 | 2초 |
표 3: 분류기당 웨어러블 센서의 기본 시간 창 길이입니다.
| # | 카메라 뷰 | |||
| Rf | Svm | Mlp | Knn | |
| 1 | (62.27) [보기] | (24.25) [보기] | (13.78) 정면 전망 | (41.52) [보기] |
| 2 | (55.71) 정면 전망 | (0.20) 정면 도면 | (5.51) [보기] | (28.13) 정면 도면 |
표 4: 분류자당 최고의 카메라 관측점 의 순위(괄호)로 분류됩니다. 그림자의 영역은 가을 감지를 위한 최상위 분류자입니다.
| 카메라 | 창 길이 | |||
| Rf | Svm | Mlp | Knn | |
| 측면 보기 | 3초 | 3초 | 2초 | 3초 |
| 정면 보기 | 2초 | 2초 | 3초 | 2초 |
표 5: 분류자당 카메라 관측점에서 선호하는 시간 창 길이입니다.
| 복합 | 분류자 | 정확도(%) | 정밀도(%) | 민감도(%) | F1 점수 (%) |
| 허리 + 측면 보기 |
Rf | 98.72 ± 0.35 | 94.01 ± 1.51 | 97.63 ± 1.56 | 95.77 ± 1.15 |
| Svm | 95.59 ± 0.40 | 100 | 70.26 ± 2.71 | 82.51 ± 1.85 | |
| Mlp | 77.67 ± 11.04 | 33.73 ± 11.69 | 37.11 ± 26.74 | 29.81 ± 12.81 | |
| Knn | 91.71 ± 0.61 | 77.90 ± 3.33 | 61.64 ± 3.68 | 68.73 ± 2.58 | |
| 오른쪽 포켓 + 측면 보기 |
Rf | 98.41 ± 0.49 | 93.64 ± 1.46 | 95.79 ± 2.65 | 94.69 ± 1.67 |
| Svm | 95.79 ± 0.58 | 100 | 71.58 ± 3.91 | 83.38 ± 2.64 | |
| Mlp | 84.92 ± 2.98 | 55.70 ± 11.36 | 48.29 ± 25.11 | 45.21 ± 14.19 | |
| Knn | 91.71 ± 0.58 | 73.63 ± 3.19 | 68.95 ± 2.73 | 71.13 ± 1.69 |
표 6: 3초 창 길이를 사용하여 결합된 웨어러블 센서 및 카메라 관측점의 비교 결과. 모든 값은 평균 및 표준 편차를 나타냅니다.
Discussion
데이터 집합을 만들 때 동기화, 조직 및 데이터 불일치 문제20으로 인해 문제가 발생하는 것이 일반적입니다.
동기화
데이터를 수집할 때 여러 센서가 일반적으로 서로 다른 샘플링 속도로 작동한다는 점을 감안할 때 동기화 문제가 발생합니다. 주파수가 높은 센서는 주파수가 낮은 센서보다 더 많은 데이터를 수집합니다. 따라서 다른 소스의 데이터가 올바르게 페어링되지 않습니다. 센서가 동일한 샘플링 속도로 실행되더라도 데이터가 정렬되지 않을 수 있습니다. 이와 관련하여, 다음 권고사항은 이러한 동기화 문제를 처리하는 데 도움이 될 수 있다20:(i) 센서로부터 얻은 각 데이터 샘플에서 타임스탬프, 주제, 활동 및 시험을 등록; (ii) 가장 일관되고 덜 빈번한 정보 소스는 동기화를 위한 기준 신호로 사용되어야 합니다. (iii) 자동 또는 반자동 절차를 사용하여 수동 검사가 비실용적일 수 있는 비디오 녹화를 동기화합니다.
데이터 전처리
데이터 사전 처리도 수행해야 하며 중요한 의사 결정은 이 프로세스에 영향을 미칩니다: (a) 다중 및 이기종 소스의 데이터 저장 및 데이터 표현 방법을 결정합니다(b) 로컬 호스트 또는 클라우드(c)에 데이터를 저장하는 방법을 결정합니다(c) 데이터 이름 및 폴더(d)가 누락된 데이터 값과 센서에 있는 중복값을 처리하는 등 데이터 구성을 선택합니다. , 다른 사람의 사이에서. 또한 데이터 클라우드의 경우 업로드 시 데이터 손실을 완화하기 위해 가능하면 로컬 버퍼링을 사용하는 것이 좋습니다.
데이터 불일치
데이터 불일치는 데이터 샘플 크기의 변형을 찾는 시험 간에 공통됩니다. 이러한 문제는 웨어러블 센서의 데이터 수집과 관련이 있습니다. 여러 센서의 데이터 수집 및 데이터 충돌이 잠시 중단되어 데이터 불일치가 발생합니다. 이러한 경우 불일치 감지 알고리즘은 센서의 온라인 고장을 처리하는 데 중요합니다. 무선 기반 장치는 실험 전반에 걸쳐 자주 모니터링해야 한다는 점을 강조하는 것이 중요합니다. 배터리가 부족하면 연결에 영향을 미치고 데이터가 손실될 수 있습니다.
윤리적인
참여에 대한 동의와 윤리적 승인은 사람들이 참여하는 모든 유형의 실험에서 필수적입니다.
이 방법론의 한계에 대해서는 데이터 수집에 대해 서로 다른 방식을 고려하는 접근 방식을 위해 설계되었다는 점을 주의해야 합니다. 시스템에는 웨어러블, 주변 및/또는 비전 센서가 포함될 수 있습니다. 데이터 수집 손실, 전체 시스템의 연결 감소 및 전력 소비 와 같은 문제로 인해 무선 기반 센서의 장치 전력 소비와 배터리 수명을 고려하는 것이 좋습니다. 또한 이 방법론은 기계 학습 방법을 사용하는 시스템을 위한 것입니다. 이러한 기계 학습 모델의 선택에 대한 분석은 사전에 수행해야 합니다. 이러한 모델 중 일부는 정확할 수 있지만 시간과 에너지가 많이 소모됩니다. 기계 학습 모델에서 컴퓨팅을 위한 정확한 추정과 제한된 리소스 가용성 간의 절충을 고려해야 합니다. 시스템의 데이터 수집에서 활동이 동일한 순서로 수행되었다는 것을 관찰하는 것도 중요합니다. 또한, 동일한 순서로 시험을 수행했다. 안전상의 이유로 보호 매트리스를 사용하여 피사체가 넘어지게 되었습니다. 또한, 폭포는 자체 시작했다. 이는 일반적으로 하드 재질쪽으로 발생하는 시뮬레이션 폭포와 실제 폭포 간의 중요한 차이점입니다. 그런 의미에서 기록된 이 데이터 집합은 떨어지지 않으려는 직관적인 반응으로 떨어집니다. 또한, 노인이나 장애인의 실제 낙하와 시뮬레이션 폭포 사이에는 약간의 차이가 있습니다. 새로운 추락 감지 시스템을 설계할 때 고려해야 합니다. 이 연구는 장애가없는 젊은이들에게 초점을 맞추었지만, 과목의 선택은 시스템의 목표와 그것을 사용할 대상 인구에 맞추어야한다고 말하는 것은 놀랍습니다.
위에서 설명한10,,11,,13,,14,,,15,,16,1417,,18에서,우리는 강력한 낙하 검출기를 얻거나 분류기의 배치 또는 성능에 초점을 맞춘 다중 모달 접근법을 사용하는 저자가 있음을 관찰 할 수 있습니다., 따라서 가을 감지를 위해 설계 문제 중 하나 또는 두 개만 해결합니다. 당사의 방법론을 통해 낙하 감지 시스템의 주요 설계 문제 세 가지를 동시에 해결할 수 있습니다.
향후 작업을 위해 이 방법론에 따라 얻은 결과에 따라 간단한 멀티모달 낙하 감지 시스템을 설계하고 구현하는 것이 좋습니다. 실제 채택을 위해, 전송 학습, 계층 적 분류 및 딥 러닝 접근 방식은 보다 강력한 시스템을 개발하는 데 사용되어야합니다. 우리의 구현은 기계 학습 모델의 질적 메트릭을 고려하지 않았지만, 인간의 추락 및 활동 탐지 / 인식 시스템의 추가 개발을 위해 실시간 및 제한된 컴퓨팅 리소스를 고려해야합니다. 마지막으로, 데이터 세트를 개선하기 위해 일상 생활 중 자원 봉사자의 실시간 모니터링과 트립 또는 거의 떨어지는 활동을 고려할 수 있습니다.
Disclosures
저자는 공개 할 것이 없다.
Acknowledgments
이 연구는 프로젝트 코드 UP-CI-2018-ING-MX-04에 따라 "포멘토 알 라 Investigación UP 2018"을 통해 유니버시다드 파나메리카나에 의해 투자되었습니다.
Materials
| Name | Company | Catalog Number | Comments |
| Inertial measurement wearable sensor | Mbientlab | MTH-MetaTracker | Tri-axial accelerometer, tri-axial gyroscope and light intensity wearable sensor. |
| Electroencephalograph brain sensor helmet MindWave | NeuroSky | 80027-007 | Raw brainwave signal with one forehand sensor. |
| LifeCam Cinema video camera | Microsoft | H5D-00002 | 2D RGB camera with USB cable interface. |
| Infrared sensor | Alean | ABT-60 | Proximity sensor with normally closed relay. |
| Bluetooth dongle | Mbientlab | BLE | Dongle for Bluetooth connection between the wearable sensors and a computer. |
| Raspberry Pi | Raspberry | Version 3 Model B | Microcontroller for infrared sensor acquisition and computer interface. |
| Personal computer | Dell | Intel Xeon E5-2630 v4 @2.20 GHz, RAM 32GB |
References
- United Nations. World Population Prospects: The 2017 Revision, Key Findings and Advance Tables. United Nations. Department of Economic and Social Affairs, Population Division. , ESA/P/WP/248 (2017).
- World Health Organization. Ageing, and Life Course Unit. WHO Global Report on Falls Prevention in Older Age. , (2008).
- Igual, R., Medrano, C., Plaza, I. Challenges, Issues and Trends in Fall Detection Systems. Biomedical Engineering Online. 12 (1), 66 (2013).
- Noury, N., et al. Fall Detection-Principles and Methods. 2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1663-1666 (2007).
- Mubashir, M., Shao, L., Seed, L. A Survey on Fall Detection: Principles and Approaches. Neurocomputing. 100, 144-152 (2002).
- Perry, J. T., et al. Survey and Evaluation of Real-Time Fall Detection Approaches. Proceedings of the 6th International Symposium High-Capacity Optical Networks and Enabling Technologies. , 158-164 (2009).
- Xu, T., Zhou, Y., Zhu, J. New Advances and Challenges of Fall Detection Systems: A Survey. Applied Sciences. 8 (3), 418 (2018).
- Rougier, C., Meunier, J., St-Arnaud, A., Rousseau, J. Robust Video Surveillance for Fall Detection Based on Human Shape Deformation. IEEE Transactions on Circuit Systems for Video Technologies. 21, 611-622 (2011).
- Bulling, A., Blanke, U., Schiele, B. A Tutorial on Human Activity Recognition Using Body-Worn Inertial Sensors. ACM Computing Surveys. 46 (3), 33 (2014).
- Kwolek, B., Kepski, M. Human Fall Detection on Embedded Platform Using Depth Maps and Wireless Accelerometer. Computational Methods and Programs in Biomedicine. 117, 489-501 (2014).
- Ofli, F., Chaudhry, R., Kurillo, G., Vidal, R., Bajcsy, R. Berkeley MHAD: A Comprehensive Multimodal Human Action Database. Proceedings of the 2013 IEEE Workshop on Applications of Computer Vision. , 53-60 (2013).
- Dovgan, E., et al. Intelligent Elderly-Care Prototype for Fall and Disease Detection. Slovenian Medical Journal. 80, 824-831 (2011).
- Santoyo-Ramón, J., Casilari, E., Cano-García, J. Analysis of a Smartphone-Based Architecture With Multiple Mobility Sensors for Fall Detection With Supervised Learning. Sensors. 18 (4), 1155 (2018).
- Özdemir, A. An Analysis on Sensor Locations of the Human Body for Wearable Fall Detection Devices: Principles and Practice. Sensors. 16 (8), 1161 (2016).
- Ntanasis, P., Pippa, E., Özdemir, A. T., Barshan, B., Megalooikonomou, V. Investigation of Sensor Placement for Accurate Fall Detection. International Conference on Wireless Mobile Communication and Healthcare. , 225-232 (2016).
- Bagala, F., et al. Evaluation of Accelerometer-Based Fall Detection Algorithms on Real-World Falls. PLoS One. 7, 37062 (2012).
- Bourke, A. K., et al. Assessment of Waist-Worn Tri-Axial Accelerometer Based Fall-detection Algorithms Using Continuous Unsupervised Activities. Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2782-2785 (2010).
- Kerdegari, H., Samsudin, K., Ramli, A. R., Mokaram, S. Evaluation of Fall Detection Classification Approaches. 4th International Conference on Intelligent and Advanced Systems. , 131-136 (2012).
- Alazrai, R., Mowafi, Y., Hamad, E. A Fall Prediction Methodology for Elderly Based on a Depth Camera. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4990-4993 (2015).
- Peñafort-Asturiano, C. J., Santiago, N., Núñez-Martínez, J. P., Ponce, H., Martínez-Villaseñor, L. Challenges in Data Acquisition Systems: Lessons Learned from Fall Detection to Nanosensors. 2018 Nanotechnology for Instrumentation and Measurement. , 1-8 (2018).
- Martínez-Villaseñor, L., et al. UP-Fall Detection Dataset: A Multimodal Approach. Sensors. 19 (9), 1988 (2019).
- Rantz, M., et al. Falls, Technology, and Stunt Actors: New approaches to Fall Detection and Fall Risk Assessment. Journal of Nursing Care Quality. 23 (3), 195-201 (2008).
- Lachance, C., Jurkowski, M., Dymarz, A., Mackey, D. Compliant Flooring to Prevent Fall-Related Injuries: A Scoping Review Protocol. BMJ Open. 6 (8), 011757 (2016).
