Summary
אנו מציגים מתודולוגיה המבוססת על חיישנים רב מודאליים כדי לקבוע תצורה פשוטה, נוחה ומהירה של מערכת זיהוי הפעילות האנושית. המטרה היא לבנות מערכת לזיהוי סתיו מדויק שניתן ליישם ולאמץ בקלות.
Abstract
נייר זה מציג מתודולוגיה המבוססת על חיישנים רב מודאליים כדי לקבוע תצורה פשוטה, נוחה ומהירה של איתור ומערכת זיהוי הפעילות האנושית שניתן ליישם ולאמץ בקלות. המתודולוגיה מבוססת על התצורה של סוגים ספציפיים של חיישנים, שיטות לימוד מחשב ופרוצדורות. הפרוטוקול מחולק לארבעה שלבים: (1) יצירת מסדי נתונים (2) ניתוח מערכת (3) פישוט המערכת ו (4) הערכה. באמצעות מתודולוגיה זו, יצרנו מסד נתונים רב-מודאלי עבור זיהוי נפילות וזיהוי של פעילות אנושית, כלומר זיהוי מעלה-נפילה. היא כוללת דגימות נתונים מ -17 נושאים המבצעים 5 סוגים של נפילות 6 פעילויות פשוטות שונות, במהלך 3 מבחנים. כל המידע נאסף באמצעות 5 חיישנים לבישים (משולש ציר תאוצה, גירוסקופ ועוצמת אור), 1 הקסדה אלקטרונצלגרף, 6 חיישני אינפרא אדום כמו חיישנים הסביבה, ו 2 מצלמות בנקודות מבט לרוחב וחזית. מתודולוגיית הרומן המוצעת מוסיפה כמה שלבים חשובים כדי לבצע ניתוח עמוק של בעיות העיצוב הבאות כדי לפשט את מערכת גילוי הנפילות: a) לבחור אילו חיישנים או שילוב של חיישנים יש להשתמש במערכת זיהוי נפילה פשוטה, b) לקבוע את המיקום הטוב ביותר של מקורות מידע, ו c) לבחור את השיטה המתאימה ביותר למידה מחשב שיטת ליפול וזיהוי הפעילות האנושית והכרה. למרות שמספר גישות מודאליות שדווחו בספרות מתמקדות רק באחד או שניים מהנושאים הנ ל, המתודולוגיה שלנו מאפשרת בו במקביל לפתור את שלוש בעיות העיצוב הקשורות לירידה ולזיהוי הפעילות ומערכת הזיהוי של האדם.
Introduction
מאז תופעת העולם של הזדקנות האוכלוסייה1, השכיחות בסתיו גדל והוא נחשב בעצם בעיה בריאותית מרכזית2. כאשר מתרחשת נפילה, אנשים זקוקים לתשומת לב מיידית כדי להפחית את ההשלכות השליליות. מערכות זיהוי נפילות יכולות להקטין את משך הזמן שבו אדם מקבל טיפול רפואי בשליחת התראה כאשר מתרחשת נפילה.
קיימות חלוקה לקטגוריות שונות של מערכות לגילוי נפילות3. עבודות מוקדמות4 סיווג מערכות זיהוי נפילות לפי שיטת הזיהוי שלהם, שיטות אנליטיות בערך ושיטות למידה ממוחשבת. לאחרונה, סופרים אחרים3,5,6 נחשבו חיישני רכישת נתונים כתכונה העיקרית לסווג גלאי נפילות. איגואל ואח '3 מחלק את מערכות גילוי הנפילות למערכות התומכות בהקשר, הכוללות גישות ראייה והסביבה מבוססות חיישנים ומערכות התקנים לבישים. מושיר ואח '5 מסווג גלאי נפילות לשלוש קבוצות המבוססות על המכשירים המשמשים לרכישת נתונים: התקנים לבישים, חיישני אווירה והתקנים מבוססי-ראייה. פרי ואח '6 שיטות למדידת האצה, שיטות למדידת תאוצה בשילוב עם שיטות אחרות ושיטות שאינן מדידת תאוצה. מסקרים אלה ניתן לקבוע שחיישנים ושיטות הם המרכיבים העיקריים לסיווג אסטרטגיית המחקר הכללית.
לכל אחד מהחיישנים יש חולשות ועוצמות שנדונו ב-Xu ואח '7. חזון מבוססי גישות בעיקר להשתמש במצלמות רגילות, חיישן עומק מצלמות, ו/או מערכות לכידת תנועה. מצלמות אינטרנט רגיל הם בעלות נמוכה וקלה לשימוש, אבל הם רגישים לתנאים סביבתיים (וריאציה אור, חסימה, וכו '), ניתן להשתמש רק בחלל מופחת, ויש להם בעיות פרטיות. מצלמות עומק, כגון Kinect, לספק מלאה גוף תלת-ממד תנועה7 ו מושפעים פחות על-ידי תנאי תאורה מאשר מצלמות רגילות. עם זאת, גישות המבוססות על Kinect הם לא חזקים כמו ואמין. מערכות לכידת תנועה יקרות יותר וקשה לשימוש.
גישות המבוססות על מכשירי תאוצה וטלפונים חכמים/שעונים עם מדידת התאוצה מובנית משמשים בדרך כלל עבור זיהוי סתיו. החיסרון העיקרי של התקנים אלה הוא שהם צריכים להיות שחוקים לתקופות ארוכות. אי נוחות, החלטיות, מיקום הגוף ואוריינטציה הם בעיות עיצוב להיפתר בגישות אלה. למרות טלפונים חכמים ושעונים חכמים הם פחות פולשנית התקנים כי חיישנים, אנשים מבוגרים לעתים קרובות לשכוח או לא תמיד ללבוש את המכשירים האלה. עם זאת, היתרון של חיישנים והתקנים אלה הוא שניתן להשתמש בהם בחדרים רבים ו/או בחוץ.
מערכות מסוימות משתמשות בחיישנים שהונחו סביב הסביבה כדי לזהות נפילות/פעילויות, כך שאנשים לא צריכים לענוד את החיישנים. עם זאת, חיישנים אלה מוגבלים גם למקומות שבהם הם פרוסים8 ולעיתים קשה להתקנה. לאחרונה, מערכות זיהוי נפילות מודאליות כוללות צירופים שונים של ראייה, חיישנים לבישים וסביבתי כדי להשיג דיוק וחוסן יותר. הם יכולים גם להתגבר על חלק ממגבלות חיישן יחיד.
המתודולוגיה המשמשת לגילוי הנפילה קשורה קשר הדוק עם שרשרת זיהוי הפעילות האנושית (ARC) שהוצגה על ידי בולינג ואח '9, המורכבת משלבים עבור רכישת נתונים, מראש האות עיבוד ופילוח, תכונה החילוץ והבחירה, הדרכה וסיווג. יש לפתור בעיות עיצוב עבור כל אחד משלבים אלה. שיטות שונות משמשות בכל שלב.
אנו מציגים מתודולוגיה המבוססת על חיישנים רב מודאליים כדי לקבוע תצורה פשוטה, נוחה ומהירה של נפילה אנושית ומערכת זיהוי של פעילות אנושית. המטרה היא לבנות מערכת לזיהוי סתיו מדויק שניתן ליישם ולאמץ בקלות. מתודולוגיה הרומן המוצעת מבוססת על ARC, אבל זה מוסיף כמה שלבים חשובים כדי לבצע ניתוח עמוק של הבעיות הבאות כדי לפשט את המערכת: (א) לבחור אילו חיישנים או שילוב של חיישנים יש להשתמש במערכת זיהוי נפילה פשוטה; (ב) לקבוע את המיקום הטוב ביותר של מקורות המידע; ו-(ג) בחר את שיטת סיווג הלמידה המתאימה ביותר עבור זיהוי נפילות והכרה בפעילות אנושית כדי ליצור מערכת פשוטה.
ישנן כמה עבודות קשורות בספרות המתייחסות לאחד או שניים מנושאי העיצוב הנ ל, אך לידיעתנו, אין עבודה המתמקדת במתודולוגיה להתגבר על כל הבעיות הללו.
עבודות קשורות משתמשות בגישות מרובת-מודאליות לזיהוי נפילות ולזיהוי הפעילות האנושית10,11,12 כדי לקבל חסינות ולהגדיל את הדיוק. Kwolek ואח '10 הציע את העיצוב והיישום של מערכת זיהוי נפילה המבוססת על נתוני האצות ומפות עומק. הם תכננו מתודולוגיה מעניינת שבה מיושם תאוצה של שלושה צירים כדי לזהות נפילה פוטנציאלית כמו גם את התנועה של האדם. אם מדידת התאוצה חורגת מסף, האלגוריתם מחלץ אדם שונה את מפת העומק ממפת ההפניה המקוונת המעודכנת. ניתוח של עומק ושילובי תאוצה נעשה באמצעות מסווג תמיכה וקטורי מחשב.
Ofli ואח '11 הציג מסד נתונים מרובה מודאלי פעולה של האדם (mhad) כדי לספק גנט עבור מערכות חדשות לזיהוי פעילות האדם. ערכת הנתונים חשובה מאז הפעולות נאספו בו באמצעות 1 מערכת לכידת תנועה אופטית, 4 מצלמות multi-view, 1 מערכת Kinect, 4 מיקרופונים, ו 6 האצות אלחוטי. המחברים הציגו תוצאות עבור כל מודאליות: Kinect, את mocap, תאוצה, ואת האודיו.
דובגאן ואח '12 הציע אב טיפוס לגילוי התנהגות חריגה, כולל נפילות, בקשישים. הם תכננו בדיקות לשלוש מערכות חיישנים כדי למצוא את הציוד המתאים ביותר לירידה וגילוי התנהגות יוצאת דופן. הניסוי הראשון מורכב מנתונים ממערכת חיישן חכם עם 12 תגים מחוברים הירכיים, הברכיים, הקרסוליים, פרקי הידיים, המרפקים והכתפיים. הם יצרו גם ערכת נתונים מבחן באמצעות אחד Ubisense חיישן המערכת עם ארבעה תגים מחוברים המותניים, החזה ושני הקרסוליים, ותאוצה אחד Xsens. בניסוי שלישי, ארבעה נושאים להשתמש רק במערכת Ubisense בעת ביצוע 4 סוגים של נפילות, 4 בעיות בריאות כהתנהגות חריגה ופעילות שונה של היומיום (ADL).
עבודות אחרות בספרות13,14,15 לטפל בבעיה של מציאת המיקום הטוב ביותר של חיישנים או התקנים עבור זיהוי נפילה השוואת ביצועים של צירופים שונים של חיישנים עם מספר מסווג. Santoyo ואח '13 הציג הערכה שיטתית הערכה את החשיבות של מיקום 5 חיישנים לגילוי הנפילה. הם השוו את הביצועים של שילובים אלה חיישן באמצעות שכנים k-הקרוב (KNN), תמיכה מכונות וקטורים (SVM), נאיבי Bayes (NB) ו החלטות עץ (DT) מסווג. הם מסיקים כי המיקום של החיישן בנושא יש השפעה חשובה על הביצועים בגלאי הסתיו ללא תלות המסווג המשמש.
השוואה של מיקומי חיישנים לבישים על הגוף לאיתור נפילה הוצגה על ידי Özdemir14. כדי לקבוע מיקום חיישן, ניתח המחבר 31 שילובים חיישן של התפקידים הבאים: ראש, מותניים, החזה, יד ימין, קרסול ימין הירך הימנית. 14 מתנדבים ביצעו 20 נפילות מדומה ו -16 ADL. הוא גילה כי הביצועים הטובים ביותר הושגו כאשר חיישן יחיד ממוקם על המותניים מתוך ניסויים אלה שילוב ממצה. השוואה נוספת הוצגה על ידי Ntanasis15 באמצעות ערכת הנתונים של Özdemir's. המחברים השוו תנוחות בודדות על הראש, החזה, המותניים, פרק כף היד, הקרסול והירך באמצעות המאלף הבאים: J48, KNN, RF, ועדה אקראית (RC) ו-SVM.
בחינות של ביצועים של שיטות חישוביות שונות לזיהוי סתיו ניתן למצוא גם בספרות16,17,18. Bagala et al.16 הציג השוואה שיטתית כדי בחינת ביצועים של שלוש שיטות לזיהוי נפילות שנבדקו על נפילות אמיתיות. הם החשיבו רק אלגוריתמים המבוססים על מדידות תאוצה שהונחו על המותניים או הגזע. Bourke et al.17 העריכו את הביצועים של חמישה אלגוריתמים אנליטיים לאיתור נפילות באמצעות ערכת נתונים של adls ונופל מבוסס על קריאות תאוצה. Kerdegari18 עשה גם השוואה של הביצועים של מודלים סיווג שונים עבור קבוצה של נתוני האצת מוקלט. האלגוריתמים ששימשו לגילוי הנפילות היו zeroR, oneR, NB, DT, רב-שכבתי פרספטרון ו-SVM.
מתודולוגיה לאיתור נפילות הוצע על ידי Alazrai ואח '18 תוך שימוש בתנועה מתאר גיאומטרי כדי לבנות ייצוג המבוסס על היסטוגרמה מצטברת של פעילות אנושית. הם העריכו את המסגרת באמצעות ערכת נתונים שנאסף עם חיישנים Kinect.
לסיכום, מצאנו הקשורות בנפילות מודאליות עבודות בנושא10,11,12 השוואת הביצועים של שילובים שונים של שיטות. חלק מהמחברים מטפלים בבעיה של מציאת המיקום הטוב ביותר של חיישנים13,14,15, או שילובים של חיישנים13 עם מספר מסווג13,15,16 עם חיישנים מרובים של מודאליות זהה ו התאוצה. לא נמצאה עבודה בספרות שכתובת מיקום, צירופים מודאליים ובחינת ביצועים של מסווג בו.
Protocol
כל השיטות המתוארות כאן אושרו על ידי ועדת המחקר של בית הספר להנדסה של אוניברסיפאנאמריקאנה.
הערה: מתודולוגיה זו מבוססת על התצורה של הסוגים הספציפיים של חיישנים, שיטות לימוד מחשב ופרוצדורות כדי לקבוע תצורה פשוטה, מהירה ורב-מודלית של זיהוי ומערכת זיהוי הפעילות האנושית. עקב כך, הפרוטוקול הבא מחולק בשלבים: (1) יצירת מסדי נתונים (2) ניתוח מערכת (3) פישוט המערכת ו (4) הערכה.
1. יצירת מסד נתונים
- הגדר את מערכת רכישת הנתונים. פעולה זו תאסוף את כל הנתונים מהנושאים ותאחסן את המידע במסד נתונים של אחזור.
- בחר את סוגי החיישנים הלבישים, חיישני הסביבה והתקנים המבוססים על הראייה הדרושים כמקורות מידע. הקצה מזהה עבור כל מקור מידע, מספר הערוצים לכל מקור, המפרט הטכני וקצב הדגימה של כל אחד מהם.
- חבר את כל מקורות המידע (כלומר, לובש חיישנים מחוברים וחיישני סביבה והתקנים מבוססי-ראייה) למחשב מרכזי או למערכת מחשב מבוזרת:
- ודא שהתקנים מבוססי-קווית מחוברים כראוי למחשב לקוח אחד. ודא כי התקנים מבוססי-אלחוט טעונים במלואה. שקול שהסוללה החלשה עלולה להשפיע על התקשרויות אלחוטיות או על ערכי חיישנים. יתר על כן, חיבורים לסירוגין או אבודים יגדיל את אובדן הנתונים.
- הגדר כל אחד מההתקנים כדי לאחזר נתונים.
- הגדר את מערכת רכישת הנתונים לאחסון נתונים בענן הצמתים. בשל כמות הנתונים הגדולה שיש לאחסן, מחשוב ענן נחשב בפרוטוקול זה.
- ודא כי מערכת רכישת הנתונים ממלאת את סינכרון הנתונים ואת עקביות הנתונים20 מאפיינים. פעולה זו שומרת על תקינות אחסון הנתונים מכל מקורות המידע. ייתכן שתידרש גישות חדשות בסנכרון נתונים. לדוגמה, ראה Peñafort-Asturiano et al.20.
- התחל לאסוף נתונים מסוימים עם מקורות המידע ואחסן נתונים במערכת מועדפת. כלול חותמות זמן בכל הנתונים.
- בצע שאילתה על מסד הנתונים ובדוק אם כל מקורות המידע נאספים באותו קצב לדוגמה. אם יבוצע כראוי, עבור אל Step 1.1.6. אחרת, בצע את הדגימה או הדגימה למטה תוך שימוש בקריטריונים המדווחים על Peñafort-Asturiano, ואח '20.
- הגדר את הסביבה (או המעבדה) בהתחשב בתנאים הנדרשים ובהגבלות המוטלות על-ידי מטרת המערכת. הגדר תנאים עבור הנחת כוח ההשפעה ב מדומה נופל כמו מערכות ריצוף תואם הציע Lachance, ואח '.23 כדי להבטיח בטיחות המשתתפים.
- השתמש מזרן או כל מערכת ריצוף תואם אחרים ולמקם אותו במרכז הסביבה (או מעבדה).
- לשמור את כל האובייקטים הרחק המזרן כדי לתת לפחות מטר אחד של שטח בטוח מסביב. במידת הצורך, הכינו ציוד הגנה אישי למשתתפים (כגון: כפפות, כובע, משקפי מגן, תמיכת ברכיים וכו ').
הערה: ניתן להשהות את הפרוטוקול כאן.
- לקבוע את הפעילות האנושית נופל כי המערכת תזהה לאחר התצורה. חשוב לזכור את מטרת גילוי הנפילה ואת מערכת זיהוי הפעילות האנושית, כמו גם את אוכלוסיית היעד.
- הגדירו את מטרת גילוי הסתיו ואת מערכת זיהוי הפעילות האנושית. . תרשום את זה בגיליון תכנון במקרה זה, המטרה היא לסווג את סוגי הנפילות האנושיות ופעילויות שבוצעו באופן יומיומי מקורה של אנשים קשישים.
- הגדירו את אוכלוסיית היעד של הניסוי בהתאם למטרת המערכת. . תרשום את זה בגיליון התכנון במחקר, שקול אנשים קשישים כאוכלוסיית היעד.
- לקבוע את סוג הפעילויות היומיות. כלול מספר פעילויות שאינן נופלות שנראות כמו נפילות כדי לשפר את זיהוי הנפילות האמיתיות. הקצה מזהה לכל אחד מהם ותאר אותם כמפורט ככל האפשר. הגדר את תקופת הזמן עבור כל פעילות שתבוצע. כתוב את כל המידע הזה. בגיליון התכנון
- . לקבוע את סוג המפלים האנושיים הקצה מזהה לכל אחד מהם ותאר אותם כמפורט ככל האפשר. הגדר את תקופת הזמן עבור כל נפילה שתבוצע. שקול אם המפלים מופקים בעצמו על ידי הנושאים או שנוצרו על-ידי אחרים (למשל, דחיפת הנושא). כתוב את כל המידע הזה. בגיליון התכנון
- בגיליון התכנון, רשום את רצפי הפעילויות והוא נופל על הנושא. ציין את פרק הזמן, את מספר הנסיונות לפעילות/נפילה, את התיאור לביצוע הפעילות/הנפילה ומזהי הפעילות/הנפילות.
הערה: ניתן להשהות את הפרוטוקול כאן.
- בחר את הנושאים הרלוונטיים למחקר שיבצע רצפים של פעילויות ונפילות. מפלי הם אירועים נדירים לתפוס בחיים האמיתיים ומתרחשים בדרך כלל אנשים זקנים. אף על פי כן, מטעמי בטיחות, לא כוללים אנשים קשישים ולקויי ליקויי בסימולצית באמצעות ייעוץ רפואי. פעלולים שימשו כדי למנוע פציעות22.
- קבע את המין, טווח הגילאים, המשקל והגובה של הנושאים. הגדר את תנאי הפגיעה הנדרשים. כמו כן, הגדר את המספר המינימלי של נושאים הדרושים לניסוי.
- בחר באופן אקראי את ערכת הנושאים הדרושים, בעקבות התנאים המפורטים בשלב הקודם. השתמש בקריאה למתנדבים לגייס אותם. מלא את כל ההנחיות האתיות הרלוונטיות מהמוסד ומהמדינה, כמו גם מרגולציה בינלאומית כאשר מבצעים ניסויים עם בני אדם.
הערה: ניתן להשהות את הפרוטוקול כאן.
- אחזר ואחסן נתונים מנושאים. מידע זה יהיה שימושי לניתוח ניסיוני נוסף. השלם את הצעדים הבאים תחת פיקוח על ידי מומחה קליני או חוקר אחראי.
- התחל לאסוף נתונים עם מערכת רכישת הנתונים שהוגדרה בשלב 1.1.
- בקש מכל אחד מהנושאים לבצע את רצפי הפעילויות והנפילות בשלב 1.2. שמור בבירור את חותמות הזמן של ההתחלה והסוף של כל פעילות/נפילה. ודא שהנתונים מכל מקורות המידע נשמרים בענן הצמתים.
- אם הפעילויות לא נעשו כראוי או היו בעיות עם התקנים (למשל, איבד חיבור, סוללה נמוכה, חיבור לסירוגין), למחוק את הדגימות ולחזור על שלב 1.4.1 עד לא נמצאו בעיות התקן. חזור על שלב 1.4.2 עבור כל משפט, לכל נושא, הוכרז ברצף של שלב 1.2.
הערה: ניתן להשהות את הפרוטוקול כאן.
- הליך מקדים של כל הנתונים שנרכשו. החלת דגימה ודגימת למטה עבור כל אחד ממקורות המידע. ראו פרטים אודות עיבוד נתונים מראש לאיתור נפילות והכרה בפעילות האנושית במרטיטנז-וילאל21.
הערה: ניתן להשהות את הפרוטוקול כאן.
2. ניתוח נתונים
- בחר את מצב הטיפול בנתונים. בחר נתונים גולמיים אם הנתונים המאוחסנים במסד הנתונים ישמשו באופן מוחלט (כלומר, באמצעות למידה עמוקה להפקת תכונה אוטומטית) ועבור לשלב 2.2. בחר בתכונה נתונים אם מיצוי התכונות ישמש לניתוח נוסף ועבור לשלב 2.3.
- עבור נתונים גולמיים, אין צורך בצעדים נוספים כדי לעבור לשלב 2.5.
- עבור תכונה ' נתונים', חלץ תכונות מהנתונים הגולמיים.
- פלח נתונים גולמיים בחלונות הזמן. קבע ותקן את אורך חלון הזמן (לדוגמה, מסגרות בגודל שניה אחד). בנוסף, קבע אם חלונות הזמן האלה יהיו חופפים או לא. אימון טוב הוא לבחור 50% חופפים.
- חלץ תכונות מכל פלח נתונים. קבע את ערכת התכונות הטמפורלית והשעות הנוספות שיחולצו מהמקטעים. ר' מרטיז-וילאם סניור ואח '21 להפקת תכונות נפוצות.
- שמור את ערכת הנתונים של חילוץ התכונות בענן הצמתים, במסד נתונים עצמאי.
- אם חלונות זמן שונים ייבחרו, חזור על שלבים ש2.3.1 ל2.3.3 ושמור כל אחד מנתוני התכונות במסדי נתונים עצמאיים.
הערה: ניתן להשהות את הפרוטוקול כאן.
- בחר את התכונות החשובות ביותר שחולצו והפחת את ערכת הנתונים של התכונה. החלת מספר שיטות בחירת תכונות נפוצות (לדוגמה, בחירת univariate, ניתוח רכיבים עיקריים, חיסול תכונה רקורסיבית, חשיבות תכונה, מטריצת מתאם, וכו ').
- בחר שיטת בחירת תכונה. כאן, השתמשנו בתכונה חשובה.
- השתמש בכל תכונה להכשיר מודל נתון (אנחנו המועסקים RF) ולמדוד את הדיוק (ראה משוואה 1).
- דרג את התכונות על-ידי מיון לפי סדר הדיוק.
- בחר את התכונות החשובות ביותר. כאן, השתמשנו במיטב המאפיינים. הראשונים של עשרת התכונות
הערה: ניתן להשהות את הפרוטוקול כאן.
- בחר שיטת סיווג למידה של מחשב והרכבת דגם. יש שיטות ידועות ללמידה ממוחשבת16,17,18,21, כגון: תמיכה במכונות וקטורים (SVM), ביער אקראי (RF), בריבוי שכבות (MLP) ובשכנים k-הקרובים (KNN), בין רבים אחרים.
- באופן אופציונלי, אם הגישה למידה עמוקה נבחרה, לאחר מכן לשקול21: convolutional רשתות עצביות (CNN), הארוך לטווח קצר רשתות עצביות הזיכרון (LSTM), בין היתר.
- בחר ערכה של שיטות למידה של מחשב. כאן, השתמשנו בשיטות הבאות: SVM, RF, MLP ו-KNN.
- תקן את הפרמטרים של כל אחת מהשיטות למידה ממוחשבת, כפי שהוצע בספרות21.
- צור ערכת נתונים משולבת של תכונות (או ערכת נתונים גולמית) באמצעות ערכות הנתונים של התכונות העצמאיות (או ערכות נתונים גולמיים), כדי לשלב סוגים של מקורות מידע. לדוגמה, אם נדרש שילוב של חיישן לביש אחד ומצלמה אחת, שלב את ערכות הנתונים של התכונה מכל אחד ממקורות אלה.
- פצל את ערכת נתוני התכונות (או ערכת הנתונים הגולמית) בערכות הדרכה ובדיקה. בחירה טובה היא לחלק באופן אקראי 70% לאימונים ו -30% לבדיקה.
- הפעל מחתך-אימות של21 מתקפל באמצעות ערכת נתוני התכונות (או ערכת הנתונים הגולמית), עבור כל שיטת למידה של מחשב. השתמש במדד משותף של הערכה, כגון דיוק (ראה משוואה 1) כדי לבחור את המודל הטוב ביותר שהוכשר לכל שיטה. אם אתם ממליצים לצאת-הניסוי היוצא (LOSO)3 מומלץ גם כן.
- פתח את ערכת הנתונים של תכונת ההדרכה (או ערכת נתונים גולמית) בתוכנת שפת התיכנות המועדפת. פיתון מומלץ. עבור שלב זה, השתמש בספריית פנדות כדי לקרוא קובץ CSV באופן הבא:
training_set = פנדות. csv (< filename. csv >). - פצל את ערכת הנתונים של התכונה (או ערכת הנתונים הגולמיים) בזוגות של פלטי קלט. לדוגמה, השתמש בפיתון כדי להצהיר על ערכי ה-x (כניסות) וערכי-y (תפוקות):
training_set_X = training_set. drop (' תג ', ציר = 1), training_set_Y = training_set. tag
כאשר תג מייצג את העמודה של ערכת הנתונים של התכונה הכוללת את ערכי היעד. - בחר שיטת למידה אחת של המחשב והגדר את הפרמטרים. לדוגמה, השתמש ב-SVM ב-פייתון עם הספריה הבאה:
מסווג = sklearn. SVC (ליבה = ' פולי ')
שבה פונקציית הקרנל נבחרה כפולינום. - הרכבת את מודל למידה המכונה. לדוגמה, השתמש במסווג שלעיל ב-פייתון כדי להכשיר את מודל SVM:
מסווג (training_set_X, training_set_Y). - חשב את ערכי ההערכות של המודל באמצעות ערכת הנתונים של תכונת הבדיקה (או ערכת הנתונים הגולמיים). לדוגמה, השתמש בפונקציית ההערכה בפיתון כדלקמן: הערכות = מסווג. חיזוי (testing_set_X) כאשר testing_set_X מייצג את ערכי ה-X של ערכת הבדיקות.
- חזור על שלבים ה2.5.6.1 ל2.5.6.5, מספר הפעמים k שצוין באימות הצלב מתקפל k (או מספר הפעמים הנדרש לגישת LOSO).
- חזור על שלבים ה2.5.6.1 ל2.5.6.6 עבור כל מודל למידה של מחשב שנבחר.
הערה: ניתן להשהות את הפרוטוקול כאן.
- פתח את ערכת הנתונים של תכונת ההדרכה (או ערכת נתונים גולמית) בתוכנת שפת התיכנות המועדפת. פיתון מומלץ. עבור שלב זה, השתמש בספריית פנדות כדי לקרוא קובץ CSV באופן הבא:
- השווה את שיטות הלמידה של המחשב על-ידי בדיקת המודלים שנבחרו באמצעות ערכת נתוני הבדיקה. ניתן להשתמש במדדים אחרים של הערכה: דיוק (משוואה 1), דיוק (משוואה 2), רגישות (משוואה 3), ספציפיות (משוואה 4) או F1-ציון (משוואה 5), כאשר TP הם החיוביים האמיתיים, TN הם התשלילים האמיתיים, FP הם חיוביים false ו FN הם שליליות שקר.
- השתמש במדדים אחרים של ביצועים מועילים כגון מטריצת הבלבול9 כדי להעריך את משימת הסיווג של מודלים למידה של מחשב, או דיוק עצמאי החלטה-להיזכר9 (PR) או מקלט הפעלה מאפיין9 (ROC) עקומות. במתודולוגיה זו, הזיכרון והרגישות נחשבים לשווים.
- השתמש בתכונות איכותיות של דגמי המחשב לצורך השוואה ביניהם, כגון: קלות של פרשנות לימוד מכונה; ביצועים בזמן אמת; משאבים מוגבלים של זמן, זיכרון ומיחשוב עיבוד; וקלות בפריסה של למידה ממוחשבת בהתקני קצה או במערכות מוטבעות.
- בחר את מודל הלמידה הטוב ביותר במחשב באמצעות המידע מ: מדדי האיכות (משוואות 1-5), מדדי הביצועים והתכונות האיכותניות של למידה ממוחשבת של שלבים 2.5.6, 2.5.7 ו2.5.8.
הערה: ניתן להשהות את הפרוטוקול כאן.
3. פישוט המערכת
- בחר את המיקומים המתאימים של מקורות מידע. לפעמים, יש צורך לקבוע את המיקום הטוב ביותר של מקורות מידע (למשל, איזה מיקום של חיישן לביש הוא טוב יותר).
- קבע את קבוצת המשנה של מקורות מידע שינותחו. לדוגמה, אם יש חמישה חיישנים לבישים בגוף רק אחד יש לבחור את החיישן הטוב ביותר להציב, כל אחד מהחיישנים האלה יהיה חלק מקבוצת המשנה.
- עבור כל מקור מידע בקבוצת משנה זו, צור ערכת נתונים נפרדת ואחסן אותה בנפרד. זכור שערכת נתונים זו יכולה להיות ערכת הנתונים של התכונה הקודמת או ערכת הנתונים הגולמיים.
הערה: ניתן להשהות את הפרוטוקול כאן.
- בחר שיטת סיווג למידה של מחשב והרכבת מודל עבור מקור אחד של מיקום מידע. השלם את הצעדים מ2.5.1 כדי ל2.5.6 באמצעות כל אחת מערכות הנתונים שנוצרו בשלב 3.1.2. לזהות את המקור המתאים ביותר של מידע מיקום לפי דירוג. במקרה זה, אנו משתמשים בשיטות הבאות: SVM, RF, MLP ו-KNN.
הערה: ניתן להשהות את הפרוטוקול כאן. - בחר את המיקומים המתאימים בגישה רב-מודאלית אם יש צורך בשילוב של שני מקורות מידע או יותר עבור המערכת (למשל, שילוב של חיישן לביש אחד ומצלמה אחת). במקרה זה, להשתמש בחיישן המותניים לבישים ומצלמה 1 (מבט לרוחב) כמו האופנים.
- בחר את מקור המידע הטוב ביותר של כל מודאליות במערכת וצור ערכת נתונים משולבת של תכונות (או ערכת נתונים גולמית) תוך שימוש בערכות הנתונים העצמאיות של מקורות מידע אלה.
- בחר שיטת סיווג למידה של מחשב והרכבת מודל עבור מקורות מידע משולבים אלה. שלבים מלאים 2.5.1 ל2.5.6 באמצעות ערכת הנתונים המשולבת של התכונה (או ערכת נתונים גולמית). במחקר זה, השתמש בשיטות הבאות: SVM, RF, MLP ו-KNN.
הערה: ניתן להשהות את הפרוטוקול כאן.
4. הערכה
- הכן ערכת נתונים חדשה עם משתמשים בתנאים מציאותיים יותר. השתמש רק במקורות המידע שנבחרו בשלב הקודם. עדיף ליישם את המערכת בקבוצת היעד (למשל, אנשים קשישים). איסוף נתונים בפרקי זמן ארוכים יותר.
- באופן אופציונלי, אם נעשה שימוש בקבוצת היעד בלבד, צור פרוטוקול קבוצת בחירה כולל תנאי החרגה (לדוגמה, כל ליקוי פיזי או פסיכולוגי) ולהפסיק את מניעת הקריטריונים (למשל, לזהות כל פציעה פיזית במהלך המבחנים; סבל בחילות, סחרחורת ו/או הקאות; התעלפות). שקול גם דאגות אתיות ובעיות פרטיות בנתונים.
- הערכת הביצועים של גילוי הנפילה ומערכת זיהוי הפעילות האנושית פותחה עד כה. השתמש במשוואות 1 – 5 כדי לקבוע את הדיוק והכוח החזוי של המערכת, או כל מדדי ביצועים אחרים.
- דונו על הממצאים על התוצאות הנסיוניות.
Representative Results
יצירת מסד נתונים
יצרנו ערכת נתונים מרובת מודאליות לאיתור נפילות ולזיהוי של פעילות אנושית, כלומר זיהוי מעלה-נפילה21. הנתונים נאספו בתקופה של ארבעה שבועות בבית הספר להנדסה באוניברסיפאנאמריקאנה (מקסיקו סיטי, מקסיקו). תרחיש הבדיקה נבחר בהתחשב בדרישות הבאות: (א) מרחב שבו הנושאים יכולים בנוחות ובבטחה לבצע נפילות ופעילויות, ו (ב) סביבה מקורה עם אור טבעי ומלאכותי המתאים היטב להגדרות חיישנים ובלה מורכבת ודאליים.
יש דגימות נתונים מ 17 נושאים שבוצעו 5 סוגים של נפילות ו 6 פעילויות פשוטות שונות, במהלך 3 מבחנים. כל המידע נאסף באמצעות מערכת איסוף נתונים בתוך הבית עם 5 חיישנים לבישים (שלושה צירים תאוצה, גירוסקופ ועוצמת אור), 1 הקסדה אלקטרונצלוגרף, 6 חיישני אינפרא אדום כמו חיישני הסביבה, ו 2 מצלמות בנקודות מבט לרוחב וחזית. איור 1 מציג את הפריסה של מיקום החיישן בסביבה ובגוף. קצב הדגימה של קבוצת הנתונים כולה הוא 18 Hz. מסד הנתונים מכיל שתי ערכות נתונים: ערכת הנתונים הגולמיים המאוחדים (812 GB), וערכת נתונים של תכונות (171 GB). כל מאגרי המידע המאוחסנים בענן הצמתים לגישה ציבורית: https://sites.google.com/up.edu.mx/har-up/. פרטים נוספים על רכישת נתונים, טרום עיבוד, האיחוד והאחסון של מסד נתונים זה, כמו גם פרטים על סנכרון ועקביות הנתונים ניתן למצוא במרטיז-וילז ואח '21.
עבור מסד נתונים זה, כל הנושאים היו מתנדבים צעירים בריאים (9 זכרים ו 8 נקבות) ללא כל ליקוי, החל 18 עד 24 שנים, עם גובה ממוצע של 1.66 m ומשקל ממוצע של 66.8 ק"ג. במהלך איסוף הנתונים, החוקר האחראי הטכני השגיח כי כל הפעילויות בוצעו על ידי הנושאים כהלכה. הנושאים ביצעו חמישה סוגים של נפילות, כל אחד עבור 10 שניות, כמו נפילה: קדימה באמצעות הידיים (1), קדימה באמצעות הברכיים (2), לאחור (3), יושב בכיסא ריק (4) ו צדדית (5). הם ניהלו גם שישה פעילויות יומיות עבור 60 s כל אחד למעט קפיצות (30 s): הליכה (6), עומד (7), להרים אובייקט (8), יושב (9), קפיצה (10) והנחת (11). למרות פולס מדומה לא יכול לשכפל את כל סוגי החיים האמיתיים נופל, חשוב לפחות לכלול סוגים מייצגים של המפלים המאפשרים יצירה של מודלים לזיהוי נפילות טוב יותר. זה רלוונטי גם לשימוש ADLs ו, בפרט, פעילויות שבדרך כלל יכול להיות טועה עם נופל כגון להרים אובייקט. סוגי הנפילות ADLs נבחרו לאחר סקירה של מערכות זיהוי נפילה קשורים21. בדוגמה, איור 2 מציג רצף של תמונות של משפט אחד כאשר נושא מתפרק.
הצלחנו לחלץ 12... סטיית תקן, משרעת מקסימלית, משרעת מינימלית, שורש ממוצע מרובע, חציון, מספר מעבר אפס, הטיה, קורטוזיס, הרביעון הראשון, הרביעון השלישי והקורלציה האוטומטית) ו-6 לינה (ממוצע, החציון, האנטרופיה, אנרגיה, תדר הראשי והסנטרופאיד) תכונות 21756 אנו מחושבים גם 400 תכונות חזותיות21 עבור כל מצלמה על התנועה היחסית של פיקסלים בין שתי תמונות סמוכות בקטעי וידאו.
ניתוח נתונים בין גישות מרובת-מודאליות לייחודיות
מתוך מסד הנתונים של זיהוי הנפילות, ניתחנו את הנתונים למטרות השוואה בין גישות ייחודיות לגישה מרובת מודאליות. במובן זה, השוונו שבעה צירופים שונים של מקורות מידע: חיישני אינפרא-אדום בלבד (IR); חיישנים לבישים בלבד (IMU); חיישנים לבישים וקסדה (מה-EEG); חיישני אינפרא-אדום ולבישים וקסדה (IR + IMU + EEG); מצלמות בלבד (CAM); חיישני אינפרא-אדום ומצלמות (IR + CAM); וחיישנים לבישים, קסדה ומצלמות (IMU + EEG + CAM). בנוסף, השוונו שלושה מידות חלון זמן שונות עם 50% חופפים: שנייה אחת, שתי שניות ושלוש שניות. בכל קטע, בחרנו את התכונות השימושיות ביותר החלת בחירת תכונה ודירוג. באמצעות אסטרטגיה זו, אנו מועסקים רק 10 תכונות לכל מודאליות, למעט במודאליות של IR באמצעות 40 תכונות. יתר על כן, ההשוואה נעשתה על פני ארבעה ידועים לימוד מכונה מחשבים: RF, SVM, MLP ו KNN. אנו המועסקים 10 מקפלים באמצעות אימות, עם מערכות נתונים של 70% הרכבת ו 30% מבחן, כדי להכשיר את המודל למידה מחשב. טבלה 1 מציגה את התוצאות של בחינת ביצועים זו, מדווחת על הביצועים הטובים ביותר שהושגו עבור כל מודאליות בהתאם למודל הלמידה של המחשב ולתצורה המיטבית של אורך החלון. מדדי ההערכה מדווחים על דיוק, דיוק, רגישות, ספציפיות ו-F1 ניקוד. איור 3 מראה את התוצאות בייצוג גרפי, במונחים של F1-ניקוד.
מטבלה 1, גישות רב-מודאליות (חיישנים אינפרא אדום ולבישים וקסדה, IR + IMU + eeg; חיישנים לבישים וקסדה ומצלמות, IMU + EEG + CAM) השיגו את הטוב ביותר לציון הערכים F1, בהשוואה גישות unimodal (אינפרא אדום בלבד, IR; ומצלמות בלבד, CAM). כמו כן הבחנו שחיישנים לבישים בלבד (IMU) השיגו ביצועים דומים מאשר גישה מרובת מודלית. במקרה זה, בנינו גישה מרובת מודאליות מכיוון שמקורות מידע שונים יכולים לטפל במגבלות של אחרים. לדוגמה, החלטיות במצלמות יכול להיות מטופל על ידי חיישנים לבישים, ולא באמצעות כל החיישנים לבישים ניתן להשלמה עם מצלמות או חיישנים הסביבה.
במונחים של בחינת ביצועים של מודלים מונחי נתונים, ניסויים בטבלה 1 הראו כי RF מציג את התוצאות הטובות ביותר כמעט את כל הניסוי; בעוד MLP ו-SVM לא היו עקביים מאוד בביצועים (למשל, סטיית התקן בטכניקות אלה מראה שינויים רבים יותר מ-RF). לגבי גודל החלון, אלה לא מייצגים שיפור משמעותי ביניהם. חשוב להבחין כי ניסויים אלה נעשו לצורך בסתיו ובסיווג הפעילות האנושית.
מיקום החיישן והשילוב הטוב ביותר של Multimodal
לעומת זאת, כיוונו לקבוע את השילוב הטוב ביותר של התקנים רב-מודאליים לזיהוי נפילות. לניתוח זה הגבילו את מקורות המידע לחמשת החיישנים הלבישים ולשתי המצלמות. התקנים אלה הם הנוחים ביותר עבור הגישה. בנוסף, שקלנו שני כיתות: סתיו (כל סוג של נפילה) או אי-סתיו (כל פעילות אחרת). כל דגמי המכונות וגדלי החלון נשארים זהים לאלה של הניתוח הקודם.
לכל חיישן לביש, בנינו מודל מסווג עצמאי לכל אורך חלון. אימנו את המודל באמצעות 10-מקפלים לחצות אימות עם 70% הכשרה ו 30% בדיקות ערכות נתונים. טבלה 2 מסכמת את התוצאות עבור הדירוג של חיישנים לבישים לכל מסווג ביצועים, בהתבסס על הניקוד F1. תוצאות אלה ממוינות בסדר יורד. כפי שנראה בטבלה 2, הביצועים הטובים ביותר מתקבלים בעת שימוש בחיישן יחיד במותניים, בצוואר או בכיס הימני הצמוד (אזור מוצל). בנוסף, הקרסול חיישנים לבישים שמאלי ביצעו את הגרוע ביותר. Table 3 מציג את העדפת אורך החלון לכל חיישן לביש כדי לקבל את הביצועים הטובים ביותר בכל מסווג. מן התוצאות, המותניים, הצוואר ואת חיישני הכיס הימני הדוק עם מסווג RF ו-3 בגודל חלון עם 50% חופפים הם חיישנים לבישים המתאימים ביותר עבור זיהוי נפילה.
ערכנו ניתוח דומה לכל מצלמה במערכת. בנינו מודל מסווג עצמאי. עבור כל גודל חלון לאימונים, עשינו 10 מקפלים החוצה אימות עם 70% הכשרה ו 30% בדיקות ערכות נתונים. טבלה 4 מראה את הדירוג של נקודת המבט המצלמה הטובה ביותר לכל מסווג, בהתבסס על הניקוד F1. כפי שנצפתה, התצוגה לרוחב (מצלמה 1) ביצע את זיהוי הנפילה הטובה ביותר. בנוסף, RF הופיע בהשוואה. לאותם מסווג כמו כן, טבלה 5 מציגה את העדפת אורך החלון לכל נקודת המבט של המצלמה. מן התוצאות, מצאנו כי המיקום הטוב ביותר של מצלמה היא נקודת מבט לרוחב באמצעות RF בגודל של חלון 3 ו 50% חופפים.
לבסוף, בחרנו שני מיקומים אפשריים של חיישנים לבישים (כלומר, המותניים ואת הכיס הימני החזק) כדי להשתלב עם המצלמה של נקודת מבט לרוחב. לאחר הליך אימונים, קיבלנו את התוצאות משולחן 6. כפי שמוצג, מסווג RF מודל קיבל את הביצועים הטובים ביותר בדיוק ו-F1 ציון בשני מודלים. גם, את השילוב בין המותניים והמצלמה 1 מדורגת במיקום הראשון השגת 98.72% בדיוק ו 95.77% ב-F1 ציון.
איור 1: פריסה של החיישנים לבישים (שמאל) והסביבה (מימין) במסד הנתונים לזיהוי נפילות. החיישנים הבישים מונחים במצח, בפרק כף היד השמאלי, בצוואר, במותניים, בכיס הימני של המכנסיים ובקרסול השמאלי. חיישני הסביבה הם שישה חיישני אינפרא אדום מזווג כדי לזהות את הנוכחות של נושאים ושתי מצלמות. מצלמות ממוקמות בתצוגה לרוחב ובמבט הקדמי, שניהם ביחס לנפילת האדם. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
איור 2: דוגמה להקלטת וידאו שחולצו ממסד הנתונים לאיתור נפילות. בחלק העליון, יש רצף של תמונות של נושא נופל בצד. בתחתית, יש רצף של תמונות המייצגים את תכונות החזון שחולצו. תכונות אלה הן התנועה היחסית של פיקסלים בין שתי תמונות סמוכות. פיקסלים לבנים מייצגים תנועה מהירה יותר, בעוד שפיקסלים שחורים מייצגים תנועה איטית יותר (או קרובה לאפס). רצף זה ממוין משמאל לימין, כרונולוגי. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
איור 3: תוצאות השוואתית דיווח את הציון הטוב ביותר F1 של כל מודאליות ביחס למודל למידה מחשב ואת אורך החלון הטוב ביותר. המייצגי פעילויות מייצגים את הערכים הרעים של תוצאת ה-F1. טקסט בנקודות נתונים מייצג ממוצע וסטיית תקן בסוגריים. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
| מודאליות | ודל | דיוק (%) | דיוק (%) | רגישות (%) | ספציפיות (%) | F1-ציון (%) |
| IR | RF (3 שניות) | 67.38 ± 0.65 | 36.45 ± 2.46 | 31.26 ± 0.89 | 96.63 ± 0.07 | 32.16 ± 0.99 |
| SVM (3 שניות) | 65.16 ± 0.90 | 26.77 ± 0.58 | 25.16 ± 0.29 | 96.31 ± 0.09 | 23.89 ± 0.41 | |
| MLP (3 שניות) | 65.69 ± 0.89 | 28.19 ± 3.56 | 26.40 ± 0.71 | 96.41 ± 0.08 | 25.13 ± 1.09 | |
| kNN (3 שניות) | 61.79 ± 1.47 | 30.04 ± 1.44 | 27.55 ± 0.97 | 96.05 ± 0.16 | 27.89 ± 1.13 | |
| מיכל מוניב | RF (1 שניות) | 95.76 ± 0.18 | 70.78 ± 1.53 | 66.91 ± 1.28 | 99.59 ± 0.02 | 68.35 ± 1.25 |
| SVM (1 שניות) | 93.32 ± 0.23 | 66.16 ± 3.33 | 58.82 ± 1.53 | 99.32 ± 0.02 | 60.00 ± 1.34 | |
| MLP (1 שניות) | 95.48 ± 0.25 | 73.04 ± 1.89 | 69.39 ± 1.47 | 99.56 ± 0.02 | 70.31 ± 1.48 | |
| kNN (1 שניות) | 94.90 ± 0.18 | 69.05 ± 1.63 | 64.28 ± 1.57 | 99.50 ± 0.02 | 66.03 ± 1.52 | |
| למעלה | RF (1 שניות) | 95.92 ± 0.29 | 74.14 ± 1.29 | 66.29 ± 1.66 | 99.59 ± 0.03 | 69.03 ± 1.48 |
| SVM (1 שניות) | 90.77 ± 0.36 | 62.51 ± 3.34 | 52.46 ± 1.19 | 99.03 ± 0.03 | 53.91 ± 1.16 | |
| MLP (1 שניות) | 93.33 ± 0.55 | 74.10 ± 1.61 | 65.32 ± 1.15 | 99.32 ± 0.05 | 68.13 ± 1.16 | |
| kNN (1 שניות) | 92.12 ± 0.31 | 66.86 ± 1.32 | 58.30 ± 1.20 | 98.89 ± 0.05 | 60.56 ± 1.02 | |
| IR + IMU + EEG | RF (2 שניות) | 95.12 ± 0.36 | 74.63 ± 1.65 | 66.71 ± 1.98 | 99.51 ± 0.03 | 69.38 ± 1.72 |
| SVM (1 שניות) | 90.59 ± 0.27 | 64.75 ± 3.89 | 52.63 ± 1.42 | 99.01 ± 0.02 | 53.94 ± 1.47 | |
| MLP (1 שניות) | 93.26 ± 0.69 | 73.51 ± 1.59 | 66.05 ± 1.11 | 99.31 ± 0.07 | 68.19 ± 1.02 | |
| kNN (1 שניות) | 92.24 ± 0.25 | 67.33 ± 1.94 | 58.11 ± 1.61 | 99.21 ± 0.02 | 60.36 ± 1.71 | |
| צלמת | RF (3 שניות) | 32.33 ± 0.90 | 14.45 ± 1.07 | 14.48 ± 0.82 | 92.91 ± 0.09 | 14.38 ± 0.89 |
| SVM (2 שניות) | 34.40 ± 0.67 | 13.81 ± 0.22 | 14.30 ± 0.31 | 92.97 ± 0.06 | 13.83 ± 0.27 | |
| MLP (3 שניות) | 27.08 ± 2.03 | 8.59 ± 1.69 | 10.59 ± 0.38 | 92.21 ± 0.09 | 7.31 ± 0.82 | |
| kNN (3 שניות) | 34.03 ± 1.11 | 15.32 ± 0.73 | 15.54 ± 0.57 | 93.09 ± 0.11 | 15.19 ± 0.52 | |
| IR + קאם | RF (3 שניות) | 65.00 ± 0.65 | 33.93 ± 2.81 | 29.02 ± 0.89 | 96.34 ± 0.07 | 29.81 ± 1.16 |
| SVM (3 שניות) | 64.07 ± 0.79 | 24.10 ± 0.98 | 24.18 ± 0.17 | 96.17 ± 0.07 | 22.38 ± 0.23 | |
| MLP (3 שניות) | 65.05 ± 0.66 | 28.25 ± 3.20 | 25.40 ± 0.51 | 96.29 ± 0.06 | 24.39 ± 0.88 | |
| kNN (3 שניות) | 60.75 ± 1.29 | 29.91 ± 3.95 | 26.25 ± 0.90 | 95.95 ± 0.11 | 26.54 ± 1.42 | |
| IMU + EEG + קאם | RF (1 שניות) | 95.09 ± 0.23 | 75.52 ± 2.31 | 66.23 ± 1.11 | 99.50 ± 0.02 | 69.36 ± 1.35 |
| SVM (1 שניות) | 91.16 ± 0.25 | 66.79 ± 2.79 | 53.82 ± 0.70 | 99.07 ± 0.02 | 55.82 ± 0.77 | |
| MLP (1 שניות) | 94.32 ± 0.31 | 76.78 ± 1.59 | 67.29 ± 1.41 | 99.42 ± 0.03 | 70.44 ± 1.25 | |
| kNN (1 שניות) | 92.06 ± 0.24 | 68.82 ± 1.61 | 58.49 ± 1.14 | 99.19 ± 0.02 | 60.51 ± 0.85 |
טבלה 1: תוצאות השוואתיות מדווחות על הביצועים הטובים ביותר של כל מודאליות ביחס למודל הלמידה של המחשב ואורך החלון הטוב ביותר (בסוגריים). כל הערכים בביצועים מייצגים את הממוצע ואת סטיית התקן.
| # | סוג IMU | |||
| RF | בעלי משקל | תיעצרי | כניסת מיכל | |
| 1 | (98.36) מותן | (83.30) הכיס הימני | (57.67) הכיס הימני | (73.19) הכיס הימני |
| 2 | (95.77) צוואר | (83.22) מותן | (44.93) צוואר | (68.73) מותן |
| 3 | (95.35) הכיס הימני | (83.11) צוואר | (39.54) מותן | (65.06) צוואר |
| 4 | (95.06) קרסול | (82.96) קרסול | (39.06) מפרק כף היד השמאלי | (58.26) קרסול |
| מיכל 5 | (94.66) מפרק כף היד השמאלי | (82.82) מפרק כף היד השמאלי | (37.56) קרסול | (51.63) מפרק כף היד השמאלי |
שולחן 2: הדירוג של החיישן לביש הטובה ביותר לכל מסווג, מיון על-ידי ציון F1 (בסוגריים). האזורים בצל מייצגים את שלושת הטובים ביותר עבור זיהוי נפילה.
| סוג IMU | אורך חלון | |||
| RF | בעלי משקל | תיעצרי | כניסת מיכל | |
| קרסול שמאלי | 2-שניות | 3-שניות | 1-שניה | 3-שניות |
| מותניים | 3-שניות | 1-שניה | 1-שניה | 2-שניות |
| צוואר | 3-שניות | 3-שניות | 2-שניות | 2-שניות |
| כיס ימני | 3-שניות | 3-שניות | 2-שניות | 2-שניות |
| יד שמאל | 2-שניות | 2-שניות | 2-שניות | 2-שניות |
שולחן 3: אורך חלון זמן מועדף בחיישנים לבישים לכל מסווג.
| # | תצוגת מצלמה | |||
| RF | בעלי משקל | תיעצרי | כניסת מיכל | |
| 1 | (62.27) מבט לרוחב | (24.25) מבט לרוחב | (13.78) מבט חזיתי | (41.52) מבט לרוחב |
| 2 | (55.71) מבט חזיתי | (0.20) מבט חזיתי | (5.51) מבט לרוחב | (28.13) מבט חזיתי |
טבלה 4: דירוג נקודת המבט של המצלמה הטובה ביותר לכל מסווג, ממוין לפי ציון F1 (בסוגריים). האזורים בצל מייצגים את המסווג העליון לזיהוי נפילות.
| מצלמה | אורך חלון | |||
| RF | בעלי משקל | תיעצרי | כניסת מיכל | |
| מבט צדדי | 3-שניות | 3-שניות | 2-שניות | 3-שניות |
| מבט חזיתי | 2-שניות | 2-שניות | 3-שניות | 2-שניות |
טבלה 5: אורך חלון הזמן המועדף בנקודות המבט של המצלמה לכל מסווג.
| ובלה מורכבת | סווג | דיוק (%) | דיוק (%) | רגישות (%) | F1-ציון (%) |
| מותניים + מבט צדדי |
RF | 98.72 ± 0.35 | 94.01 ± 1.51 | 97.63 ± 1.56 | 95.77 ± 1.15 |
| בעלי משקל | 95.59 ± 0.40 | 100 | 70.26 ± 2.71 | 82.51 ± 1.85 | |
| תיעצרי | 77.67 ± 11.04 | 33.73 ± 11.69 | 37.11 ± 26.74 | 29.81 ± 12.81 | |
| כניסת מיכל | 91.71 ± 0.61 | 77.90 ± 3.33 | 61.64 ± 3.68 | 68.73 ± 2.58 | |
| כיס ימני + מבט צדדי |
RF | 98.41 ± 0.49 | 93.64 ± 1.46 | 95.79 ± 2.65 | 94.69 ± 1.67 |
| בעלי משקל | 95.79 ± 0.58 | 100 | 71.58 ± 3.91 | 83.38 ± 2.64 | |
| תיעצרי | 84.92 ± 2.98 | 55.70 ± 11.36 | 48.29 ± 25.11 | 45.21 ± 14.19 | |
| כניסת מיכל | 91.71 ± 0.58 | 73.63 ± 3.19 | 68.95 ± 2.73 | 71.13 ± 1.69 |
שולחן 6: תוצאות השוואתית של החיישן לבישים משולב נקודת מבט המצלמה באמצעות אורך חלון 3 שניות. כל הערכים מייצגים את הממוצע ואת סטיית התקן.
Discussion
מקובל להיתקל באתגרים כתוצאה מבעיות סינכרון, הארגון וחוסר עקביות בנתונים20 בעת יצירת ערכת נתונים.
סינכרון
ברכישת נתונים, בעיות סינכרון עולות בהתחשב כי חיישנים מרובים בדרך כלל לעבוד בקצבי דגימה שונים. חיישנים עם תדרים גבוהים יותר אוספים יותר נתונים מאלה עם תדרים נמוכים יותר. לפיכך, נתונים ממקורות שונים לא יוכו כראוי. גם אם חיישנים פועלים באותם קצבי דגימה, ייתכן שהנתונים לא יהיו מיושרים. בהקשר זה, ההמלצות הבאות עשויות לסייע בטיפול בבעיות סינכרון אלה20: (i) אוגר חותמת זמן, נושא, פעילות ומשפט בכל דגימת נתונים שמתקבלת מהחיישנים; (ii) מקור המידע העקבי והפחות תכוף שיש להשתמש בו כאות התייחסות לסנכרון; ו (iii) להשתמש אוטומטי או חצי אוטומטי הליכים כדי לסנכרן הקלטות וידאו כי בדיקה ידנית לא מעשי.
עיבוד מקדים של נתונים
ניתן גם לבצע עיבוד מקדים של נתונים, והחלטות קריטיות משפיעות על תהליך זה: (א) קובעים את השיטות לאחסון נתונים וייצוג נתונים של מקורות מרובים והטרוגנית (ב) להחליט על הדרכים לאחסן נתונים במחשב המארח המקומי או בענן (c) לבחור את ארגון הנתונים, לרבות שמות הקבצים והתיקיות (d) לטפל בערכים חסרים של נתונים , בין היתר. בנוסף, עבור ענן הנתונים, האפשרות אגירה מקומית מומלצת כאשר ניתן להקטין את אובדן הנתונים בזמן ההעלאה.
חוסר עקביות בנתונים
חוסר עקביות בנתונים נפוץ בין ניסויים באיתור וריאציות בגודלי דגימת נתונים. סוגיות אלה קשורות לרכישת נתונים בחיישנים לבישים. הפסקות קצרות של רכישת נתונים והתנגשות נתונים מחיישנים מרובים מובילה לחוסר עקביות בנתונים. במקרים אלה, אלגוריתמים לזיהוי עקביות חשובים לטיפול בכשל מקוון בחיישנים. חשוב להדגיש כי יש לנטר התקנים מבוססי-אלחוט לעתים קרובות במהלך הניסוי. סוללה חלשה עלולה להשפיע על הקישוריות ולגרום לאובדן נתונים.
אתית
הסכמה להשתתפות ואישור אתי הינם חובה בכל סוג של ניסויים שבהם אנשים מעורבים.
בנוגע למגבלות מתודולוגיה זו, חשוב לשים לב שהוא מיועד לגישות הנוגעות לשיטות שונות לאיסוף מידע. המערכות יכולות לכלול חיישנים לבישים, הסביבה ו/או ראייה. הוא הציע לשקול את צריכת החשמל של התקנים ואת החיים של סוללות בחיישנים מבוססי אלחוטית, בשל הבעיות כגון אובדן של איסוף נתונים, צמצום הקישוריות ואת צריכת החשמל במערכת כולה. כמו-כן, מתודולוגיה זו מיועדת למערכות המשתמשות בשיטות למידה ממוחשבת. ניתוח של הבחירה של מודלים אלה למידה מחשב צריך להתבצע מראש. חלק מהמודלים האלה יכולים להיות מדויקים, אבל מאוד זמן וצריכת אנרגיה. החלפה בין שערוך מדויק וזמינות משאבים מוגבלת למחשוב בדגמי מחשבים חייבת להילקח בחשבון. חשוב גם להתבונן כי באיסוף הנתונים של המערכת נערכו הפעילויות באותו סדר; גם, מבחנים בוצעו באותו רצף. מטעמי בטיחות, מזרן הגנה שימש לנושאים ליפול על. בנוסף, המפלים הינם בעלי יוזמה עצמית. זהו הבדל חשוב בין מדומה למפלים האמיתיים, אשר מתרחשים בדרך כלל לעבר חומרים קשים. במובן זה, ערכת נתונים זו נרשמה נופל עם תגובה אינטואיטיבית מנסה לא ליפול. כמו-כן, קיימים מספר הבדלים בין המפלים האמיתיים באנשים קשישים או לקויי לקוי והדמיה נופלת; ואלה יש לקחת בחשבון בעת עיצוב מערכת זיהוי סתיו חדש. מחקר זה היה ממוקד על אנשים צעירים ללא כל ליקויי, אבל זה מדהים לומר כי הבחירה של נושאים צריך להיות מיושר למטרה של המערכת ואת אוכלוסיית היעד שישתמשו בו.
מתוך העבודות הקשורות המתוארות מעל10,11,12,13,14,15,16,17,19, אנו יכולים להבחין כי קיימים מחברים המשתמשים בגישות רב-מודאליות התמקדות בקבלת גלאי נפילות חזקים או התמקדות במיקום או בביצועים של המסווג. מכאן, הם מטפלים רק אחד או שניים של בעיות העיצוב עבור זיהוי נפילה. המתודולוגיה שלנו מאפשרת לפתור בו שלוש בעיות העיצוב העיקרי של מערכת זיהוי נפילה.
לעבודה בעתיד, אנו ממליצים לעצב וליישם מערכת איתור מודלית פשוטה המבוססת על הממצאים שהתקבלו לאחר מתודולוגיה זו. עבור אימוץ העולם האמיתי, למידה העברה, סיווג הירארכי וגישות למידה עמוקה יש להשתמש לפיתוח מערכות חזקות יותר. ההטמעה שלנו לא שוקלת מדדים איכותניים של מודלים למידה ממוחשבת, אך משאבי מיחשוב בזמן אמת ומוגבלים צריכים להילקח בחשבון לצורך פיתוח נוסף של נפילות ומערכות זיהוי של האדם והפעילות. לבסוף, כדי לשפר את ערכת הנתונים שלנו, מועד או כמעט נפילה פעילויות וניטור בזמן אמת של מתנדבים במהלך חיי היומיום שלהם יכול להיחשב.
Disclosures
. למחברים אין מה לגלות
Acknowledgments
מחקר זה מומן על ידי אוניברסיצ פאנאמריקאנה באמצעות המענק "פונטו a la חקירה עד 2018", תחת פרויקט קוד UP-CI-2018-ING-MX-04.
Materials
| Name | Company | Catalog Number | Comments |
| Inertial measurement wearable sensor | Mbientlab | MTH-MetaTracker | Tri-axial accelerometer, tri-axial gyroscope and light intensity wearable sensor. |
| Electroencephalograph brain sensor helmet MindWave | NeuroSky | 80027-007 | Raw brainwave signal with one forehand sensor. |
| LifeCam Cinema video camera | Microsoft | H5D-00002 | 2D RGB camera with USB cable interface. |
| Infrared sensor | Alean | ABT-60 | Proximity sensor with normally closed relay. |
| Bluetooth dongle | Mbientlab | BLE | Dongle for Bluetooth connection between the wearable sensors and a computer. |
| Raspberry Pi | Raspberry | Version 3 Model B | Microcontroller for infrared sensor acquisition and computer interface. |
| Personal computer | Dell | Intel Xeon E5-2630 v4 @2.20 GHz, RAM 32GB |
References
- United Nations. World Population Prospects: The 2017 Revision, Key Findings and Advance Tables. United Nations. Department of Economic and Social Affairs, Population Division. , ESA/P/WP/248 (2017).
- World Health Organization. Ageing, and Life Course Unit. WHO Global Report on Falls Prevention in Older Age. , (2008).
- Igual, R., Medrano, C., Plaza, I. Challenges, Issues and Trends in Fall Detection Systems. Biomedical Engineering Online. 12 (1), 66 (2013).
- Noury, N., et al. Fall Detection-Principles and Methods. 2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1663-1666 (2007).
- Mubashir, M., Shao, L., Seed, L. A Survey on Fall Detection: Principles and Approaches. Neurocomputing. 100, 144-152 (2002).
- Perry, J. T., et al. Survey and Evaluation of Real-Time Fall Detection Approaches. Proceedings of the 6th International Symposium High-Capacity Optical Networks and Enabling Technologies. , 158-164 (2009).
- Xu, T., Zhou, Y., Zhu, J. New Advances and Challenges of Fall Detection Systems: A Survey. Applied Sciences. 8 (3), 418 (2018).
- Rougier, C., Meunier, J., St-Arnaud, A., Rousseau, J. Robust Video Surveillance for Fall Detection Based on Human Shape Deformation. IEEE Transactions on Circuit Systems for Video Technologies. 21, 611-622 (2011).
- Bulling, A., Blanke, U., Schiele, B. A Tutorial on Human Activity Recognition Using Body-Worn Inertial Sensors. ACM Computing Surveys. 46 (3), 33 (2014).
- Kwolek, B., Kepski, M. Human Fall Detection on Embedded Platform Using Depth Maps and Wireless Accelerometer. Computational Methods and Programs in Biomedicine. 117, 489-501 (2014).
- Ofli, F., Chaudhry, R., Kurillo, G., Vidal, R., Bajcsy, R. Berkeley MHAD: A Comprehensive Multimodal Human Action Database. Proceedings of the 2013 IEEE Workshop on Applications of Computer Vision. , 53-60 (2013).
- Dovgan, E., et al. Intelligent Elderly-Care Prototype for Fall and Disease Detection. Slovenian Medical Journal. 80, 824-831 (2011).
- Santoyo-Ramón, J., Casilari, E., Cano-García, J. Analysis of a Smartphone-Based Architecture With Multiple Mobility Sensors for Fall Detection With Supervised Learning. Sensors. 18 (4), 1155 (2018).
- Özdemir, A. An Analysis on Sensor Locations of the Human Body for Wearable Fall Detection Devices: Principles and Practice. Sensors. 16 (8), 1161 (2016).
- Ntanasis, P., Pippa, E., Özdemir, A. T., Barshan, B., Megalooikonomou, V. Investigation of Sensor Placement for Accurate Fall Detection. International Conference on Wireless Mobile Communication and Healthcare. , 225-232 (2016).
- Bagala, F., et al. Evaluation of Accelerometer-Based Fall Detection Algorithms on Real-World Falls. PLoS One. 7, 37062 (2012).
- Bourke, A. K., et al. Assessment of Waist-Worn Tri-Axial Accelerometer Based Fall-detection Algorithms Using Continuous Unsupervised Activities. Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2782-2785 (2010).
- Kerdegari, H., Samsudin, K., Ramli, A. R., Mokaram, S. Evaluation of Fall Detection Classification Approaches. 4th International Conference on Intelligent and Advanced Systems. , 131-136 (2012).
- Alazrai, R., Mowafi, Y., Hamad, E. A Fall Prediction Methodology for Elderly Based on a Depth Camera. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4990-4993 (2015).
- Peñafort-Asturiano, C. J., Santiago, N., Núñez-Martínez, J. P., Ponce, H., Martínez-Villaseñor, L. Challenges in Data Acquisition Systems: Lessons Learned from Fall Detection to Nanosensors. 2018 Nanotechnology for Instrumentation and Measurement. , 1-8 (2018).
- Martínez-Villaseñor, L., et al. UP-Fall Detection Dataset: A Multimodal Approach. Sensors. 19 (9), 1988 (2019).
- Rantz, M., et al. Falls, Technology, and Stunt Actors: New approaches to Fall Detection and Fall Risk Assessment. Journal of Nursing Care Quality. 23 (3), 195-201 (2008).
- Lachance, C., Jurkowski, M., Dymarz, A., Mackey, D. Compliant Flooring to Prevent Fall-Related Injuries: A Scoping Review Protocol. BMJ Open. 6 (8), 011757 (2016).
