תקשורת רב-מודלית חלקה בין אדם לרובוט: טכניקות אינטגרציה באינטראקציה בין אדם למחשב

Summary

סקירה זו מסכמת התקדמות עדכנית בלמידה עמוקה, חישה רב-מודלית ואסטרטגיות אינטגרציה שמאפשרות תקשורת חלקה, אדפטיבית וממוקדת אדם בין בני אדם לרובוטים.

Abstract

תקשורת רב-מודלית חלקה בין אדם לרובוט הפכה לחיונית כאשר רובוטים חברתיים, מסייעים וחינוכיים נכנסים לסביבות יומיומיות כמו בתים, מתקני בריאות וכיתות לימוד, שם הם צריכים לשלב דיבור, מחוות, מבט, הבעות פנים ורמזים מישושיים בדיוק גבוה, השהיה נמוכה ועמידות אמיתית. סקירה זו בוחנת באופן שיטתי כיצד הטכניקות הנוכחיות משיגות אינטראקציה רב-מודלית הדדית בזמן אמת בין אדם לרובוט (HRI), תוך התמקדות באסטרטגיות היתוך, ארכיטקטורות מערכת ויישומים בתחומים ספציפיים. חיפשנו באוסף הליבה של Web of Science מחקרים אמפיריים בשפה האנגלית בין השנים 2015 ל-2025, ובחרנו 148 מאמרים העוסקים באינטגרציה תקשורתית. התובנות החשובות ביותר כוללות מעבר ברור לכיוון מיזוג היברידי ומבוסס קשב מאז 2022 (כ-43% מהגישות), שמטפל טוב יותר באסינכרוניות זמניות ואינטראקציות מגולמות מאשר שיטות קודמות; אי-עקביות נרחבת במדדי ההערכה שמקשה על השוואות בין מחקרים חוציים; ופער מתמשך בין ביצועים חזקים במעבדה לעמידות חלשה יותר בעולם האמיתי תחת רעש, הסתרה או שונות משתמש. אתגרים מרכזיים כוללים עיבוד בזמן אמת, יישור סמנטי, יעילות נתונים, עמידות פריסה, ושילוב לא נחקר של אותות מישושיים עם אפקט. בהסתכלות קדימה, הסקירה מציעה לתת עדיפות למדיניות מיזוג אדפטיבית, מדדים סטנדרטיים לסנכרון ושטף, ולמידה מתמשכת לאפשר התאמה אישית למשתמש. בסופו של דבר, מטרתו להנחות את פיתוח סוכני רובוטיקה ממוקדי אדם שיכולים לפעול בשיתוף פעולה, באופן משמעותי, ולהיות מקובלים חברתית בחיי היומיום.

Introduction

רובוטים התפתחו מכלים תעשייתיים בסביבות מובנות לסוכנים מושרשים חברתית בבתים, בתי חולים וכיתות לימוד. כיום הם מסייעים בחינוך, טיפול וחברות, ומשקפים מעבר מאוטומציה ממוקדת משימות לאינטראקציה אדפטיבית וממוקדת משתמש. בלב המעבר הזה נמצאת תקשורת רב-מודלית, המאפשרת לרובוטים לתפוס ולהגיב לרמזים אנושיים — דיבור, מבט, מחוות, הבעות פנים ומגע — בדיוק הזמן הנדרש להחלפות טבעיות בסביבות דינמיות. הדגש הזה על תיאום ותגובתיות תואם את הדאגות המרכזיות באינטראקציה בין אדם למחשב ובמדעי הקוגניציה. בסקירה זו, תקשורת מולטימודלית חלקה מתייחסת לאינטראקציות שמרגישות זורמות ואינטואיטיביות למשתמשים, המאופיינות בזמני תגובה בתת-שנייה (בדרך כלל פחות מ-300 מילישניות), עיכובים או אי-התאמות מינימליים מורגשים, והסתגלות איתנה לשונות אמיתית. דבר זה מבדיל אותו ממערכות מסורתיות מבוססות פקודות או יונימודליות, שבהן שגיאות תזמון, כשלים במודאליות או תגובות נוקשות מפריעים לזרימה הטבעית.

בתחום האינטראקציה בין אדם לרובוט (HRI), סקירה זו מתמקדת בתקשורת אדם-רובוט, המוגדרת כהחלפה הדדית בזמן אמת של אותות רב-מודליים בין בני אדם לרובוטים. בעוד ש-HRI כולל גם תכנון, שליטה ובטיחות, התקשורת עוסקת בסנכרון התפיסה והפעולה בין ערוצי חושים. מערכות מבוססות פיקוד מוקדמות העדיפו יעילות על פני מעורבות, לעיתים קרובות יצרו התנהגות נוקשה או מאוחרת. עבודות עכשוויות עוסקות במודלים אדפטיביים, מודעי הקשר המתאימות למצב המשתמש ולרגש ^1,2. התפתחות זו מדגישה את הצורך במסגרות אינטראקציה מדויקות, אינטואיטיביות ומותאמות אישית.

רובוטים חברתיים ועזריים ראשוניים הסתמכו בדרך כלל על שגרות מתוסרטות או קלטים חד-מודאליים כמו קול או מגע, מה שהגביל גמישות³. לוגיקה מבוססת כללים ועיבוד איטי הובילו לעיתים קרובות לאי-התאמות בתזמון בין מחוות לדיבור, או להתאמה לקויה להתנהגות המשתמש. כדי להתמודד עם סוגיות אלו, חוקרים משתמשים במיזוג עם השהיה נמוכה, אינטגרציה חושית רב-מודלית ולמידה אדפטיבית למשתמש ^4,5. אסטרטגיות אלו ניתנות להבנה דרך שלושה עקרונות תקשורת בסיסיים המוכרים באופן נרחב ב-HRI: משלימות (מודאליות מפצות זו על זו), כפילויות (חפיפה משפרת את החוסן), וסינרגיה (התכנסות משפרת את הטבעיות).

התקדמות בחישה ולמידה הניבה רובוטים בעלי תגובה חברתית המשלבים קלטים חזותיים, שמיעתיים, מישושיים ופיזיולוגיים בזמן אמת ^5,6. במקום סקריפטים קבועים, מערכות אלו מסתגלות כל הזמן לרמזים של המשתמש. ממשקי תכנות נגישים ושיטות למידה מהדגמה מאפשרים למורים ומטפלים להתאים התנהגויות לטיפול והדרכה, כאשר דיוק, תגובתיות וגמישות הם חיוניים.

דפוסי התקשורת ב-HRI חברתי ניתנים לקביצה למצבים מקבילים, משלימים ואינטראקטיביים (איור 1). באינטראקציה מקבילה, בני אדם ורובוטים פועלים באופן עצמאי עם חילופי דברים מינימליים. אינטראקציה משלימה מציגה הנחיות מובנות או תמיכה מבוססת אירועים. המצב האינטראקטיבי המתקדם ביותר כולל התאמה דו-כיוונית רציפה בין ערוצים כמו דיבור, תנועה ומבט⁷.

בחירת וניתוח ספרות

שיטת הסקירה השיטתית: ערכנו חיפוש ספרות שיטתי באוסף הליבה של Web of Science, תוך התמקדות במאמרים שעברו ביקורת עמיתים ופרסומים מלאים של כנסים מהוצאות לאור גדולות (IEEE, ACM, Springer, Elsevier, Wiley, Taylor & Francis). השאלה הבוליאנית הייתה: (("אינטראקציה בין אדם לרובוט" או HRI) ו-(רב-מודלית או "מיזוג חיישנים" או מחווה או מבט או דיבור או מישושי) ו-("בזמן אמת" או "השהיה נמוכה" או אדפטיבי או עמיד)). קריטריוני ההכללה היו: פרסומים בשפה האנגלית מינואר 2015 עד 2025 — תקופה שתפסה את המעבר ממערכות מבוססות כללים ומודאליות אחת לארכיטקטורות למידה עמוקה המדגישות אינטראקציה עם השהיה נמוכה, אדפטיבית וחזקה — עם דגש על טכניקות אינטגרציה רב-מודליות ל-HRI תקשורתי ולאימות אמפירי (כמותי או איכותני). הוצאנו מחקרים שמוגבלים לאינטראקציה חד-מודלית, אלו שעסקו בשליטה ברובוטים ללא כוונה תקשורתית, ועבודות לא אמפיריות (למשל, תיאורטיות בלבד או סימולציה בלבד). החיפוש הראשוני החזיר קורפוס משמעותי. לאחר הסרת כפילויות, סיננו כותרות ותקצירים לפי קריטריוני הכללה, ולאחר מכן ערכנו סקירות טקסט מלא להערכת רלוונטיות ותרומה למיזוג מולטימודלי אמין. תהליך רב-שלבי זה, שסוכם בתרשים זרימה בסגנון PRISMA (איור 2), הניב קורפוס סופי של 148 מאמרים המהווים את הבסיס האמפירי לסקירה זו.

סקירה של ספרות נבחרת: איור 3 מציג מגמות פרסומים ופיזור תחומי, כאשר מדעי המחשב ואוטומציה ורובוטיקה שולטים, לצד תרומות הולכות וגדלות ממדעי ההתנהגות ומדעי המוח, המדגישות את המסלול הבין-תחומי של התחום. קיבלנו את הספרות באופן נושאי לפי תרומה טכנית לאינטגרציה מולטימודלית (טבלה 1). סינתזה זו כללה מודליות, שיטות פיוז'ן, טיפול בהשהיה, אסטרטגיות עמידות, גמישות ומדדים. מחקרים מ-2019 עד 2021 השתמשו בעיקר במיזוג מוקדם או מאוחר, לעיתים עם דגש על מחוות וקלטים מישושיים. מאז 2022, ארכיטקטורות היברידיות ומבוססות קשב זכו לפופולריות, במיוחד לאינטראקציה רגשית ומגשית. בקורפוס זה, היתוך היברידי מהווה כ-43% מהגישות, מיזוג מוקדם 29% ומיזוג מאוחר 28% — התפלגות המצביעה על סבילות משופרת לאסינכרוניה זמנית.

למרות שיכולת בזמן אמת נטענת לעיתים קרובות בספרות הרחבה שנבדקה בתחילה, רק מספר מוגבל של מחקרים מפרטים אסטרטגיות הפחתה ספציפיות (למשל, עיבוד בוחץ, מודלים חיזויים או אופטימיזציה ברמת החיישן). עמידות בדרך כלל מתבססת על סינון, יתירות או גיבויים מבוססי כללים, בעוד שהסתגלות צפויה נשארת נדירה. שיטות ההערכה אינן עקביות, והערכות סטנדרטיות של סינכרון זמני או שטף אינטראקציה נשארות נדירות. המדדים משתנים כל כך בין מחקרים עד שהשוואות ישירות לעיתים קרובות קשות. דיוק, ציוני F1 ומספרי השהייה הם נפוצים, אך הם נובעים ממאגרי נתונים, משימות ותנאים סביבתיים שונים; מעט מאמרים מאמצים מדדים משותפים ליישור זמני או לעמידות רעש. כתוצאה מכך, ביצועים חזקים במעבדות נקיות לעיתים קרובות מגזימים במה שהשיטות יכולות להשיג מחוץ לסביבות מבוקרות. פיתוח מסגרות הערכה עקביות—אולי כולל מבחני השהיה סטנדרטיים תחת שונות ריאליסטית—יקל על ההחלטה אילו גישות באמת מקדמות את התחום.

פערים מרכזיים נותרו באינטגרציה מוחשית-רגשית (רק שישה מחקרים 8,9,10,11,12,13 מטפלים בכך) ובהתאמת השהיה דינמית תחת אי-ודאות זמנית מונעת משתמש. מספר מתחים מעניינים עולים מהספרות. מיזוג היברידי זוכה לעיתים לשבחים על התמודדות^היטב עם חוסר יישור זמן, אך התנהגויות ציפייה או אדפטיביות באמת נשארות נדירות, מה שמעלה שאלות עד כמה הביצועים בזמן אמת המוצגים האלה חלקים. במקביל, ההתקדמות המרשימה בזיהוי ראייה ודיבור עומדת בניגוד חריף לעבודה הקטנה המשלבת רמזים מישושיים עם הבנת רגש. דיוק גבוה בניסויים מבוקרים נוטה להידרדר גם בתנאים אמיתיים, מה שמדגיש אתגרים מתמשכים בהכללה בין סביבות ומשתמשים. טבלה 2 מסכמת מגמות אדריכליות מייצגות וגישות הערכה, ומעדכנת את האתגרים שנדונו בחלקים הבאים.

סקירה זו מציעה תרומה ייחודית לספרות הרב-מודלית של HRI. סקרים עדכניים, כמו Zhao ואחרים^{, מספקים} סקירות רחבות של קבלת החלטות מונעת תפיסה, בעוד Wang ואחרים מתמקדים בהעברת ויזואלית-מישושית המופעלת על ידי 5G. שניהם מדגישים מסגרות כלליות או פרוטוקולי תקשורת, עם דיון מוגבל בפשרות מיזוג בזמן אמת, השוואת מדדים או אתגרי פריסה. לעומת זאת, אנו מציעים ניתוח ממוקד יותר: השוואת אסטרטגיות מיזוג תחת מגבלות ספציפיות, ביקורת על אי-עקביות במדדים בין מחקרים בין מחקרים, והדגשת פערים מעשיים — במיוחד פער הביצועים בין המעבדה לשטח שסקרים קודמים התעלמו ממנו ברובם.